Windows-opdatering lagde EPJ på svensk universitetshospital ned i fem dage

Illustration:
Navneopslag via API-kommunikationsprogrammet NetBios gav forsinkelse efter Windows-opdatering - og så gik EPJ-system ned pga. overbelastning.

Sundhedspersonalet ved blandt andet Akademiska sjukhuset i Uppsala, Sverige, har måttet ty til pen og papir i fem dage, fordi journalsystemet, som sygehuset anvender, gik ned.

Årsagen viste sig at være en sikkerhedsopdatering til Windows, skriver digi.no.

Det er Landstinget i Uppsala län, som står for driften af systemet, som er leveret af Cambio Healthcare Systems.

Ifølge en rapport fra Landstinget opstod problemerne den 31. august, da brugerne enten ikke kunne logge ind på Cosmic, eller det tog meget lang tid, og de blev mødt med fejlmeddelelser, eller at bestemte funktioner ikke længere fungerede.

Cosmic består af klienter (pc'er), applikationsservere og databaseservere. En række potentielle fejlkilder blev elimineret, før man fandt frem til årsagen til problemene, som viste sig at være knyttet til kommunikationen mellem appliktionsserver og klient.

»Når brugerne vil logge på Cosmic, forsøger Cosmic at gennemføre navneopslag mellem applikationsserver og klient, hvilket håndteres af Windows. Windows navneopslag sker normalt ved hjælp af DNS. Landstingets DNS er ikke konfigureret til opslag af klientnavn, hvorfor det skete igennem NetBIOS. Da sikkerhedsopdateringen KB3161949 blev installeret, opstod en forsinkelse på omkring 4,5 sekunder ved navneopslag via NetBIOS. Det havde den virkning, at login på Cosmic tog lang tid, hvilket igen gjorde, at antallet af logins, det var muligt at håndtere på samme tid, faldt drastisk og i mange tilfælde blev afbrudt, da de tog for lang tid,« skriver Landstinget i rapporten.

Med andre ord var den udløsende faktor sikkerhedsopdateringen KB3161949 fra Windows, som blev frigivet i juni, men som gradvis blev rullet ud på klientmaskinerne i det svenske landstinget.

Sårbarhed fjernet - driftsstabilitet undermineret

Sikkerhedsopdateringen fjernede ifølge rapporten en sårbarhed i NetBIOS-kommunikationen mellem klienter og servere, som ligger på forskellige subnet i et datanetværk, men skabte altså nye problemer.

Løsningen på problemet var ganske enkelt at deaktivere NetBIOS over TCP/IP i Windows på de applikationsserverne, som sikrer navneopslag på klientene. Men det skete først efter fem dage. Og det krævede ingen ændringer i Cosmic-systemet.

I mellemtiden måtte de sygehusansatte og andre brugere af EPJ-systemet gå over til en reserveløsning, som ifølge medierne i praksis betød pen og papir.

Landstinget er angiveligt netop færdigt med at indføre disse håndskrevne notater i systemet.

Landstingsdirektør Staffan Isling ser positivt på det hele.

»Det er godt, at vi har fået udredet den tekniske del, så vi kan lære af det og undgå, at det sker igen,« siger han i en pressemeddelelse.

Fungerende it-direktør Johan Lindqvist konkluderer, at sammenbruddet hverken skyldtes journalsystemet eller et it-angreb, men infrastrukturen.

Rapporten konkluder også, at både landstinget og Cambio skal forberede sig bedre på systemændringer, herunder at øge testarbejdet.

Tips og korrekturforslag til denne historie sendes til tip@version2.dk
Følg forløbet
Kommentarer (14)
sortSortér kommentarer
  • Ældste først
  • Nyeste først
  • Bedste først
Bent Jensen

At en tåbelig implementering og en opdatering til sammen, kan lægge et hospital ned.

Er bare ikke godt nok, og viser hvorfor at windows, på ingen måder bør bruges til noget som helst kritisk. Det er godt til spil, og til mindre kontorbrug 8-16. Alt andet bør man tænke på at flytte til et OS, hvor man selv har styr på opdateringer, og hvor sådan ikke bare lægger et OS ned.

"Fungerende it-direktør Johan Lindqvist konkluderer, at sammenbruddet hverken skyldes journalsystemet eller et it-angreb, men infrastrukturen."

Som jo er køb og sat op af nogen, som hvis er i gang med at løbe fra ansvaret så hurtigt de kan. Den eller de personer som besluttet at bruge netbios, burde finde sig et andet arbejde.

Netbios er MS forsøg på, et eller andet :-( har selv fjernet det, som standard de sidste 15 år, det kan til nød bruges på et hjemmenetværk, hvor der kun er MS maskiner.

Kender de personer, som har ansvaret til en host fil, DNS server, eget DNS, samt mange andre småting noget som man bør starte med at få styr på, inden man sætter en vigtigt infrastruktur op. Alt løses ikk ?

  • 3
  • 9
Cristian Ambæk

Forstår jeg hvorfor man bruger Windows i backend? Nope.

Men vil ikke nødvendigvis sige at overstående problem er direkte Windows relateret da man jo kan slå automatisk opdatering fra og læse patch notes inden man opdatere.

Man kan jo så også sige at det er rimelig ringe at man ikke har et system der viser oversigt over opdateringer til diverse systemer så når sådan noget her sker så kan man hurtigt eliminere den som fejl kilde.

  • 7
  • 0
Jan Hellden

På Odense Universitetshospital, hvor jeg arbejder, er der udvalgte brugere i hele organisationen, der får lagt de kommende opdateringer på deres maskiner, inden opdateringerne rulles ud til alle på OUH. Hvis det skulle vise sig, at fx. den planlagte opdatering af NetBIOS påvirker muligheden for at logge på COSMIC (som vi bruger i hele Region Syddanmark), ville det være blevet fanget i opløbet af testbrugerne, inden opdateringen blev rullet ud til alle og katastrofen ville være undgået.

  • 16
  • 0
Bent Jensen

Hvis det skulle vise sig, at fx. den planlagte opdatering af NetBIOS påvirker muligheden for at logge på COSMIC (som vi bruger i hele Region Syddanmark), ville det være blevet fanget i opløbet af testbrugerne, i

Eller måske ikke. Hvis det var er forsinkelse på grund af fejl i navneopslag, som vokset efterhånden som flere og flere ramte den. Så kunne få bruger måske ikke have startet lavinen. Men derfor ikke en dårlig ide, med at teste inden udrulning.

"da man jo kan slå automatisk opdatering" Det er jo den mulighed som ikke længere findes i Windows 10.

https://www.version2.dk/comment/339743#comment-339743

PS. COSMIC har hvis bare fået noget af "ansvaret", af de rigtige skyldige, for at et navneopslag ikke virker. Lige så meget som google er ansvarligt for at chrome viser en blank side, hvis du ingen net har.

  • 1
  • 0
Anders Johansen

Er bare ikke godt nok, og viser hvorfor at windows, på ingen måder bør bruges til noget som helst kritisk

Så det du siger er at Windows er dårligt fordi de ændrer i måden et subsystem virker for at håndtere en sikkerhedshændelse? Med det argument kan man jo aldrig nogensinde lave noget om...

Og fordi leverandøren/kunden har opsat et system, men ikke haft forståelse for hvordan det virker i deres infrastruktur, så er det lige pludseligt Windows som er dårligt og bærer skylden...

  • 2
  • 0
Bent Jensen

jeg har kun fået ekstrem langsommere netværk med NetBIOS

Nej ikke for de mennesker som køber en billigt netgear switch, og en routere fra Dlink også kalder det IT infrastrukturen. Som Netbios passer det udmærket til mindre netværk.

Hvis man ikke kan finde ud af at bruge noget andet, så bør man ikke have ansvaret for noget kritisk. Bare det at det går 5 dage før problemet er løst, sikkert først efter en udefrakommende konsulent, prøver at lave en traceroute. Viser at de ansvarlige for nettet nok kun har deres job, på grund af de er gode til slikke politikere i r** Hvis problemerne opstår efter en opdatering, vil jeg nok først prøve at rule den tilbage, det burde heller ikke tage 5 dage.

Ville mene at jeg, sammen med de mennesker der arbejder med netværk her på v2, nok ville have fundet fejlen på 20-30 minutter, 5 dage lyder som total mangel på viden. Sikkert også derfor at COSMIC sagesløs, skal slæbes ind i en sag om netværksproblemer.

Hvornår lære man, at der er stort forskel på 10,100, og 1000 bruger. at et netværk kan sande til. Og at der er en grund til at netværksudstyr nogle gange koster betydelig mere i en professionel udgave. Samt at løsningen ikke er udstyr i professionel udgave, hvis ikke man kan forstår at bruge det. Holder mig selv fra noget sådan, og henviser til andre, om at sætte noget sådan op, som arbejder med det til dagligt. Lidt dyrt rigtigt expert hjælp en gang for alle, til en opstart, kan hurtigt tjene sig ind.

PS. Stoppet selv med netværk sammen med novell. men kan da sætte SonicWALL og cisco op til "husbehov".

  • 0
  • 1
Bent Jensen

Ja men du kan ikke forhindre en opdatering på sigt, du kan kun rulle den tilbage efter den er lavet. Så med lidt "held" får du hvis du har mange PC, nogen som er "patchet" meget forskellig og er i forskellig modes. Et drømmescenarie for enhver system administrator. Så jeg vil fastholde Windows 10 i ikke Enterprise udgaver, er totalt uegnet til steder hvor der køre kritisk programmer. Som sagt godt til SPIL og lettere kontorarbejde mellem 8 og 16.

  • 1
  • 1
Christian Dahl

Så jeg vil fastholde Windows 10 i ikke Enterprise udgaver, er totalt uegnet til steder hvor der køre kritisk programmer. Som sagt godt til SPIL og lettere kontorarbejde mellem 8 og 16.

Så er det godt det ikke er op til dig. Det kommer heldigvis an på hvilke programmer der køres på maskinen. I min hverdag med mine kritiske programmer kører det hele fint og det ville være en ulempe at skifte platform.

  • 0
  • 0
Povl H. Pedersen

NetBIOS hører til NetBEUI, men det blev af kompatibilitetshensyn portet til TCP/IP.

Mange steder tør man ikke slå det fra, da det kunne være at der var Windows 3.11 programmer i omløb. Det er noget skrammel der kun bør virke på lokalt subnet, men DNS servere kan vist hjælpe på nogle af begrænsningerne.

Default i Windows er vist at det er slået til, og ingen slår services fra man ikke skal bruge. Personligt mener jeg at Microsoft burde disable en hel masse services som default, specielt på servere, så det hele mere eller mindre skal vælges til.

IP Helper (til IPv6) kører som standard på Server 2008, og de færreste bruger IPv6. Remote registry er fint, men det bør vel være admin der enabler via GPO. TCVP/IP NetBIOS helper er standard.

  • 2
  • 0
Bjarke I. Pedersen
  • 1
  • 0
Log ind eller Opret konto for at kommentere