Kæmpe netværksnedbrud i Region H lukker hospitals-it ned

Opdateret: Standard netværksopdatering sender it i hovedstadens hospitaler til tælling.

Klokken 07:20 i morges blev Region Hovedstaden ramt af et neværksnedbrud, der har sendt centrale dele af regionens hospitals-it ud af kraft.

Region Hovedstadens hospitaler gik med det samme til nødprocedure, hvor man sikrer sig, at livsvigtige behandlinger gennemføres, og akutte patienter får behandling, oplyser regionen.

Fejlen blev lokaliseret efter små to timer. Klokken ca. 10.20 var alle systemer igen op at køre.

Fejlen opstod i forbindelse med en opdatering af regionens netværk. På Twitter oplyser regionen, at fejlen opstod 'under en standardprocedure på en central netværkskomponent'.

Læs også: Sundhedsplatformen har problemer med at overføre patientdata

'Denne type ændring er foretaget adskillige gange tidligere og anses som lavrisikoarbejde. CIMT vil nu gå proceduren igennem for at sikre sig, at fejlen ikke opstår igen,' skriver regionen i en meddelelse.

Nedbruddet har berørt blodprøvesystemet LABKA samt Sundhedsplatformen. Også pc’er, mail og telefoni er berørt, oplyser Region Hovedstaden til Version2.

Regionen forventer ikke, at nedbruddet kommer til at betyde aflysninger på hovedstadens hospitaler, men det er for tidligt at sige, oplyser en talsperson.

»Det er rigtigt ærgerligt, når sådan en fejl opstår og påvirker patienter, pårørende og personale. Heldigvis blev fejlen rettet hurtigt, og alle systemer kom op at køre igen,« siger koncerndirektør i Region Hovedstaden Svend Hartling i en meddelelse.

Opdateret klokken 10:50 med mere information.

Opdateret klokken 15:10 med mere information.

Tips og korrekturforslag til denne historie sendes til tip@version2.dk
Følg forløbet
Kommentarer (10)
Jesper Frimann

IMHO er det lige det som gør IT arbejde interessant og spændende.

Ja, men det kan være et hårdt liv. Der er nogen der elsker det.. sådan adrenalin junkie like. Der er nogen folk, der ikke bliver påvirket af det.
Nogle tager bare 'de ekstra penge', og bruger det som en måde at supplere deres indkomst.
Og så er der dem, der så hurtigt begynder man at se et mønster. Man begynder at blive træt af at lave symptom behandling. Og opdager hvordan store dele af ledelseslaget ikke ønsker at rette de faktiske root causes, men er mere interesserede i bare at putte mere gaffa tape på, så det holder lang tid nok til de er videre i det som faktisk er vigtigt. Nemlig Ledelses Karrierer ræset, som mange af dem er blevet uddannet til på CBS eller på KUA.

Og ja .. det er nemmere bare at sige det var "en manglende opdatering af switch XXX, der var problemet". Men det er jo ikke root cause :)

Og hvis man er typen der borer dybt, analyserer hårdt og ser de underliggende mønstre.. så vil man noget andet.. end at 'tisse på brænde hele tiden'.

// Jesper

Louise Klint

Region Hovedstaden har udsendt en pressemeddelelse her kl. 13
https://www.regionh.dk/presse-og-nyt/pressemeddelelser-og-nyheder/Sider/...

Heri beskrives fejlen således:

Netværksnedbruddet skyldtes en fejl, som opstod i forbindelse med en standardændring af en central netværkskomponent, der skulle foretages i dag af en ekstern leverandør mellem klokken 7.00 og 7.30.
Denne type ændring er foretaget adskillige gange tidligere og anses som lavrisikoarbejde.
CIMT vil nu gå proceduren igennem for at sikre sig, at fejlen ikke opstår igen.

Jeg kan godt se at det kan være svært at vurdere ud fra så spinkelt et grundlag, men er der måske nogle af Version2s læsere, som kan hjælpe med lidt opklarende forklaring?

For mig virker det komplet uforståeligt/ikke videre betryggende at en fejl, som denne,
kan lægge ALLE Region Hovedstadens hospitaler ned i 3 timer
IT‐systemer, mailkorrespondance, telefoni…
Samtlige hospitaler må gå i nødberedskab, på grund af en slags bagatel, der åbenbart anses som ”lavrisiko”.

Hvad sker der?

Jan Heisterberg

Lad os lige holde perspektivet og tænke over årsager, virkning og fremtid:
Situation:
- indtil i morges var der et systemdesign som er "godkendt"
- indtil i morges var ændringer vurderet som lav risiko
- indtil i morges var tilsvarende lavet uden konsekvenser
Forløbet:
- det viste sig at designet var fejlbehæftet
- det viser sig at risikovurderingen ikke var korrekt
- det viser sig ikke længere at være situationen
Fremtid:
- det fundamentale må være fejl i design (eller den konkrete implementering)
--- Det er naturligvis uacceptabelt, at een fejl kan rive hele systemet ned OG uacceptabelt at hårde beslutninger ikke kan reducere nedbrudstiden (3 timer, ja men dog ?).

Der har været andre eksempler på, at simple fejl (manglende stik) har invalideret backup (logfiler for 112 var det vist).
MEN det ufortalt, så bør der naturligvis - selvom det er risikablet - ske både en designkontrol og en implementeringskontrol for at skabe bedst mulig sikkerhed mod at komkonent fejl, enkeltfejl eller strømsvigt kan lave total nedbrud.
Jeg erindrer ikke nedbrud af vital indfrastruktur af samme varighed tidligere.
Altså lige bortset fra strømforsyning til Østdanmark for år tilbage (og tilhørende nødstrømssvigt.....).

Tillid er godt, kontrol er bedre ......
Hvem vogter vogterne ?

Det kan ikke være Region Hovedstaden som kontrollerer det her !

Ditlev Petersen

IMHO er det lige det som gør IT arbejde interessant og spændende.


Jeg hader at indrømme det, men jeg kan godt erindre den oplivende fornemmelse under en større konvertering, når et eller andet gik helt i skoven. Juhu! sagde en indre stemme. Nu bliver det sjovt.
Det sagde jeg heldigvis ikke højt.
Nu er jeg blevet ældre, og nu kan jeg se det mere tilfredsstillende, når noget IKKE går helt i skoven. Men man får mere ros for at redde en katastrofe end for at undgå den. Jeg har endda indkasseret en skideballe for at være ligeglad, engang jeg var sikker på, at noget ville gå godt. Åbenbart bør man ligne et nervevrag. Det GIK godt.

Jens Jönsson

Manglende redundans?

Det må kunne lade sig gøre at gennemføre en standardprocedure uden at det spreder sig til hele netværket, med mindre der ikke er fuld redundans!

Fejlen opstod i forbindelse med en opdatering af regionens netværk. På Twitter oplyser regionen, at fejlen opstod 'under en standardprocedure på en central netværkskomponent'.

I regionerne sparer man, så switche osv. er sikkert ikke reduntante. Man køber jo Cisco og de "plejer" jo bare at spille......

Rent gæt.....

Log ind eller Opret konto for at kommentere
Pressemeddelelser

Silicom i Søborg har fået stærk vind i sejlene…

Silicom Denmark arbejder med cutting-edge teknologier og er helt fremme hvad angår FPGA teknologien, som har eksisteret i over 20 år.
22. sep 2017

Conference: How AI and Machine Learning can accelerate your business growth

Can Artificial Intelligence (AI) and Machine Learning bring actual value to your business? Will it supercharge growth? How do other businesses leverage AI and Machine Learning?
13. sep 2017

Affecto has the solution and the tools you need

According to GDPR, you are required to be in control of all of your personally identifiable and sensitive data. There are only a few software tools on the market to support this requirement today.
13. sep 2017