Strømmen gik på Region H's datacenter, og så var der problemer...

22. december 2020 kl. 17:3015
Lys i mørke
Illustration: Singjai/Bigstock.
Da strømmen i går aftes gik på et af Region Hovedstadens to datacentre, kunne medarbejdere ikke tilgå Sundhedsplatformen, og borgere kunne ikke få adgang til corona-prøvesvar.
Artiklen er ældre end 30 dage
Manglende links i teksten kan sandsynligvis findes i bunden af artiklen.

En strømafbrydelse på et af Region Hovedstadens datacentre satte i går aftes en kædereaktion af problemer i gang både for medarbejdere i regionen, men også for helt almindelige borgere.

Strømafbruddet fik Citrix-systemerne til at gå ned, og derfor havde medarbejdere ikke adgang til flere vigtige systemer, blandt andet Sundhedsplatformen, i timerne mellem klokken 18 og 20 i går aftes, skriver Region Hovedstaden til Version2 i en mail.

Borgere havde heller ikke adgang til deres prøvesvar, fordi de simpelthen ikke nåede frem til Sundhed.dk:

»Konsekvensen er, at der var mange borgere, der ikke kunne få adgang til svaret på deres COVID-19 test,« skriver Sundhed.dk til Version2 i en mail.

Artiklen fortsætter efter annoncen

»Det er meget vigtigt, at borgerne kan få adgang til deres COVID-19 svar så hurtigt som muligt. Derfor overvåger vi hele tiden driften af vores egen side og holder øje med, om der er adgang til de data, brugerne har brug for, så vi hurtigst muligt kan få rettet eventuelle fejl og få genetableret forbindelsen. I det her tilfælde var vi afhængige af, at Region H fik genskabt forbindelsen til deres systemer.«

Ifølge Region Hovedstaden kommer man ikke til at miste patientdata, da for eksempel corona-prøvesvar stiller sig i kø i systemet, og da forbindelsen var genstartet, kom alle svarene frem.

Klokken 23 var problemet klarmeldt, og inden midnat var 98 procent af alle køerne for corona-prøvesvar afviklet, skriver man i mailen.

Det er ikke første gang, borgere har oplever problemer med at tilgå testsvar på Sundhed.dk, for i oktober var der problemer med NemLog-in, så danskerne måtte vente et par dage med at tjekke, om de var smitte med covid-19 eller ej.

15 kommentarer.  Hop til debatten
Denne artikel er gratis...

...men det er dyrt at lave god journalistik. Derfor beder vi dig overveje at tegne abonnement på Version2.

Digitaliseringen buldrer derudaf, og it-folkene tegner fremtidens Danmark. Derfor er det vigtigere end nogensinde med et kvalificeret bud på, hvordan it bedst kan være med til at udvikle det danske samfund og erhvervsliv.

Og der har aldrig været mere akut brug for en kritisk vagthund, der råber op, når der tages forkerte it-beslutninger.

Den rolle har Version2 indtaget siden 2006 - og det bliver vi ved med.

Debatten
Log ind eller opret en bruger for at deltage i debatten.
settingsDebatindstillinger
15
11. marts 2021 kl. 16:06

At region hovedstadens datacentre ikke har tilstrækkelig ups og nødstrømsforsyning, eller endnu bedre 2 center drift, må vist kaldes for en skrabet og utilstrækkelig løsning. Det er bekymrende, og endnu værre såfremt dette er symptomatisk for offentlige datasystemer.

14
23. december 2020 kl. 21:19

De systemer hvor det gælder liv og død er jo netop normalt bygget anderledes og det koster væsentligt mere.

Jeg er ret sikker på at deres datacenter er beskyttet efter bogen. Men det gør kun risikoen for uheld lav.

Hvis de har manglet strøm og er oppe igen på 2 timer er det ret flot klaret.

13
23. december 2020 kl. 20:29

Ja det har de nok, i det mindste på papiret. Det jeg gerne vil vide er hvornår det sidst er blevet verificeret at denne backup fungerer, altså "slukket på kontakten". Jeg kender godt alle undskyldninger .. det er kostbart .. - .. det koster en masse opryning .. o.s.v. En backup funktion er ikke noget værd, før den har været afprøvet.

Altså de to centre vi er i tester en gang i kvartalet, vi får besked en uges tid før og jeg har ingen grund til at tro at det er en papirting for enhver kan komme ud og høre diselgeneratorene starte så at lyve om det vil være at skyde sig selv i benet.

Hvis man har lavet det rigtigt så er der ingen fare ved at teste det, det koster bare et par hundrede liter diesel.

12
23. december 2020 kl. 18:00

Alle datacentre jeg har hørt om har en eller anden form for beskyttelse

Ja det har de nok, i det mindste på papiret. Det jeg gerne vil vide er hvornår det sidst er blevet verificeret at denne backup fungerer, altså "slukket på kontakten". Jeg kender godt alle undskyldninger .. det er kostbart .. - .. det koster en masse opryning .. o.s.v. En backup funktion er ikke noget værd, før den har været afprøvet.

11
23. december 2020 kl. 16:14

UPS'en er for længst blevet opfundet... Bare til info :-)

Det ved de involverede sikkert godt.

Alle datacentre jeg har hørt om har en eller anden form for beskyttelse mod strømudfald i form af en eller anden kombination af:

  • Batterier
  • Nødgeneratorer
  • Flere gange bystrøm (som Klavs nævner) Det betyder typisk at man opfatter strømforsyningen som stabil nok til at man kan spare de penge, den plads og den konfiguration det ville kræve at sætte en UPS på hver enkelt server.

Nu er der ikke mange detaljer i artiklen om hvad der skete i det pågældende datacenter, men hvis en strømudfald rammer kunderne har de nok opbrugt den kapacitet de havde i lokale løsninger (batterier til at holde et datacenter kørende i to timer fylder ganske meget).

10
23. december 2020 kl. 13:36

Jeg vil tillade mig at formode at ALT digitalt der anvendes under en operation er lokalt og IKKE har nogle centrale afhængigheder der kan gøre påvirke deres funktionsdygtighed under en operation.

Det skal du nok ikke...

Sunhedsplatformen kører kun centralt - så skal journalerne checkes så gøres det online - det her er ikke noget jeg tror, det er noget jeg ved. ...og så vidt jeg er orienteret så er der kun et datacenter, ingen rigtig HA her - hvilket er ret tydeligt af de sammenbrud vi ser.

Hvorvidt den frontend som tilgås via web (af alm. dødelige) og den som tilgås at læger på hospitalerne kører fra samme datacenter er lidt uklart.

På den anden side så kunne Version2 måske få et indblik i hvordan Sunhedsplatformen egentligt er skruet sammen ?

9
23. december 2020 kl. 11:51

UPS'en er for længst blevet opfundet... Bare til info :-)

8
23. december 2020 kl. 11:40

Artiklens citater rammer helt forbi skiven - mon journalisten har tænkt sig om, eller bare citeret uden omtanke ?

Det er naturligvis vigtigt at få covid-19 prøvesvar, og jeg kan sagtens finde situationer hvor det er MEGET vigtigt (patient under indlæggelse - patienter testes jo inden de kommer "ind" på hospitalet fra akut-modtagelsen). Men sammenlignet med hele processen (bestillingskø, ventetid, sædvanlig svartid), så synes et par timer helt triviel i alle andre tilfælde, hvor en borger bare er testet på sædvanlig måde.

Helt anderledes er det Sundhedsplatformens data, som per definition er kritisk:

  • dels for akutte patienter (som indbringes under / efter nedbrud - der eksisterer i bedste fald kun mundtlig overlevering fra eventuelle pårørende på stedet).
  • dels måske operationspatienter (mon der findes en tilstrækkelig, decentral på operationsstuen, dublering af data fra Sundhedsplatformens vitale data ?)

Jeg gætter, men mon ikke der i Sunhedsplatformen findes oplysninger som er vitale ved tilstødende komplikationer ?

Så, efter min opfattelse, er artiklens fokus på 2 timers forsinkelse af et covid-19-prøveresultat skudt helt forbi.

7
23. december 2020 kl. 11:30

@Klavs Klavsen Hvorfor udveksler du spekulativ uvidenhed ?

Hvis du ikke konkret ved på hvilken måde forudset og uforudset patient-data er sikret og tilgængelig 100% under en operation - så bør du ikke gisne og formode .....

Hvis der er en læser med konkret, aktuel, viden, så hører vi alle gerne om disse fakta.

6
23. december 2020 kl. 11:02

Prøv at se det fra den patients side som ligger på operationsbordet...

Jeg vil tillade mig at formode at ALT digitalt der anvendes under en operation er lokalt og IKKE har nogle centrale afhængigheder der kan gøre påvirke deres funktionsdygtighed under en operation.

At centralisere noget så vigtigt som de ting der anvendes i en operationsstue ville være dybt tåbeligt.

Information om patienten (journal data) vil med høj sandsynlighed ligge i "cache og klar" - på udstyr i operationsstuen - således at der ikke behøves noget online udenfor stuen.

Her er tale om strøm til et datacenter - hvor man oftest kan have 2 strømkilder - og flere steder har 2xbystrøm fra forskellige ledninger - redundans videre ind til hver server.

Og man har typisk 2 datacentre til vigtige systemer - så de bare kører videre.

Hvad der har været tilfældet her - der gjorde at prøvesvar ikke kunne sendes ud ved jeg ikke - men måske har de glemt at putte "køen for udgående prøvesvar" - på listen af vigtige systemer der burde køre i 2 datacentre?

4
23. december 2020 kl. 03:07

Det er ikke første gang, borgere har oplever problemer med at tilgå testsvar på Sundhed.dk, for i oktober var der problemer med NemLog-in, så danskerne måtte vente et par dage med at tjekke, om de var smitte med covid-19 eller ej.

Der er nok nogle beparelser/risikoberegninger, der bør gås efter.

Det sker desværre for tit. Men ofte er grunden banal.

3
23. december 2020 kl. 01:16

Det er blot et spørgsmål om at der sker flere fejl samtidig. Det er ekstremt dyrt at sikre 100% oppetid for at ikke sige umuligt.

De fleste steder måler i hvor mange 9 taller der er efter de 99%

Hvis det er 1 gang hvert 10 år der er et 2 timers udfald så er det jo spild af penge at kaste millioner efter at forsøge at mindske det.

1
22. december 2020 kl. 19:16

...der kan forekomme en strømafbrydelse i et datacenter som bruges til kritiske systemer???