SAN-nedbrud og ubrugelig backup sletter data for fem dage i kommune

En stribe tekniske fejl i it-systemerne har givet omsorgsarbejdet i Hillerød Kommune problemer. I fire dage var omsorgs-systemerne nede, og oven i mistede hjemmehjælpere og sygeplejersker alle data, der blev indtastet i fem dage op til nedbruddet.

Det forklarer chefen for udvikling, digitalisering og it-drift i kommunen, Søren Kristensen.

»Tre fejl indtraf samtidigt, så det har ikke været særlig sjovt,« siger han.

Om morgenen fredag d. 12. juni gik kommunens SAN ned, altså den centrale storageløsning. Det betød, at Exchange-serveren gik død, og ingen af de ansatte kunne bruge e-mail eller kalender. Samtidigt gik planlægningssystemet for kommunens omsorgsarbejde i sort.

Exchange-serveren var på benene igen relativt hurtigt, men omsorgssystemet var sværere at få liv i. Efter at have arbejdet på sagen i døgndrift, med hjælp fra to leverandører, var systemet klar igen sent mandag, altså efter fire dages nedbrud.

Ubrugelig backup Undervejs viste de to næste problemer sig: En SQL-database, som var blevet ulæselig, og en backup, der var ubrugelig.

»Der var fejl i vores offline-bånd, så vi måtte gå fem dage tilbage i tiden, for at finde data, der ikke havde fejl. Det betød, at vi også har tabt en del data i vores omsorgssystem,« siger Søren Kristensen.

Nu har it-folkene travlt med at undersøge, hvad der helt præcist gik galt.

»Så vidt vi kan se, skyldes SAN-nedbruddet en synkroniseringsfejl mellem diskene. Det er sandsynligvis på grund af en bug i firmwaren. Nu har vi fået en workaround fra leverandøren, indtil der kommer en opdatering, der løser problemet helt,« siger afdelingschefen.

Men de næste to fejl har han ikke en forklaring på endnu. Der var ikke nogen tegn på, at der var problemer med backup'en, indtil den skulle i brug, fortæller han og tilføjer, at de tjekker backup-båndene for problemer et par gange om året.

Papirlister hjalp

Konsekvensen af nedbruddet blev, at sygeplejersker og hjemmehjælpere ikke fik oplysninger om for eksempel patienter, som blev udskrevet fra et hospital, og dermed skulle overtages af kommunens pleje.

»Alle afdelinger har beredskabsplaner for nedbrud i it-systemerne. På omsorgsområdet betyder det, at de har procedurer for at printe alle deres lister ud, som en ekstra backup. De data har de så samlet og brugt, sammen med deres hukommelse, til at løse deres opgaver,« forklarer Søren Kristensen.

Samtidigt er nedbruddet blevet meldt ud i lokalpressen som en ekstra sikkerhedsforanstaltning, hvis nogle af kommunens ældre har været under radaren i oprydningsarbejdet og derfor ikke får den hjælp, der er brug for.

Når undersøgelsen af de tekniske detaljer i nedbruddet er færdig, og fejlene er fundet, skal it-folkene se på, hvad der eventuelt kan gøres anderledes fremover.

»Vi skal gennemgå vores hardware-setup, og se på vores serviceaftaler med organisationen. Foreløbigt tyder det på, at nedbruddet skyldtes et sammenfald af tre uheldige ting,« siger Søren Kristensen.