Et strømsvigt tirsdag klokken 8.15 i det indre København betød, at en af Statens IT's serverlokationer gik i sort.
Fire ministerier plus Statens IT's egne systemer blev berørt af it-nedbruddet, der altså ikke begrænsede sig til de tre kvarter, hvor strømmen var væk. De tre af ministerierne var oppe at køre igen over frokost, mens problemerne for Integrationsministeriet varede en stor del af dagen.
Dermed var halvdelen af Statens IT's 'kunder' ramt af nedbruddet hos den nye, centrale enhed, der blev oprettet for at effektivisere og forbedre statens it-drift.
Hos Statens IT blev tirsdag den 29. juni en af den slags dage, der vil blive husket. Det var dagen, hvor begreber som 'incident management' og 'major incident' pludselig fik en meget konkret mening.
Martin Pedersen, områdechef for service og support, fortæller her om en højst usædvanlig dag i Statens IT:
»Jeg opdager ved ni- halv ti-tiden, at min mail bliver ustabil. Ideelt set bør vi selvfølgelig opdage den slags før det sker, men vi er stadig i gang med at rulle alarmsystemer ud på serverne,« siger Martin Pedersen, der pointerer, at Statens IT stadig er en meget ny organisation.
»Så kontakter jeg min incident manager, og hun kalder folk sammen for en statusrapport. Hvad er sket, hvem er ramt, hvad skal vi have styr på, og herefter uddelegerer vi opgaverne en for en. De koordinerende holder møde hver time. Jeg opfatter møderne som koncentrerede og effektive ? men det er de også nødt til at være, når 30 mennesker er stuvet ind i et lille mødelokale,« fortsætter Martin Pedersen.
SAN'et gik ned
Hurtigt står det klart, at en intern styring i Integrationsministeriets SAN er stået af som følge af strømsvigtet, og at medarbejderne derfor ikke har adgang til data.
»Det er meget uheldigt, og medarbejderne lider under det. Det beklager vi selvfølgelig. Men IBM har været hurtige til at kalde folk og reservedele op fra Europa for at få det ordnet,« siger Martin Pedersen.
Selve strømsvigtet varer et sted mellem en halv time og tre kvarter. På en anden lokation kører den centrale serverlokation i den periode på UPS'ens batteri-backup-strøm, men da bystrømmen kommer tilbage, kan UPS'en tilsyneladende ikke finde ud af at skifte tilbage til normal strømforsyning.
»Vi går selvfølgelig i gang med at lukke systemerne ned i god ro og orden, men vi kan så ikke få dem op at køre igen, da strømforsyningen ikke switcher tilbage til bystrøm,« siger Martin Pedersen.
Ulyksaligvis er en af de ramte servere den, der står for Statens IT's egen ip-telefoni, og den manglende kommunikationskanal skruer udfordringerne en tand i vejret.
Læs også: Otte ministerier i strømsvigt-kaos: End ikke telefonerne virker
»Den havde vi nok ikke lige tænkt over. At det kunne ramme os selv så voldsomt. Og det giver selvfølgelig anledning til selvransagelse, om vores koncept er robust nok. IP-telefonien er akilleshælen både for os og kunderne,« siger Martin Pedersen.
Han fortæller videre, at der heldigvis eksisterede papirkopier af telefonlisterne ? inklusive mobilnumre - og at kontakten til superbrugerne på de enkelte lokationer fungerede fint som besked-kæde.
Martin Pedersen mener dog ikke, der ? når man tager organisationens alder i betragtning ? er sket deciderede fejl.
»At bystrømmen ikke slår tilbage er sort uheld og meget irriterende. Og set ud fra, hvor vi er lige nu, er det svært at forudse, at en intern styring i SAN kunne stå af. Men ud fra de givne forudsætninger er jeg egentlig godt tilfreds med vores håndtering, og om et år vil vi have langt bedre styr på situationen,« siger Martin Pedersen.
På baggrund af nedbruddet bliver arbejdet med at få finpudset beredskabsplanerne nu speedet op.
...men det er dyrt at lave god journalistik. Derfor beder vi dig overveje at tegne abonnement på Version2.
Digitaliseringen buldrer derudaf, og it-folkene tegner fremtidens Danmark. Derfor er det vigtigere end nogensinde med et kvalificeret bud på, hvordan it bedst kan være med til at udvikle det danske samfund og erhvervsliv.
Og der har aldrig været mere akut brug for en kritisk vagthund, der råber op, når der tages forkerte it-beslutninger.
Den rolle har Version2 indtaget siden 2006 - og det bliver vi ved med.
