Reportage
Banedanmarks it ramt af tredobbelt katastrofe: 40 cm vand, ildebrand og lynnedslag
Illustration: Christoffer Regild.
Alt var kaos i Banedanmarks datacenter lørdag nat. Oversvømmelse, brand og en generator, som stod af efter lynnedslag, gav 12 timers nedetid.
4. juli 2011 kl. 11:14
Ældre end 30 dage
Manglende links i teksten kan sandsynligvis findes i bunden af artiklen.
Det blev en travl lørdag nat for it-folkene hos Banedanmark, efter datacentret blev lammet af hele tre problemer på én gang.
En oversvømmelse endte med ildebrand og nedsmeltede el-tavler, og dieselgeneratoren kunne ikke bruges i stedet, da den var ustabil efter et lynnedslag. Alligevel kunne Banedanmark søndag eftermiddag være tilbage i normal drift, 12 timer efter, at problemerne var på deres højeste.
»Da jeg kom ind lørdag nat og så Beredskabskorpset stå med to store pumper, og brandvæsenet var der med røgdykkere, tænkte jeg, at nu kommer vi ikke tilbage den første uge. Men det tog kun 12 timer, takket være en helt fantastisk indsats fra alle her, fra elektrikere og fra vores leverandører,« siger Banedanmarks it-direktør Kenneth Lau Rentius til Version2.
Han hørte første gang om problemer, da der går en alarm lørdag aften klokken 21 om manglende køling i datacentret, der ligger under Banedanmarks hovedkvarter på Kalkbrænderivej på Østerbro i København.
Artiklen fortsætter efter annoncen
»Vi sender en tekniker ind, som konstaterer, at der er problemer med køling, men også at der er vand i kælderen, hvor alle installationerne, inklusive vores UPS-anlæg står (reserve-strømforsyning, red.). Jeg går i gang med at rekvirere folk, der kan hjælpe, og klokken 23 kommer meldingen om, at vandet stiger, så vi alamerer også Beredskabsstyrelsen, så de kan komme frem og hjælpe med pumper,« fortæller han.
Pumperne kommer frem, mens vandet bliver ved med at stige - og så udvikler situationen sig pludseligt voldsomt.
»Pludseligt lyder der et brag, og der kommer røg op fra kælderen, så brandvæsenet bliver tilkaldt. Klokken tre om natten er jeg derinde, og brandvæsenet er klar med røgdykkere, men af hensyn til deres sikkerhed skal alt strøm i huset være slukket, før de kan gå ind. Vi må bede Dong om at slukke strømmen ind til huset, og så ryger vores datacenter,« siger Kennet Lau Rentius.
Da branden er slukket, kan røgdykkerne fortælle om situationen i kælderen.
Artiklen fortsætter efter annoncen
»Vores ene UPS-anlæg er smeltet fuldstændigt ned. En del kabelinstallationer er svært beskadiget af ilden. Og da den giftige røg fra branden er luftet ud, kan vi selv gå ned og se på skaderne. En del af de strømkabler, der går ind i huset, er simpelthen smeltet. Der var cirka 40 centimeter vand i kælderen, som så kom op og røre ved de strømførende skinner, der kortsluttede,« fortæller han.
Da klokken slår 6 søndag morgen, er der blevet tilkaldt et helt hold elektrikere og flere it-folk, og da både tavlen for nødgeneratoren og hovedtavlen er intakt, forsøger de først at få strøm til serverne ved at tænde dieselgeneratoren.
Men den kører ustabilt, og da UPS-anlægget ikke kan bruges til at stabilisere strømmen, må de opgive generatøren.
»Det var desværre ikke muligt at styre generatoren, og det ser ud til, at den har været ramt af lynnedslag,« siger it-direktøren.
Et nyt UPS-anlæg bliver også skaffet på rekordtid i løbet af søndag formiddag, og efterhånden som elektrikerne tryller, kan datacentret blive tændt igen med almindelig bystrøm.
»Klokken halv tre søndag eftermiddag, 12 timer efter jeg ankom, er vi oppe og køre, med den nye UPS. Klokken 16 er alle systemer oppe. Vores SAN er slået lidt omkuld, fordi det blev lukket ned brat, og vi går i gang med fejlrettelser,« fortæller han.
Trængslerne er dog ikke slut. Søndag aften begynder vandet igen at fosse ind i kælderen, på grund af et nyt regnvejr, men alle mand er ved pumperne og får afværget nye problemer.
Mandag morgen kan it-direktøren konstatere, at alle systemer kører, som de skal, til morgentrafikken på skinnerne. Passagererne kan igen få information over højttalerne. At mange tog så er aflyst på grund af underminerede skinner og vand på sporene er en anden sag.
Eneste system, der driller nu, er et rackskab med et udviklingsmiljø, som blev ramt af en helt fjerde vej. Det regnede nemlig også ned fra taget på anden sal i Banedanmarks hovedkvarter.
»Vi har en backup, så vi kan køre det tilbage med ny hardware, men da vores udviklingsprojekter er lukket ned i sommerferien, har det ikke nogen betydning for os,« siger Kenneth Lau Rentius.
