Banedanmarks it ramt af tredobbelt katastrofe: 40 cm vand, ildebrand og lynnedslag

9 kommentarer.  Hop til debatten
Banedanmarks it ramt af tredobbelt katastrofe: 40 cm vand, ildebrand og lynnedslag
Illustration: Christoffer Regild.
Alt var kaos i Banedanmarks datacenter lørdag nat. Oversvømmelse, brand og en generator, som stod af efter lynnedslag, gav 12 timers nedetid.
4. juli 2011 kl. 11:14
errorÆldre end 30 dage
Manglende links i teksten kan sandsynligvis findes i bunden af artiklen.

Det blev en travl lørdag nat for it-folkene hos Banedanmark, efter datacentret blev lammet af hele tre problemer på én gang.

En oversvømmelse endte med ildebrand og nedsmeltede el-tavler, og dieselgeneratoren kunne ikke bruges i stedet, da den var ustabil efter et lynnedslag. Alligevel kunne Banedanmark søndag eftermiddag være tilbage i normal drift, 12 timer efter, at problemerne var på deres højeste.

»Da jeg kom ind lørdag nat og så Beredskabskorpset stå med to store pumper, og brandvæsenet var der med røgdykkere, tænkte jeg, at nu kommer vi ikke tilbage den første uge. Men det tog kun 12 timer, takket være en helt fantastisk indsats fra alle her, fra elektrikere og fra vores leverandører,« siger Banedanmarks it-direktør Kenneth Lau Rentius til Version2.

Han hørte første gang om problemer, da der går en alarm lørdag aften klokken 21 om manglende køling i datacentret, der ligger under Banedanmarks hovedkvarter på Kalkbrænderivej på Østerbro i København.

Artiklen fortsætter efter annoncen

»Vi sender en tekniker ind, som konstaterer, at der er problemer med køling, men også at der er vand i kælderen, hvor alle installationerne, inklusive vores UPS-anlæg står (reserve-strømforsyning, red.). Jeg går i gang med at rekvirere folk, der kan hjælpe, og klokken 23 kommer meldingen om, at vandet stiger, så vi alamerer også Beredskabsstyrelsen, så de kan komme frem og hjælpe med pumper,« fortæller han.

Pumperne kommer frem, mens vandet bliver ved med at stige - og så udvikler situationen sig pludseligt voldsomt.

»Pludseligt lyder der et brag, og der kommer røg op fra kælderen, så brandvæsenet bliver tilkaldt. Klokken tre om natten er jeg derinde, og brandvæsenet er klar med røgdykkere, men af hensyn til deres sikkerhed skal alt strøm i huset være slukket, før de kan gå ind. Vi må bede Dong om at slukke strømmen ind til huset, og så ryger vores datacenter,« siger Kennet Lau Rentius.

Da branden er slukket, kan røgdykkerne fortælle om situationen i kælderen.

Artiklen fortsætter efter annoncen

»Vores ene UPS-anlæg er smeltet fuldstændigt ned. En del kabelinstallationer er svært beskadiget af ilden. Og da den giftige røg fra branden er luftet ud, kan vi selv gå ned og se på skaderne. En del af de strømkabler, der går ind i huset, er simpelthen smeltet. Der var cirka 40 centimeter vand i kælderen, som så kom op og røre ved de strømførende skinner, der kortsluttede,« fortæller han.

Da klokken slår 6 søndag morgen, er der blevet tilkaldt et helt hold elektrikere og flere it-folk, og da både tavlen for nødgeneratoren og hovedtavlen er intakt, forsøger de først at få strøm til serverne ved at tænde dieselgeneratoren.

Men den kører ustabilt, og da UPS-anlægget ikke kan bruges til at stabilisere strømmen, må de opgive generatøren.

»Det var desværre ikke muligt at styre generatoren, og det ser ud til, at den har været ramt af lynnedslag,« siger it-direktøren.

Et nyt UPS-anlæg bliver også skaffet på rekordtid i løbet af søndag formiddag, og efterhånden som elektrikerne tryller, kan datacentret blive tændt igen med almindelig bystrøm.

»Klokken halv tre søndag eftermiddag, 12 timer efter jeg ankom, er vi oppe og køre, med den nye UPS. Klokken 16 er alle systemer oppe. Vores SAN er slået lidt omkuld, fordi det blev lukket ned brat, og vi går i gang med fejlrettelser,« fortæller han.

Trængslerne er dog ikke slut. Søndag aften begynder vandet igen at fosse ind i kælderen, på grund af et nyt regnvejr, men alle mand er ved pumperne og får afværget nye problemer.

Mandag morgen kan it-direktøren konstatere, at alle systemer kører, som de skal, til morgentrafikken på skinnerne. Passagererne kan igen få information over højttalerne. At mange tog så er aflyst på grund af underminerede skinner og vand på sporene er en anden sag.

Eneste system, der driller nu, er et rackskab med et udviklingsmiljø, som blev ramt af en helt fjerde vej. Det regnede nemlig også ned fra taget på anden sal i Banedanmarks hovedkvarter.

»Vi har en backup, så vi kan køre det tilbage med ny hardware, men da vores udviklingsprojekter er lukket ned i sommerferien, har det ikke nogen betydning for os,« siger Kenneth Lau Rentius.

9 kommentarer.  Hop til debatten
Debatten
Log ind for at deltage i debatten.
settingsDebatindstillinger
4
4. juli 2011 kl. 11:58

Hvorfor er det at datacentre ofte blir lagt i kælderen? Gad vide om de økonomichefer der har truffet den "kloge" beslutning også blir gjort ansvarlige for det?

7
4. juli 2011 kl. 23:47

Der står at datacenteret ligger under deres hovedkvarter og at ups og installationer er i kælderen. Mig bekendt er der ikke mange ting udover kældre der ligger under en bygning.......

5
4. juli 2011 kl. 20:35

Set i bagklogskabens ulideligt klare lys kan det måske være en god ide at bruge kælderen til andre ting end lige netop servere og andre ting der ikke kan tåle vand. Evt. lave en ændring i bygningen så kælderen får sin egen indgang, så den kan udlejes til 3. part til andet formål.

Serverne kan så flyttes et godt stykke uden for København. Ideen er at placeringen af et datacenter ikke behøver at ligge tæt på administrationen.

Den ekstra pris kan måske opvejes betydeligt lavere forsikringspræmier i fremtiden for en mindre udsat placering.

2
4. juli 2011 kl. 11:35

Er jeg ene om at undre mig over at noget med stor betydning for den kollektive trafik ikke er sikret med et redundant center?

Sammenlignet med Surftown, så kan kunderne jo ikke bare finde nogle andre at benytte, hvis ikke de er trygge ved tanken om manglende rendundans ...

9
5. juli 2011 kl. 08:53

For bankernes IT er der krav om redundante (spejlede) datacentre der ligger mindst 50 km (så vidt jeg husker) fra hinanden. Noget lignende burde også være et krav for så kritisk en del af jernbaneinfrastrukturen, men det kan det måske blive nu?

8
5. juli 2011 kl. 02:43

Det undrer også mig

3
4. juli 2011 kl. 11:36

De to steder ligger omkring 1 km fra hinanden, så det er lige før :)