Interxion-direktør erkender: Mystisk kollaps i datacenter har ført til »seriøse« kontraktbrud
Et mystisk stigende tryk i et køleanlæg og en efterfølgende eksplosion af en defekt slange. Meget tyder på, at det var årsagen til det omfattende nedbrud på et stort datacenter i Ballerup, som medførte, at flere af landets servere, hjemmesider og også kritiske it-systemer gik i sort.
Datacentret er ejet af Interxion, som leverer it-infrastruktur til private virksomheder og offentlige myndigheder. Siden weekendens kollaps har Interxion arbejdet på en såkaldt incident-rapport, som skal kaste lys over, hvad det var, der gik galt på det danske datacenter. Nu er rapporten klar.
Det meddeler Peder Bank, der er managing director hos Interxion. Han afviser af kundehensyn, at udlevere rapporten til Version2, men han vil gerne løfte sløret for de opdagelser, der er blevet gjort i kølvandet på hændelsen.
Han peger på, at der om søndagen opstod en bemærkelsesværdig stigning i trykket i datacentrets vandbårne køleanlæg sidst på eftermiddagen.
»Der er noget, som indikerer, at der sker noget mystisk i det, vi kalder for kølegården. Den består af otte kølere i containerstørrelse, der alle bidrager til systemet. Der er noget, som går i selvsving inde i kølegården, og det er det, som får trykket til at stige,« siger han.
Et knytnæve-stort hul
Normalt ligger driftstrykket i datacentrets køleanlæg omkring 2,3 bar, men søndag eftermiddag begyndte det at stige. Ved 2,8 bar blev der udsendt en alarm, men trykket voksede fortsat i den efterfølgende periode, før teknikerne nåede at lokalisere fejlen.
Systemet er designet og trykprøvet til at kunne klare ti bar, og hvis trykket overstiger 6 bar, bliver der aktiveret en sikkerhedsventil, som skal forhindre yderligere stigning.
Men det nåede aldrig at ske. Allerede ved 4,8 bar – før sikkerhedsventilen skulle aktiveres – sprang en slange, som indgår i kølesystemet. Ifølge Peder Bank har den været defekt.
»Der var en fejl på slangen, som gjorde, at den kunne springe før sikkerhedsniveauet var nået. Der kom et hul på størrelse med en knytnæve i slangen, og nu har vi pillet den ud. Vi undersøger desuden, hvor den kommer fra, om der er andre af den slags, som skal udskiftes,« siger han.
Varmt vejr i fokus
Ifølge Peder Bank er det stadig uklart, hvad der fik trykket til at stige til vejrs, og hvorfor slangen sprang ved 4,8 bar, når den har været testet til at skulle holde til mere end det dobbelte.
Da Version2 tidligere på ugen spurgte ind til, om vejret havde spillet en rolle i forhold til nedbruddet, sagde Peder Bank, at der på daværende tidspunkt ikke var noget, der indikerede, at temperaturene udendørs havde haft en effekt.
Termometeret nåede op over 30 grader den sommer-søndag, hvor nedbruddet skete, og ifølge Interxion-direktøren er teorien nu kommet tilbage i undersøgelserne.
Er I kommet nærmere på, om temperaturerne udenfor har haft indflydelse på det her nedbrud?
»Den er under mistanke, men i og med, at vi ikke har den endelige forklaring til problemet, så kan jeg heller ikke pege på den endnu. Jeg kan ikke udelukke den, men den er muligvis mere under mistanke, end den var før,« siger han og fortsætter:
»Vi savner at finde ud af, hvad der starter den uheldige kædereaktion i kølegården. Én af parametrene er, at det var en varm dag, så spørgsmålet er, om det har noget med det at gøre. Det kan ikke konkluderes endnu, men det kan heller ikke udelukkes.«
Afviser single point of failure
Peder Bank mener ikke, at nedbruddet er opstået på grund af en enkelt sikkerhedshændelse, og oplyser at datacentrets kølesystem er etableret som en såkaldt N+1-løsning med ekstra kølere, pumper og væsentlige komponenter.
»Vi skal have en infrastruktur, hvor det ikke kan være en enkelt fejl, der lægger os ned. Det er vores ansvar. Jeg mener heller ikke, at der er tale om en enkelt fejl, fordi der er tale om en kædereaktion. Det er et højt tryk, der får slangen til at springe, så det er mere end én ting, der er gået galt,« siger Peder Bank og tilføjer:
»Man kan ikke stille en 100-procents garanti. Derfor bliver de kunder, der har absolut kritiske systemer, nødt til at indbygge sikkerhed på serverniveau.«
Som Version2 tidligere har beskrevet medførte det store hul på slangen, at de 100 kubikmeter vand fra køleanlægget ifølge Peder Bank »populært sagt fossede ud af tankene«. Han påpeger, at centrets udstyr dog ikke blevet ødelagt af de store vandmasser.
»De 100 kubikmeter vand løb ned i vores ingeniørgang underbygningen, og der er derfor ikke blevet beskadiget udstyr på grund af vand,« siger han.
Seriøse kontraktbrud kan medføre straf
Interxions datacenter i Ballerup er delt op i to afdelinger ved navn København1 og København2. De har hver sin infrastruktur med køling, og nedbruddet ramte København1.
Peder Bank bekræfter, at det er alle kunder i København1-afdelingen, som har oplevet for høje temperaturer i deres kunderum under nedbruddet.
På nuværende tidspunkt har han ikke et overblik over skadesomfanget i forhold til ødelagt udstyr, og hvor meget det måtte koste. Han erkender dog, at Interxion ikke har været i stand til at overholde deres kundeaftaler om at levere ordentlige temperaturer.
»Jeg kan ikke sige noget om, hvad det direkte har haft af betydning for kunderne. Nogle har kunne køre videre, og de har bare oplevet en rigtig varm aften. Andre har haft nogle mere følsomme systemer, som har lukket ned. Jeg ved bare, at min opgave er at levere temperaturer, som jeg ikke har kunne levere til alle sammen.«
Han ved ikke på stående fod, om der er kunder, som endnu ikke er blevet reetableret efter kollapset, men ifølge ham er Interxions systemer på plads igen. Derudover påpeger han, at det altid er en kunderne selv, der beslutter om de vil lukke udstyr ned for eksempelvis at undgå overophedning.
»Vi skal holde os inde for vores SLA (service level agreement, red.) med en ordentlig temperatur, og i tilfælde af, at den kommer uden for normal afvigelse, så skal vi orientere vores kunder hurtigst muligt,« siger Peder Bank.
Er der udsigt til, at der vil blive betalt erstatning til kunder?
»Alle vores SLA’er er sikret af en række strafmuligheder. Det er klart, at der er nogle seriøse SLA-brud, som kontraktuelt kommer til at medføre noget såkaldt penalty,« siger han og tilføjer, at han endnu ikke ved, hvor stort et beløb, der er tale om.
»Vi fokuserer i første omgang på, at få centret stabiliseret, og det har vi gjort. Derudover fokuserer vi på at få styr på fejlen og kunne garantere vores SLA, som den skal være. Så kommer vi til at kigge på, hvad det betyder i forhold til kontrakter mellem os og vores kunder.«
Men det er altså alle kunder i København1, hvor der har været brud på SLA’en?
»Det vil være min antagelse.«
...men det er dyrt at lave god journalistik. Derfor beder vi dig overveje at tegne abonnement på Version2.
Digitaliseringen buldrer derudaf, og it-folkene tegner fremtidens Danmark. Derfor er det vigtigere end nogensinde med et kvalificeret bud på, hvordan it bedst kan være med til at udvikle det danske samfund og erhvervsliv.
Og der har aldrig været mere akut brug for en kritisk vagthund, der råber op, når der tages forkerte it-beslutninger.
Den rolle har Version2 indtaget siden 2006 - og det bliver vi ved med.
