Interxions datacenter brød sammen: »Vandet fossede populært sagt ud af køleanlægget«

Det startede søndag eftermiddag.

En teknisk alarm gik af hos datacentervirksomheden Interxion. Noget var galt i deres datacenter i Ballerup, og et hold teknikere blev sendt ud for at undersøge sagen.

Et par timer efter – omkring klokken 18 – blev fejlen identificeret, og problemet viste sig at være større end først antaget. Teknikerne stod overfor en stor lækage på det kølesystem, som normalt sørger for, at Ballerup-datacentret ikke bliver overophedet.

»Populært sagt betyder det, at vandet fossede ud,« siger Peder Bank, der er managing director hos Interxion.

Teknikerne fik lækagen isoleret, men det løste ikke hele problemet. Lækagen havde været omfattende, og der gik tid, før den blev fundet. Derfor var systemet stort set drænet for de store mængder vand, som er nødvendigt for at levere ordentlig køling af datacentret.

»Det er rigtig kritisk. Uden vand kører vores køling ikke. Derfra begynder det at gå stærkt med stigende temperaturer i kunderummene,« siger Peder Bank.

Ramte medier og offentlig it

Virksomheden Interxion leverer it-infrastruktur til både virksomheder og offentlige institutioner, og søndag eftermiddag var der et varme-nedbrud på vej i et af de datacentre, som virksomhedens kunder benytter sig af til deres servere og it-løsninger.

Lækagen i køleanlægget resulterede i, at flere servere søndag aften gik i sort landet over. Blandt de ramte var flere danske medier, herunder Verison2 og Ingeniøren, og ifølge Computerworld har også offentlige it-systemer i kommunerne været sendt til tælling.

Derudover har der angiveligt været problemer med DSB App, NemLog-in og Saxo, men det samlede overblik over omfanget af nedbruddet er endnu uklart.

100 kubikmeter vand og høje temperaturer

Ud på aftenen begyndte genopfyldningen af køleanlæggets tanke, efter at lækagen var blevet isoleret. Behovet for vand var stort, og der var brug for omkring 100 kubikmeter. Indtil det blev fyldt på, var det ikke muligt at køle på fuld kapacitet.

»Tiden og varmen arbejdede imod os, og det betyder, at der blev alt for varmt i op til flere kunderum,« siger Peder Bank og afviser i første omgang at sige for meget om, hvor høje temperaturer der har været tale om.

»Der er forskellige temperaturer forskellige steder i centret, men det var langt varmere, end det skal være. Jeg kan sige så meget, at vi har set temperaturer på over 40 grader.«

Sponseret indhold

V2 Briefing | 17. april | GENERATIV AI: Sådan bruger du det professionelt

Kunstig Intelligens

Omkring klokken 20 lykkedes det at få vendt udviklingen, og herefter faldt temperaturerne igen. Køleanlægget kom i fuld drift før midnat, og omkring klokken 01 er temperaturen stabil mellem 18 og 27 grader i datacentrets rum igen.

Overophedede kunderum

Ifølge Peder Bang håndterer Interxions kunder selv situationen i datacentrets enkelte kunderum i forbindelse med køleproblemerne, imens Interxion fokuserer på it-infrastrukturen og den overordnede drift.

På trods af, at vandet kom tilbage i køleanlægget omkring midnat, har flere kunder problemer i flere timer efter, og Version2 har tidligere beskrevet, hvordan blandt andre den hollandske hostingvirksomhed Sentia indtil i formiddags var berørt af datacentrets køleproblemer.

Peder Bang erkender også, at hændelsen har påvirket en stor andel af Interxions kunder, og ifølge ham er der stadig teknikere, som arbejder på at få ryddet op efter hændelsen.

»Jeg ved, at der har været steder, hvor kunderne har lukket ned på grund af overophedning, men der har også været tilfælde, hvor kunderne har lavet en kontrolleret nedlukning,« siger han.

Hvor mange kunder har været påvirket af problemet?

»Det har jeg ikke det præcise tal på. Derudover har vores kunder jo typisk en række af deres egne kunder under dem, som kan være alt fra 10 til 100. Så det endelige antal slutkunder tør jeg slet ikke komme med et bud på.«

Han påpeger, at Interxions hovedcampus i Ballerup er delt op i to afdelinger ved navn København1 og København2. De har hver sin infrastruktur med køling, og problemet har ramt København1. Den anden afdeling har ifølge Peder Bank »kørt videre på fuld skrue« sammen med deres backup-site i Valby.

Sponseret indhold

Ny 7-akset robot-IP løfter automation til nyt niveau: Her er specifikationerne

Automation

»Det er en god halvdel af datacentret, der er ramt af problemerne, så er det jo også en væsentlig del af vores kunder og nogle kritiske systemer, der er blevet påvirket,« siger han.

Peder Bank vil ikke komme nærmere ind på noget tal, og han ønsker heller ikke at uddybe, hvilke kunder eller kritiske systemer, der er tale om.

Afklaring på vej

Der er endnu ingen svar på, hvordan lækagen i køleanlægget opstod, men ifølge Peder Bank kommer der inden ugens udgang en rapport om hændelsen med tilhørende anbefalinger, som skal implementeres for at undgå gentagelser.

»Jeg håbede, at vi havde gjort alt for, at det her ikke skulle ske. Djævlen ligger i detaljen, og et eller andet havde vi ikke godt nok styr på, må vi bare sige. Det skal vi have fundet ud af, for selvfølgelig skal sådan noget her ikke kunne ske,« siger han.

Seminar: Sådan tiltrækker du it-talenter til industrien

Peder Bank er afventende i forhold til at komme med teorier om, hvad der kunne have udløst hændelsen, men ifølge ham er der tale om flere hændelser eller komponenter, der tilsammen har fået lækagen til at opstå.

»Vi kommer både til at kigge den fysiske installation efter, og typisk vil der også ske ændringer i forhold til vores daglige processer og procedurer. Jeg tror også, at vi skal have justeret på begge dele.«

Har temperaturerne udendørs spillet en rolle på det her problem?

»Det er nærliggende at tro, og jeg skal ikke konkludere noget endnu. Men indtil videre, er der ikke noget, der indikerer, at det har noget at gøre med den varme, som vi havde i går. Vi er på toppen af vores kapacitet, og vi har næsten lige færdiggjort en modernisering og opgradering af vores køling.«

Men jeres køleanlæg er umiddelbart rustet til at stå imod de her temperaturer?

»Yes.«