Varme-nedbrud på datacenter i Ballerup sendte flere hjemmesider i knæ

Illustration: Kwarkot / Bigstockphoto.com
Et kollapset køleanlæg hos datacentervirksomheden Interxion fik søndag aften flere danske medie-hjemmesider til at gå ned. NemLog-in, DSB App og Saxo har angiveligt også haft problemer på grund af nedbruddet.

Søndag aften gik hjemmesiderne hos flere danske medier, virksomheder og offentlige myndigheder i sort på grund af et nedbrud i et datacenter i Ballerup.

Datacentret er ejet af virksomheden Interxion, som leverer it-infrastruktur til en række virksomheder og hostingselskaber. Ifølge Version2s oplysninger skyldes nedbruddet, at datacentrets køleanlæg gik i stykker.

Problemet med køleanlægget opstod omkring klokken 20.00 søndag, hvorefter der blev lukket ned for hele systemet.

I løbet af natten arbejdet på at få rettet op på driften og den manglende køling. Omkring klokken 23 faldt temperaturen i datacentret ifølge Version2s oplysninger med 1 grad hvert 20. minut - som minimum har det været nødvendigt at nå ned på 15 grader.

Det er uklart, hvor varmt der var blevet i datacentret på daværende tidspunkt.

Flere blev ramt

Der er endnu ikke et samlet overblik over omfanget af nedbruddet, men Interxion leverer blandt andet infrastruktur til den hollandske hostingvirksomhed Sentia, som også er blevet påvirket af hændelsen.

I flere statusmeldinger har Sentia i løbet af natten til mandag oplyst, at deres kunder kan opleve »mulige udfald grundet køling«, men det er endnu uklart, hvor mange der har været tale om.

Samtidig har flere medier og virksomheder oplevet problemer i perioden fra søndag aften i løbet af natten til i dag.

Det gælder blandt andet aviserne Kristeligt Dagblad og Dagbladet Information, som har oplyst, at de var ramt af et nedbrud i perioden.

»Meldingen er, at der er en kølefunktion hos vores serverudbyder, som er gået i stykket. Derfor blev en lang række af deres kunder, herunder os, ramt, da serverne blev så varme, at de lukkede ned,« skriver Dagbladet Information i en kommentar på Facebook.

Hos Skatteforvaltningen var der problemer med NemLog-in i tidsrummet søndag aften.

Derudover har der angiveligt været problemer med DSB App og Saxo.

Version2 og Ingeniøren var også ramt af nedbruddet. Her gik der omkring seks timer, før siderne var online igen omkring klokken 01.

Stadig problemer

I den seneste statusmeldinger om sagen oplyser hostingvirksomheden Sentia, at de stadig har kunder, som er berørt af datacentrets køleproblemer. I den seneste statusmelding fra klokken 09:10 mandag morgen er der tale om to kunder, og Sentia er i direkte kontakt med disse.

»Der forventes ikke flere løbende opdateringer her, men Sentia vil efterfølgende stille en redegørelse for begivenhederne til rådighed for de berørte kunder. Vi beklager igen hændelsen og de ulemper, den har påført vores kunder,« skriver hostingselskabet i statusmeldingen.

Version2 har forsøgt at få svar på en række spørgsmål til hændelsen, og vi følger op, hvis der er noget nævneværdigt nyt at berette.

Tips og korrekturforslag til denne historie sendes til tip@version2.dk
Følg forløbet
Kommentarer (15)
sortSortér kommentarer
  • Ældste først
  • Nyeste først
  • Bedste først
Lars Emil Christensen Digital Udvikling

Det er flere ÅR siden der har været 15 grader hos InterXion i Ballerup, de sidste mange gange jeg har været der, har der virket temmeligt varmt i rummet, og den temperatur man kan aflæse var angivet til 23 grader.

Jeg læste statusbeskeder i går aftes / i nat. Temperaturen skulle falde med 15 grader (og ikke til 15 grader), så jeg formoder hvis målet er 23 grader må temperaturen have været oppe på omkring ~38-40 grader.

  • 6
  • 0
Yoel Caspersen Blogger

Det har kunderne sikkert ikke ønsket at betale for? :)

Jeg er ret sikker på, de fleste kunder hos Interxion føler, de har betalt for redundans.

Når det er sagt, så har der sikkert ligget en fin plan over, hvordan man manuelt kunne omkoble systemerne i tilfælde af fejl. Men skuffeplaner har en tendens til at fejle i større eller mindre grad, når de møder virkeligheden - og mon ikke der er en sammenhæng med, at dagen i går samtidig var den hidtil varmeste i år.

Temperaturen skulle falde med 15 grader (og ikke til 15 grader), så jeg formoder hvis målet er 23 grader må temperaturen have været oppe på omkring ~38-40 grader.

Vi har en server, der er placeret lidt over gulvet - i den har vi en sensor, hvis temperatur steg fra 30 grader (normaltemperatur) til 50 grader ved peak kort før kl. 21 i går aftes, dvs. delta T på 20 grader. Da der ikke plejer at være ulideligt varmt i datacentret, passer det meget godt med, at temperaturen i knæhøjde har været ca. 40 grader.

Meldinger fra teknikere, der var på stedet, antyder, at temperaturen har været væsentligt højere længere væk fra gulvet, men det er selvfølgelig en subjektiv vurdering.

  • 6
  • 1
Steffen Lindemann

Det er nogle år siden jeg sidst var med til at vælge ved opbygning af et nyt center og der var et af valgene om selve køledistributionen også skulle være redundant eller om to køle anlæg brugte det sammen.
Så det er med i designet.
Men rigtigt at hvis man skriver man er redundant på alt, så er det ikke et sted man kan spare.

  • 1
  • 0
Henrik Madsen

Logikken tilsiger at har man brug for 100 køleenheder så køber man 3 mindre anlæg som hver leverer 50 køleenheder for så kan man køre på 2 af 3 anlæg og skifte over hvis et anlæg fejler. Så snart det sker så tilkaldes en kølemontør som fikser anlægget.

Dertil en styring så hvert anlæg kører i 14 dage og så holder en uge, så man ikke pludseligt efter 1 år opdager at det inaktive anlæg svigter når et af de aktive svigter.

  • 4
  • 0
Baldur Norddahl

Naturligvis har de redundante køleenheder. Det var hellere ikke en sådan der fejlede.

De fører koldt vand rundt på samme måde som andre bygninger har varmt vand. En læk betyder at systemet tømmes for vand. Det svarer til at der på årets koldeste dag pludselig ikke er vand i radiatorerne. Så hjælper det ikke at have et ekstra fyr stående.

Der må være en designfejl, der har muliggjort at systemet kunne tømmes via en enkelt læk.

  • 6
  • 0
Hans Nielsen

Der må være en designfejl, der har muliggjort at systemet kunne tømmes via en enkelt læk.


Ja, eller at det ikke har været 2 rørsystemer med vand. Altså rigtigt redundans :-)
Vandet kunne dog måske have kortsluttet det hele aligevel :-)

Den eneste rigtige form for redundans , som måske ville virker, ville måske være 2 centre.
I Danmark et placeret på det Sjælanske EL Net, og det andet på det Jyske.
Sammen med fiber forbindelse ud til hvert side. Så data også kunne komme frem til de fleste. Selv om forbindelsen imellem landsdelen kapes.

Man skal nok også køre på forskeligt hardware og software, så en fejl her ikke lægger begge centre ned.

Med sådan et centre er man sikkert så meget, at der skal krig eller meget volsome begivenheder til, for at lukke begge. Også er nemid og saxo nok ikke det vigtigste.

  • 0
  • 2
Morten Fordsmand

En lokation kan altid "fejle" også selv om sites infrastruktur er n+1 eller 2n eller hvad det nu hedder alt sammen.
Et godt eksempel er det gode gamle begreb ABEND747, ikke sandsynligt, men heller ikke umuligt.

Så hvis systemtilgængelighed er en prioritet bør man køre sine sine systemer i en eller ande dual/triple site konfiguration. Det er bare ikke helt billigt og i den virkelige verden failover mellem centre ikke altid helt så enkelt som man skulle tro, hvilket sikkert forklarer et og andet om de driftforstryrrelser der skrives om.

  • 0
  • 1
Henrik Christian Grove

Den eneste rigtige form for redundans , som måske ville virker, ville måske være 2 centre.

Så er du pludselig ved at løse et helt andet problem.
2 centre hjælper først hvis alle kunderne har komplette setups i begge centre, med passende styring. Det er ret dyrt (og hvis man er ved at bygge sådan en løsning kigger man måske også efter to forskellige udbydere, fro at opnå noget beskyttelse mod økonomiske problemer hos en, så det er ikke særlig relevant for interxion, som i øvrigt har centre i flere europæiske lande, og der er jo ingen grund til ikke at beskytte sig mod politiske problemer, men måske er det bedre at placere sine to centre modsat hinanden på jordkloden?), langt de fleste kan klare sig med at være i ét datacenter hvor der er fornuftige garantier for oppetiden (det har interxion). Det her handler så om at bygge sådan et, det har interxion prøvet (og generelt gør de det godt), men denne hændelse får dem nok til at kigge på kølesystemet, jeg ville nok fokusere samme sted som Baldur, men de kan forhåbentlig finde nogen med mere forstand på opbygning af kølesystemer end mig.

  • 1
  • 0
Søren Walther

Når det hele er landet og alt er oppe at køre igen så husk at det til alle tider er de individuelle kunders ansvar at deres sider er tilgængelige.

Man kan outsource en opgave men aldrig et ansvar.

Søren

  • 0
  • 0
Log ind eller Opret konto for at kommentere