Varme-nedbrud på datacenter i Ballerup sendte flere hjemmesider i knæ

Når det hele er landet og alt er oppe at køre igen så husk at det til alle tider er de individuelle kunders ansvar at deres sider er tilgængelige.

Man kan outsource en opgave men aldrig et ansvar.

Søren

Den eneste rigtige form for redundans , som måske ville virker, ville måske være 2 centre.

Så er du pludselig ved at løse et helt andet problem. 2 centre hjælper først hvis alle kunderne har komplette setups i begge centre, med passende styring. Det er ret dyrt (og hvis man er ved at bygge sådan en løsning kigger man måske også efter to forskellige udbydere, fro at opnå noget beskyttelse mod økonomiske problemer hos en, så det er ikke særlig relevant for interxion, som i øvrigt har centre i flere europæiske lande, og der er jo ingen grund til ikke at beskytte sig mod politiske problemer, men måske er det bedre at placere sine to centre modsat hinanden på jordkloden?), langt de fleste kan klare sig med at være i ét datacenter hvor der er fornuftige garantier for oppetiden (det har interxion). Det her handler så om at bygge sådan et, det har interxion prøvet (og generelt gør de det godt), men denne hændelse får dem nok til at kigge på kølesystemet, jeg ville nok fokusere samme sted som Baldur, men de kan forhåbentlig finde nogen med mere forstand på opbygning af kølesystemer end mig.

En lokation kan altid "fejle" også selv om sites infrastruktur er n+1 eller 2n eller hvad det nu hedder alt sammen. Et godt eksempel er det gode gamle begreb ABEND747, ikke sandsynligt, men heller ikke umuligt.

Så hvis systemtilgængelighed er en prioritet bør man køre sine sine systemer i en eller ande dual/triple site konfiguration. Det er bare ikke helt billigt og i den virkelige verden failover mellem centre ikke altid helt så enkelt som man skulle tro, hvilket sikkert forklarer et og andet om de driftforstryrrelser der skrives om.

Den eneste rigtige form for redundans , som måske ville virker, ville måske være 2 centre.

Der er jo sådan set to "centre" på lokationen, nemlig København1 og København2. Dog er disse nok ikke dimensionerede til at kunne tage over for hinanden ved nedbrud af denne størrelsesorden. :-)

Burde være backup køleanlæg?

Der må være en designfejl, der har muliggjort at systemet kunne tømmes via en enkelt læk.

Den eneste rigtige form for redundans , som måske ville virker, ville måske være 2 centre. I Danmark et placeret på det Sjælanske EL Net, og det andet på det Jyske. Sammen med fiber forbindelse ud til hvert side. Så data også kunne komme frem til de fleste. Selv om forbindelsen imellem landsdelen kapes.

Man skal nok også køre på forskeligt hardware og software, så en fejl her ikke lægger begge centre ned.

Med sådan et centre er man sikkert så meget, at der skal krig eller meget volsome begivenheder til, for at lukke begge. Også er nemid og saxo nok ikke det vigtigste.

Naturligvis har de redundante køleenheder. Det var hellere ikke en sådan der fejlede.

De fører koldt vand rundt på samme måde som andre bygninger har varmt vand. En læk betyder at systemet tømmes for vand. Det svarer til at der på årets koldeste dag pludselig ikke er vand i radiatorerne. Så hjælper det ikke at have et ekstra fyr stående.

Der må være en designfejl, der har muliggjort at systemet kunne tømmes via en enkelt læk.

Logikken tilsiger at har man brug for 100 køleenheder så køber man 3 mindre anlæg som hver leverer 50 køleenheder for så kan man køre på 2 af 3 anlæg og skifte over hvis et anlæg fejler. Så snart det sker så tilkaldes en kølemontør som fikser anlægget.

Dertil en styring så hvert anlæg kører i 14 dage og så holder en uge, så man ikke pludseligt efter 1 år opdager at det inaktive anlæg svigter når et af de aktive svigter.

Det er nogle år siden jeg sidst var med til at vælge ved opbygning af et nyt center og der var et af valgene om selve køledistributionen også skulle være redundant eller om to køle anlæg brugte det sammen. Så det er med i designet. Men rigtigt at hvis man skriver man er redundant på alt, så er det ikke et sted man kan spare.

Jeg er ret sikker på, de fleste kunder hos Interxion føler, de har betalt for redundans.

Det har kunderne sikkert ikke ønsket at betale for? :)

Jeg er ret sikker på, de fleste kunder hos Interxion føler, de har betalt for redundans.

Når det er sagt, så har der sikkert ligget en fin plan over, hvordan man manuelt kunne omkoble systemerne i tilfælde af fejl. Men skuffeplaner har en tendens til at fejle i større eller mindre grad, når de møder virkeligheden - og mon ikke der er en sammenhæng med, at dagen i går samtidig var den hidtil varmeste i år.

Temperaturen skulle falde med 15 grader (og ikke til 15 grader), så jeg formoder hvis målet er 23 grader må temperaturen have været oppe på omkring ~38-40 grader.

Vi har en server, der er placeret lidt over gulvet - i den har vi en sensor, hvis temperatur steg fra 30 grader (normaltemperatur) til 50 grader ved peak kort før kl. 21 i går aftes, dvs. delta T på 20 grader. Da der ikke plejer at være ulideligt varmt i datacentret, passer det meget godt med, at temperaturen i knæhøjde har været ca. 40 grader.

Meldinger fra teknikere, der var på stedet, antyder, at temperaturen har været væsentligt højere længere væk fra gulvet, men det er selvfølgelig en subjektiv vurdering.

Det har kunderne sikkert ikke ønsket at betale for? :)

Det er flere ÅR siden der har været 15 grader hos InterXion i Ballerup, de sidste mange gange jeg har været der, har der virket temmeligt varmt i rummet, og den temperatur man kan aflæse var angivet til 23 grader.

Jeg læste statusbeskeder i går aftes / i nat. Temperaturen skulle falde med 15 grader (og ikke til 15 grader), så jeg formoder hvis målet er 23 grader må temperaturen have været oppe på omkring ~38-40 grader.

Er det kun mig, der kender til begrebet 'back-up' og 'redundante systemer' ved kritiske anlæg ? ;)

Det er flere ÅR siden der har været 15 grader hos InterXion i Ballerup, de sidste mange gange jeg har været der, har der virket temmeligt varmt i rummet, og den temperatur man kan aflæse var angivet til 23 grader.