Her er hemmelighederne bag NNIT's nye datacenter

13. august 2010 kl. 06:598
Her er hemmelighederne bag NNIT's nye datacenter
Illustration: NNIT.
Al indmaden i NNIT's nye datacenter i Bagsværd skal kunne skiftes uden at forstyrre driften for kunderne. Derfor bliver datacenteret bygget med redundans og med let adgang til at udskifte forældede køleanlæg og dieselgeneratorer.
Artiklen er ældre end 30 dage

På en byggeplads i det Novo-dominerede industrikvarter nær centrum af Bagsværd nordvest for København venter tre containerdocks på at tage imod de tre dieselgeneratorer, som skal kunne forsyne NNIT's nye datacenter med strøm.

Datacenteret skal efter planen kunne tages i brug i begyndelsen af december i år, men lige nu er alle de indre organer i det kommende datacenter blotlagt.

Det gør det muligt at få direkte syn for den langsigtede planlægning, som er tænkt ind i designet af datacenteret.

»Vi ser datacenteret her som en boks, og der tænker vi, at den skal holde i 50 år, så alt skal kunne udskiftes undervejs,« forklarer data center manager Mads Claus Henriksen fra NNIT, mens han viser Version2 rundt på byggepladsen.

Artiklen fortsætter efter annoncen

Bygningen skal altså kunne bruges som datacenter i 50 år, men allerede efter 10 år vil der være nye og mere økonomiske køleanlæg, og dieselgeneratorerne vil formentligt også skulle skiftes mindst én gang i datacentrets levetid for at leve op til fremtidige krav til pålidelighed og emission.

Derfor er alle døre og vægge placeret, så det er let at komme til at rulle eksempelvis et udtjent nødstrømsanlæg med batterier ud fra kælderen og sænke et nyt ned som udskiftning.

Tilsvarende skal redundansen mellem systemerne ikke bare bruges i tilfælde af nedbrud, men også til at gøre det let at opgradere. Eksempelvis er der tre rum med eltavler og to køleanlæg med hver tre kølemaskiner i hver sin ende af kælderen.

»Redundansen betyder, at vi kan opgradere datacenteret uden at skulle bygge noget parallelt til kunderne imens,« siger Mads Claus Henriksen.

Artiklen fortsætter efter annoncen

Redundant køleudstyr kan spare penge
Redundans er naturligvis også vigtigt for at kunne sikre driften mod uheld, nedbrud og sågar sabotage. Derfor bygger NNIT redundans ind alle steder, hvor det er muligt.

Af samme grund er datacenterets strømforsyning designet, så det er de tre dieselgeneratorer på grunden, som designmæssigt fungerer som den primære strømforsyning. Det betyder at anlæggene er dimensioneret til kontinuerlig drift.

I praksis vil strømmen, som bliver brugt i den normale drift dog komme fra det offentlige elektricitetsnet. Den måde, elnettet er opbygget på i Østdanmark, betyder imidlertid, at man ikke kan få ægte redundans med to helt adskilte højspændingsforbindelser. Derfor adskiller elforsyningsdesignet sig fra international best practice. Denne risiko bliver dels imødekommet af opstillingen med de kraftige generatorer, og dels ved at det danske elnet set med internationale briller er meget stabilt.

Redundans betyder ikke blot, at man har dobbelt så meget udstyr, som man har brug for, hvor halvdelen samler støv. Det ekstra udstyr giver også mulighed for bedre økonomi. Det udnytter NNIT i driften ved at bruge overkapaciteten til at optimere hele kølesystemet.

Kølingen af serverne og det andet udstyr i datacenteret kommer ikke til at ske ved konventionel luftkøling, hvor den afkølede luft blæses ind fra det hævede gulv. Ganske vist er gulvet hævet én meter, men under gulvet løber elkabler og rør med kølevand.

Vandet bliver ledt op til airconditionenheder, hvor der sidder to in-row-enheder i hver række af serverskabene. Det sikrer både redundans, men det gør det også muligt at køre hver enhed på et lavere blus og dermed spare energi.

»Vi bruger redundansen i normaldriften. I denne branche bygger alle datacentre af de samme legoklodser. Så enten må vi være smarte, eller også må man snyde på vægtskålen. Vi har valgt at være smarte,« siger Mads Claus Henriksen.

Minimalt strømspild til køling
Målet er, at datacenteret skal opnå en PUE, Power Usage Efficiency, på 1,3. Tallet angiver forholdet mellem, hvor meget strøm selve it-udstyret bruger, og hvor meget hele bygningen forbruger. Jo tættere på 1,0 des bedre. Lige nu har verdens mest effektive datacentre en PUE på omkring 1,21, men det er datacentre på tusindvis af kvadratmeter bygget af Google, Microsoft og andre af de største it-firmaer.

Artiklen fortsætter efter annoncen

Ingen af disse centre er dog bygget til 50 års kontinuerlig drift eller drift af superkritiske forretningssystemer for kunder i medicinal- eller finanssektoren.

NNIT's til sammenligning mere beskedne 600 kvadratmeter vil dog stadig høre til i toppen blandt energieffektive datacentre, hvis det lykkes at opnå en PUE på 1,3.

Kølingen er baseret på et lukket vandsystem, som kan køles via frikøling på taget, hvor de i alt 10 køleenheder står klar. Det betyder, at hele taget af den to etager høje bygning er tætpakket med køleudstyr, fordi der skal være nok kapacitet til at kunne klare den fulde belastning, hvis halvdelen står af på den varmeste sommerdag.

Eller forårsdag for den sags skyld, for rundvisningen på taget af datacenteret sker på en dag med en jævn vind, regn og en temperatur lige i underkanten af 20 grader i august.

Når vejret arter sig i Danmark, og vi finder shortsene frem, så bliver frikøling ikke længere rentabelt. Så overtager kompressoranlæg med ammoniak som kølemiddel til at kompensere for, at lufttemperaturen udenfor er for høj til at bringe temperaturen på kølevandet tilstrækkeligt ned ved frikøling.

Nødforsyning skal starte automatisk - ellers er det for sent

Kølingen af udstyret er alfa og omega for driften. Servere, netværk og storagesystemer udvikler store mængder varme, og selvom meget udstyr er blevet mere effektivt de seneste år, så bliver udstyret også pakket mere tæt. Det betyder, at der er mere varme på de samme kvadratmeter, som skal ledes væk, for varme kan hurtigt ødelægge it-udstyr.

»Hvis kølingen stopper, så kan serverrumstemperaturen stige med én grad for hver 10 sekunder, der går. Vi har en batterikapacitet til cirka 10 minutters UPS-drift til udstyret, men kølingen skal vente op til 30 sekunder på, at generatorerne starter op. Derfor er der installeret 2 styk 12 kubikmeter buffertanke med koldt vand for at stabilisere kølesystemet i situationer som disse,« forklarer Mads Claus Henriksen.

Og de skal starte automatisk. Det er derfor, der er bygget redundans ind, så datacenteret kan køre normalt på blot to af de tre dieselgeneratorer, men hvis de ikke starter op, når bystrømmen går, så er det i praksis håbløst at håbe på at nå at få dem i gang, inden batterierne løber tør, og udstyret må lukke ned.

»Erfaringen er, at ingen når at redde den på målstregen. Så det skal bare starte automatisk op. Så det er vigtigt at at gennemføre systematiske test af alle systemer og delsystemer,« siger Mads Claus Henriksen.

Skudsikkert glas og ansigtsgenkendelse
Når gravemaskinerne er kørt væk, og serverne er flyttet ind i det nye datacenter, så får redundansen også en anden funktion. Den er nemlig en del af anlæggets sikkerhed.

Eksempelvis kan servicefolk til køleanlæggene kun få adgang til ét af de to køleanlæg af gangen, og sådan er det tilsvarende for strømforsyningen og internetforbindelserne. Det skal sikre mod både sabotage og uheld.

Hele området omkring bygningen vil også blive overvåget med kameraer og bevægelsessensorer, og adgang til datacentret kommer til at ske gennem en sluse, der kræver trefaktorautentificering for at få adgang.

For at komme forbi vagten, som sidder bag skudsikkert glas, og gennem slusen skal man have både et adgangskort, en kode og kunne genkendes af den biometriske 3D-ansigtsgenkendelse.

Sprinklere til brandslukning

En langt mere sandsynlig trussel mod datacenteret er imidlertid brand, og her har NNIT valgt en opdateret version af en brandslukningsteknologi, som har eksisteret i mange år, men ellers ikke forbindes med datacentre.

»Vi bruger sprinklere. Det skyldes størrelsen på rummet. Med inaktive gasser har du kun ét skud i bøssen. Og sprinklerne er ikke ligesom i Die Hard, hvor hele etagen kommer til at stå under vand « forklarer Mads Claus Henriksen.

Selve udstyret i datacentret er relativt brandsikkert og vil normalt kun brænde, hvis der er en energikilde som eksempelvis et kortsluttet elanlæg. Derfor gælder det om at få lokaliseret og afbrudt energikilden.

Sprinklerne kan tændes enkeltvis og holdes kørende, indtil branden er under kontrol. Både røg og varme skal være tilstede for at udløse lokal sprinkling. Det skal sikre mod utilsigtet sprinkling med vand i de kritiske miljøer. Slukningsanlæg med inaktive gasser populært sagt 'puste' ilden ud, men det kan være vanskeligt i et meget stort rum.

Bygget som et skib

Vand og servere er en dårlig cocktail, og med 10 kilovolt højspænding i kælderen er det af indlysende grunde ikke godt, hvis vandstanden skulle begynde at stige i underetagen, hvad enten det er på grund af sprinklere eller skybrud.

Derfor er hele bygningen omgivet af en stålkasse og en lav mur, som kan holde regnvand ude, og i kælderen sørger afløb, pumper og høje dørtrin for at holde udstyret tørt.

»Vi har bygget det som et skib, hvor vi kan pumpe vand ud over rælingen,« fortæller Mads Claus Henriksen.

Han har været med til at bygge flere datacentre, og hele processen med at tage højde for næsten enhver tænkelig situation kræver megen planlægning.

»Der er uendelig mange detaljer, man skal tage højde for, så det gælder om at have set noget lignende før. Miljøet for kritisk datacenterdrift er lille, så man bliver inspireret af de andres gode idéer og sørger også for at dele ud,« siger Mads Claus Henriksen.

8 kommentarer.  Hop til debatten
Denne artikel er gratis...

...men det er dyrt at lave god journalistik. Derfor beder vi dig overveje at tegne abonnement på Version2.

Digitaliseringen buldrer derudaf, og it-folkene tegner fremtidens Danmark. Derfor er det vigtigere end nogensinde med et kvalificeret bud på, hvordan it bedst kan være med til at udvikle det danske samfund og erhvervsliv.

Og der har aldrig været mere akut brug for en kritisk vagthund, der råber op, når der tages forkerte it-beslutninger.

Den rolle har Version2 indtaget siden 2006 - og det bliver vi ved med.

Debatten
Log ind eller opret en bruger for at deltage i debatten.
settingsDebatindstillinger
1
13. august 2010 kl. 08:14

God artikel, altid spændende at høre om.

2
13. august 2010 kl. 08:52

Rigtigt spændende artiklet - jeg ville nu rigtigt gerne over og se det færdige byggeri samt få en rundvisning :)