Her er hemmelighederne bag NNIT's nye datacenter

Al indmaden i NNIT's nye datacenter i Bagsværd skal kunne skiftes uden at forstyrre driften for kunderne. Derfor bliver datacenteret bygget med redundans og med let adgang til at udskifte forældede køleanlæg og dieselgeneratorer.

På en byggeplads i det Novo-dominerede industrikvarter nær centrum af Bagsværd nordvest for København venter tre containerdocks på at tage imod de tre dieselgeneratorer, som skal kunne forsyne NNIT's nye datacenter med strøm.

Datacenteret skal efter planen kunne tages i brug i begyndelsen af december i år, men lige nu er alle de indre organer i det kommende datacenter blotlagt.

Det gør det muligt at få direkte syn for den langsigtede planlægning, som er tænkt ind i designet af datacenteret.

»Vi ser datacenteret her som en boks, og der tænker vi, at den skal holde i 50 år, så alt skal kunne udskiftes undervejs,« forklarer data center manager Mads Claus Henriksen fra NNIT, mens han viser Version2 rundt på byggepladsen.

Bygningen skal altså kunne bruges som datacenter i 50 år, men allerede efter 10 år vil der være nye og mere økonomiske køleanlæg, og dieselgeneratorerne vil formentligt også skulle skiftes mindst én gang i datacentrets levetid for at leve op til fremtidige krav til pålidelighed og emission.

Derfor er alle døre og vægge placeret, så det er let at komme til at rulle eksempelvis et udtjent nødstrømsanlæg med batterier ud fra kælderen og sænke et nyt ned som udskiftning.

Tilsvarende skal redundansen mellem systemerne ikke bare bruges i tilfælde af nedbrud, men også til at gøre det let at opgradere. Eksempelvis er der tre rum med eltavler og to køleanlæg med hver tre kølemaskiner i hver sin ende af kælderen.

»Redundansen betyder, at vi kan opgradere datacenteret uden at skulle bygge noget parallelt til kunderne imens,« siger Mads Claus Henriksen.

Redundant køleudstyr kan spare penge
Redundans er naturligvis også vigtigt for at kunne sikre driften mod uheld, nedbrud og sågar sabotage. Derfor bygger NNIT redundans ind alle steder, hvor det er muligt.

Af samme grund er datacenterets strømforsyning designet, så det er de tre dieselgeneratorer på grunden, som designmæssigt fungerer som den primære strømforsyning. Det betyder at anlæggene er dimensioneret til kontinuerlig drift.

I praksis vil strømmen, som bliver brugt i den normale drift dog komme fra det offentlige elektricitetsnet. Den måde, elnettet er opbygget på i Østdanmark, betyder imidlertid, at man ikke kan få ægte redundans med to helt adskilte højspændingsforbindelser. Derfor adskiller elforsyningsdesignet sig fra international best practice. Denne risiko bliver dels imødekommet af opstillingen med de kraftige generatorer, og dels ved at det danske elnet set med internationale briller er meget stabilt.

Redundans betyder ikke blot, at man har dobbelt så meget udstyr, som man har brug for, hvor halvdelen samler støv. Det ekstra udstyr giver også mulighed for bedre økonomi. Det udnytter NNIT i driften ved at bruge overkapaciteten til at optimere hele kølesystemet.

Kølingen af serverne og det andet udstyr i datacenteret kommer ikke til at ske ved konventionel luftkøling, hvor den afkølede luft blæses ind fra det hævede gulv. Ganske vist er gulvet hævet én meter, men under gulvet løber elkabler og rør med kølevand.

Vandet bliver ledt op til airconditionenheder, hvor der sidder to in-row-enheder i hver række af serverskabene. Det sikrer både redundans, men det gør det også muligt at køre hver enhed på et lavere blus og dermed spare energi.

»Vi bruger redundansen i normaldriften. I denne branche bygger alle datacentre af de samme legoklodser. Så enten må vi være smarte, eller også må man snyde på vægtskålen. Vi har valgt at være smarte,« siger Mads Claus Henriksen.

Minimalt strømspild til køling
Målet er, at datacenteret skal opnå en PUE, Power Usage Efficiency, på 1,3. Tallet angiver forholdet mellem, hvor meget strøm selve it-udstyret bruger, og hvor meget hele bygningen forbruger. Jo tættere på 1,0 des bedre. Lige nu har verdens mest effektive datacentre en PUE på omkring 1,21, men det er datacentre på tusindvis af kvadratmeter bygget af Google, Microsoft og andre af de største it-firmaer.

Ingen af disse centre er dog bygget til 50 års kontinuerlig drift eller drift af superkritiske forretningssystemer for kunder i medicinal- eller finanssektoren.

NNIT's til sammenligning mere beskedne 600 kvadratmeter vil dog stadig høre til i toppen blandt energieffektive datacentre, hvis det lykkes at opnå en PUE på 1,3.

Kølingen er baseret på et lukket vandsystem, som kan køles via frikøling på taget, hvor de i alt 10 køleenheder står klar. Det betyder, at hele taget af den to etager høje bygning er tætpakket med køleudstyr, fordi der skal være nok kapacitet til at kunne klare den fulde belastning, hvis halvdelen står af på den varmeste sommerdag.

Eller forårsdag for den sags skyld, for rundvisningen på taget af datacenteret sker på en dag med en jævn vind, regn og en temperatur lige i underkanten af 20 grader i august.

Når vejret arter sig i Danmark, og vi finder shortsene frem, så bliver frikøling ikke længere rentabelt. Så overtager kompressoranlæg med ammoniak som kølemiddel til at kompensere for, at lufttemperaturen udenfor er for høj til at bringe temperaturen på kølevandet tilstrækkeligt ned ved frikøling.

Nødforsyning skal starte automatisk - ellers er det for sent

Kølingen af udstyret er alfa og omega for driften. Servere, netværk og storagesystemer udvikler store mængder varme, og selvom meget udstyr er blevet mere effektivt de seneste år, så bliver udstyret også pakket mere tæt. Det betyder, at der er mere varme på de samme kvadratmeter, som skal ledes væk, for varme kan hurtigt ødelægge it-udstyr.

»Hvis kølingen stopper, så kan serverrumstemperaturen stige med én grad for hver 10 sekunder, der går. Vi har en batterikapacitet til cirka 10 minutters UPS-drift til udstyret, men kølingen skal vente op til 30 sekunder på, at generatorerne starter op. Derfor er der installeret 2 styk 12 kubikmeter buffertanke med koldt vand for at stabilisere kølesystemet i situationer som disse,« forklarer Mads Claus Henriksen.

Og de skal starte automatisk. Det er derfor, der er bygget redundans ind, så datacenteret kan køre normalt på blot to af de tre dieselgeneratorer, men hvis de ikke starter op, når bystrømmen går, så er det i praksis håbløst at håbe på at nå at få dem i gang, inden batterierne løber tør, og udstyret må lukke ned.

»Erfaringen er, at ingen når at redde den på målstregen. Så det skal bare starte automatisk op. Så det er vigtigt at at gennemføre systematiske test af alle systemer og delsystemer,« siger Mads Claus Henriksen.

Skudsikkert glas og ansigtsgenkendelse
Når gravemaskinerne er kørt væk, og serverne er flyttet ind i det nye datacenter, så får redundansen også en anden funktion. Den er nemlig en del af anlæggets sikkerhed.

Eksempelvis kan servicefolk til køleanlæggene kun få adgang til ét af de to køleanlæg af gangen, og sådan er det tilsvarende for strømforsyningen og internetforbindelserne. Det skal sikre mod både sabotage og uheld.

Hele området omkring bygningen vil også blive overvåget med kameraer og bevægelsessensorer, og adgang til datacentret kommer til at ske gennem en sluse, der kræver trefaktorautentificering for at få adgang.

For at komme forbi vagten, som sidder bag skudsikkert glas, og gennem slusen skal man have både et adgangskort, en kode og kunne genkendes af den biometriske 3D-ansigtsgenkendelse.

Sprinklere til brandslukning

En langt mere sandsynlig trussel mod datacenteret er imidlertid brand, og her har NNIT valgt en opdateret version af en brandslukningsteknologi, som har eksisteret i mange år, men ellers ikke forbindes med datacentre.

»Vi bruger sprinklere. Det skyldes størrelsen på rummet. Med inaktive gasser har du kun ét skud i bøssen. Og sprinklerne er ikke ligesom i Die Hard, hvor hele etagen kommer til at stå under vand « forklarer Mads Claus Henriksen.

Selve udstyret i datacentret er relativt brandsikkert og vil normalt kun brænde, hvis der er en energikilde som eksempelvis et kortsluttet elanlæg. Derfor gælder det om at få lokaliseret og afbrudt energikilden.

Sprinklerne kan tændes enkeltvis og holdes kørende, indtil branden er under kontrol. Både røg og varme skal være tilstede for at udløse lokal sprinkling. Det skal sikre mod utilsigtet sprinkling med vand i de kritiske miljøer. Slukningsanlæg med inaktive gasser populært sagt 'puste' ilden ud, men det kan være vanskeligt i et meget stort rum.

Bygget som et skib

Vand og servere er en dårlig cocktail, og med 10 kilovolt højspænding i kælderen er det af indlysende grunde ikke godt, hvis vandstanden skulle begynde at stige i underetagen, hvad enten det er på grund af sprinklere eller skybrud.

Derfor er hele bygningen omgivet af en stålkasse og en lav mur, som kan holde regnvand ude, og i kælderen sørger afløb, pumper og høje dørtrin for at holde udstyret tørt.

»Vi har bygget det som et skib, hvor vi kan pumpe vand ud over rælingen,« fortæller Mads Claus Henriksen.

Han har været med til at bygge flere datacentre, og hele processen med at tage højde for næsten enhver tænkelig situation kræver megen planlægning.

»Der er uendelig mange detaljer, man skal tage højde for, så det gælder om at have set noget lignende før. Miljøet for kritisk datacenterdrift er lille, så man bliver inspireret af de andres gode idéer og sørger også for at dele ud,« siger Mads Claus Henriksen.

Tips og korrekturforslag til denne historie sendes til tip@version2.dk
Kommentarer (9)
sortSortér kommentarer
  • Ældste først
  • Nyeste først
  • Bedste først
Henrik Pedersen

Sikkerheden lyder som noget der er taget direkte ud af en Hollywood film !

Men ellers rigtigt spændende at læse om, det viser bare hvor vigtigt data er idag og hvor mange penge der bliver postet i det.

  • 0
  • 0
Christian Lanng

Det undrer mig lidt, at et mellemstort dansk konsulent hus har skala til at bygge et datacenter i 2010, medmindre det er dybt specialiseret til få højt betalende kunder (forhåbentligt ikke det offentlige..).

Jeg har debateret dette med flere spillere på markedet, både KMD og TopNordic i forsøget på, at få mere nuancerede valgmuligheder i sin tid, som f.eks. Amazon Infrastruktur + TopNordic driftsfolk og patching, men der ser ud til stadigt at være en fetish for egen hardware i en tid hvor Google, Amazon og Microsoft etablerer giga datacentre, spørgsmålet er om de danske spilleres strategi giver mening i længden i et globalt marked hvor hosting priser rasler ned?

  • 0
  • 0
Daniel Graversen

Hej Christian,

Jeg er fuld ening i at meget af det hardware der bliver hosted for virksomheder kunne placeres in et af de store optimerede datacenter.
Men hvis du udvikler applikationer til f.eks. IBM AIX platformen kan det være svært at finde mulighed hos Amazon. Men det giver vel virksomheder en vis tryghed at de selv ejer maskinerne og ved hvordan de opføresig og de ikke deles.
Et issue er vel netværksforbindeslsen til datacenteret, men her er Amazon vel ligeså godt sirket som et lokalt datacenter.

  • 0
  • 0
Christian Lanng

Daniel,

For så vidt enig og der er specialiserede opgaver hvor det giver god mening at have et lokalt datacenter. Langt hovedparten af hosting opgaverne kan dog med fordel placeres på public clouds (hvis blot arkitekturen er tænkt korrekt), og her må de eksisterende hosting centre snart kommer under betydelig priskonkurrence, et eks. var en unavngiven DK hosting leverandør der tog 7.000kr for at lukke en server, det skal jo sammenlignes med f.eks. Amazon eller Rackspace hvor man betaler pr. minut, den forretningsmodel kan simpelthen ikke være overlevelsesdygtig i længden.

/Christian

  • 0
  • 0
Mikkel Munksgaard

Hostingløsninger er jo i høj grad et spørgsmål om de krav industrierne stiller.

I den regulerede industri, som bl.a. NovoNordisk befinder sig i, er man ofte underlagt nogle ret skrappe krav, der gør at man er tvunget til at afvikle sine applikationer på et totalt reguleret grundlag - med det mener jeg, at man skal bruge godkendte kabler, HW, operativsystemer og applikationer, og godkendelsesproceduren er bestemt ikke triviel.
Da NNIT kommer fra den regulerede industri, og henvender sig til kunder i sektoren, giver det nok meget god mening.

Desuden er mange danske virksomheder og offentlige institutter underlagt registerlove der forbyder data at blive opbevaret udenfor den danske grænse.

Sidst men ikke mindst er det langt fra alle der har lyst til at placere deres forretningskritiske systemer på en ukendt platform og mange danske selskaber foretrækker stadig en dansk drevet væg-til-væg leverandør.

  • 0
  • 0
Log ind eller Opret konto for at kommentere