Ny supercomputer på Risø: Hurtigste RAM vigtigere end hurtigste processorer

28. november 2014 kl. 12:5111
Ny supercomputer på Risø: Hurtigste RAM vigtigere end hurtigste processorer
Illustration: Jesper Stein Sandal.
Supercomputeren Computerome på Risø er ikke udrustet med grafikprocessorer, for det kræver for meget arbejde at optimere applikationerne til at udnytte de kraftige processorer.
Artiklen er ældre end 30 dage
Manglende links i teksten kan sandsynligvis findes i bunden af artiklen.

Compute-delen af den nye supercomputer på Risø.

Første etape af Danmarks kraftigste supercomputer bliver officielt indviet i dag. Supercomputeren Computerome debuterer som nummer 121 på listen over offentligt kendte supercomputere i verden. Det gør den til den suverænt kraftigste lige nu i Danmark, og planen er, at den skal være Skandinaviens kraftigste, når den er fuldt udbygget.

Computerome fylder lige nu blot to pavilloner, som sammen med tilhørende køleanlæg fylder 800 kvadratmeter ud af de 3.500 kvadratmeter, der er afsat til supercomputeren på DTU's Risø-campus.

Når Computerome ikke debuterer højere på ranglisten over supercomputersystemer, så er det dog også resultatet af en prioritering. Computerome er nemlig konstrueret til at understøtte forskning inden for det biologiske område, som kræver flere ressourcer til storage og mere hukommelse end eksempelvis fluiddynamikmodeller, som bruges i flyindustrien.

Artiklen fortsætter efter annoncen

»Fokus her er mere at få en meget stor båndbredde til hukommelse. I fluiddynamik er der meget fokus på hurtige processorkerner, og ikke hvor hurtigt man kan trække data ind,« forklarer direktør Peter Kaae fra GoVirtual, som har sammensat den nye supercomputer, til Version2.

Mange af de kraftigste supercomputere indeholder en betydelig andel specialprocessorer, som bygger på grafikprocessorer, der oprindeligt er udviklet til krævende computerspil og 3D-applikationer. De er ekstremt effektive til parallelle udregninger, men er ikke lige egnede til alle formål. Derfor er de blevet fravalgt i Computerome.

Supercomputeren er opbygget af bladeservere fra HP med Intel Xeon-processorer.

»Grafikprocessorer har deres fordele og fungerer godt for nogle brugere - især hvis man har én kode, man kører igen og igen, som man kan optimere. Her vil det hele tiden være ny kode, der skal køre. Man skal skrive sine programmer til grafikprocessorerne, og til den her computer skal brugerne ikke knokle med at kode eller hyre parallelliseringseksperter,« siger Peter Kaae.

Computerome kommer til at få flere hundrede forskellige brugere, som vil omfatte både forskere fra europæiske universiteter og private medicinalfirmaer. Derfor vil mange af brugerne ikke have mulighed for at optimere deres kode til lige netop at køre på Computerome, og derfor er designet mere rettet mod generelle udregninger.

Planen er, at supercomputeren også skal åbnes for, at eksempelvis hospitalernes kræftafdelinger vil kunne anvende den til at sammenligne kræftpatienters DNA for at finde frem til, hvilke behandlingsformer der passer bedst til den enkelte patient.

Med så mange forskellige brugere vil der også blive lagt en cloud-frontend på Computerome, som skal gøre det let og sikkert for brugerne at køre deres ofte fortrolige data på systemet.

Peter Kaae foran pavillonerne, der huser Computerome.

Fysisk er supercomputeren placeret i to pavilloner eller containere af stål, hver med plads til en række rackskabe med dør og loft over en varm gang på bagsiden af skabene. Kølingen foregår med in-row-køling, som forsynes med kølevand, der er ført ind under gulvet og primært køles med frikøling.

Computerome har dog også en varmepumpe, der gør det muligt at trække overskudsvarmen ud fra returvandet fra kølesystemet og anvende det til at forsyne Risø-campus med varmt vand til opvarmning.

Hver pavillon er designet til at rumme udstyr med en samlet effekt på 500 kilowatt. Hele området, der er afsat til supercomputeren er klargjort til at kunne forsyne en supercomputer med 7 megawatt strøm.

Der er god plads til at udvide Computerome, som foreløbig optager 800 ud af de afsatte 3.500 kvadratmeter på DTU's Risø-campus.

Hovedbestanddelen af Computerome er 540 HP-bladeservere, der hver er bestykket med to Intel Xeon E5-processorer på to gigahertz og med 14 kerner og 128 gigabyte DDR4-hukommelse. Det er ét af de punkter, hvor evnen til at håndtere store datamængder har haft højere prioritet end rå regnekraft, som kunne være opnået med processorer med en højere clockfrekvens.

»De fleste af de programmer, der skal køre på Computerome har brug for at hente data. En hurtigere processor ville stå og vente på data,« forklarer Peter Kaae.

Supercomputeren har også 27 HP-servere med 1 terabyte DDR3 RAM og fire Intel Xeon E5-processorer med otte kerner, samt yderligere to servere med samme bestykning, der fungerer administrationsnoder i klyngecomputeren.

Forbindelsen mellem de to pavilloner, som huser henholdsvis compute-delen og storage-delen af Computerome.

I alt har Computerome altså 16.048 processorkerner til rådighed og 98 terabyte RAM. Det hele er forbundet med et Mellanox Infiniband-netværk, som også er koblet til EMC Isilon storage-systemet.

Forskerne, der skal anvende Computerome, har behov for at kunne regne på meget store datasæt, hvor eksempelvis 10.000 patienters genomen sammenlignes, og da et genom kan fylde 100 gigabyte, stilles der store krav til storagepladsen i supercomputeren.

Det nuværende Isilon-system har en kapacitet på 3 petabyte og kan levere mindst 50 gigabyte pr. sekund til noderne i klyngen. Risø-storagesystemet er desuden spejlet i et tilsvarende storagesystem hos DTU i Lyngby.

Derudover er der tilknyttet to båndmaskiner fra EMC, som kan lagre op mod 400 terabyte data i døgnet.

På softwaresiden kører Computerome med Red Hat Linux, Moab Workload Manager, Bright Cluster Management samt HP's administrations- og monitoreringssoftware til serverne.

Et kig ind på bladeserverne fra den varme gang bag rackskabene afslører et tykt bundt netværkskabler. Ud over Infiniband-netværket til selve klyngecomputeren, er administrationsmoduler til bladeserverne også forbundet via et netværk.

11 kommentarer.  Hop til debatten
Denne artikel er gratis...

...men det er dyrt at lave god journalistik. Derfor beder vi dig overveje at tegne abonnement på Version2.

Digitaliseringen buldrer derudaf, og it-folkene tegner fremtidens Danmark. Derfor er det vigtigere end nogensinde med et kvalificeret bud på, hvordan it bedst kan være med til at udvikle det danske samfund og erhvervsliv.

Og der har aldrig været mere akut brug for en kritisk vagthund, der råber op, når der tages forkerte it-beslutninger.

Den rolle har Version2 indtaget siden 2006 - og det bliver vi ved med.

Debatten
Log ind eller opret en bruger for at deltage i debatten.
settingsDebatindstillinger
9
2. december 2014 kl. 16:18

For nogen der påstår at de ikke skal bruge cpu kraft har de godt nok spildt mange millioner på det.

1146 Cpu'er til $2424 stykket = ca. $2,7 millioner

Hvis man som beregnet havde forsøgt at begrænse sig på cpu kraften kunne man have brugt 8 kerne versionen til en styk pris på $667, altså

1146 cpu'er til $667 stykket = $764.000

Altså en besparelse på ca. 10 millioner danske kroner udelukkende på cpu'erne.

Godt man konsulterede eksperter på området der vidste hvordan man sparede på cpu kraften, ved at købe de dyreste cpu'er med flest kerner!

Der er så meget i vejen med deres logik det gør helt ondt.

8
1. december 2014 kl. 19:31

Hvorfor de har valgt at trække kobber i stedet for fiber er mig en gåde..

11
11. december 2014 kl. 20:04

hmmm.... Jesper Stein skriver jo det er "Infiniband-netværket til selve klyngecomputeren"

7
1. december 2014 kl. 18:49

Det er ellers lidt af en nyhed, EMC sagde i 2012 at "Tape sucks", og jeg er ret sikker på at de ikke har nogle "båndmaskiner" i deres produkt portefølje. Mon ikke der menes et par EMC DataDomain enheder, en i Risø, og en anden i Lyngby?

4
28. november 2014 kl. 14:59

Jeg har arbejdet med storage delen på projektet og der er ikke meget træ, hvis overhovedet noget, i konstruktionen. Der er tale om special byggede containere som er designet til formålet

5
28. november 2014 kl. 15:31

Ah, jeg skulle have rørt ved dem alligevel. Jeg retter det fluks.

(Jeg ser i øvrigt ikke noget problem i at bygge dem af træ, hvis det skulle være)

3
28. november 2014 kl. 14:38

Som gammel håndværker vil jeg sige at det bestemt ikke ligner pavilloner bygget i træ. Det ligner stål fra top til bund.

1
28. november 2014 kl. 13:57

At bruge træpavilloner til en dyr supercomputer?

6
28. november 2014 kl. 20:59

De ser noget følsomme ud. Hvad hvis der kommer en god omgang hagl?

2
28. november 2014 kl. 14:00

Tænkte det samme. Den må da være uhyre enkel at bryde op. Nu ved jeg godt nok ikke hvor sikret selve området er, men det ligner bare et hegn enhver ville kunne forcere. Kablerne mellem de to pavilloner er tilsyneladende heller ikke specielt beskyttet.

10
11. december 2014 kl. 19:59

Kabler mellem containeren ser ud til at være meget kraftig strøm kabler og jeg tror ikke at jeg har lyst til og leje med dem,..