Ny supercomputer på Risø: Hurtigste RAM vigtigere end hurtigste processorer

Supercomputeren Computerome på Risø er ikke udrustet med grafikprocessorer, for det kræver for meget arbejde at optimere applikationerne til at udnytte de kraftige processorer.
Compute-delen af den nye supercomputer på Risø. Illustration: Jesper Stein Sandal

Første etape af Danmarks kraftigste supercomputer bliver officielt indviet i dag. Supercomputeren Computerome debuterer som nummer 121 på listen over offentligt kendte supercomputere i verden. Det gør den til den suverænt kraftigste lige nu i Danmark, og planen er, at den skal være Skandinaviens kraftigste, når den er fuldt udbygget.

Computerome fylder lige nu blot to pavilloner, som sammen med tilhørende køleanlæg fylder 800 kvadratmeter ud af de 3.500 kvadratmeter, der er afsat til supercomputeren på DTU's Risø-campus.

Når Computerome ikke debuterer højere på ranglisten over supercomputersystemer, så er det dog også resultatet af en prioritering. Computerome er nemlig konstrueret til at understøtte forskning inden for det biologiske område, som kræver flere ressourcer til storage og mere hukommelse end eksempelvis fluiddynamikmodeller, som bruges i flyindustrien.

Læs også: Risø-supercomputer med 16.048 kerner skal knække biologiens Big Data

»Fokus her er mere at få en meget stor båndbredde til hukommelse. I fluiddynamik er der meget fokus på hurtige processorkerner, og ikke hvor hurtigt man kan trække data ind,« forklarer direktør Peter Kaae fra GoVirtual, som har sammensat den nye supercomputer, til Version2.

Mange af de kraftigste supercomputere indeholder en betydelig andel specialprocessorer, som bygger på grafikprocessorer, der oprindeligt er udviklet til krævende computerspil og 3D-applikationer. De er ekstremt effektive til parallelle udregninger, men er ikke lige egnede til alle formål. Derfor er de blevet fravalgt i Computerome.

Supercomputeren er opbygget af bladeservere fra HP med Intel Xeon-processorer. Illustration: Jesper Stein Sandal

»Grafikprocessorer har deres fordele og fungerer godt for nogle brugere - især hvis man har én kode, man kører igen og igen, som man kan optimere. Her vil det hele tiden være ny kode, der skal køre. Man skal skrive sine programmer til grafikprocessorerne, og til den her computer skal brugerne ikke knokle med at kode eller hyre parallelliseringseksperter,« siger Peter Kaae.

Computerome kommer til at få flere hundrede forskellige brugere, som vil omfatte både forskere fra europæiske universiteter og private medicinalfirmaer. Derfor vil mange af brugerne ikke have mulighed for at optimere deres kode til lige netop at køre på Computerome, og derfor er designet mere rettet mod generelle udregninger.

Planen er, at supercomputeren også skal åbnes for, at eksempelvis hospitalernes kræftafdelinger vil kunne anvende den til at sammenligne kræftpatienters DNA for at finde frem til, hvilke behandlingsformer der passer bedst til den enkelte patient.

Med så mange forskellige brugere vil der også blive lagt en cloud-frontend på Computerome, som skal gøre det let og sikkert for brugerne at køre deres ofte fortrolige data på systemet.

Peter Kaae foran pavillonerne, der huser Computerome. Illustration: Jesper Stein Sandal

Fysisk er supercomputeren placeret i to pavilloner eller containere af stål, hver med plads til en række rackskabe med dør og loft over en varm gang på bagsiden af skabene. Kølingen foregår med in-row-køling, som forsynes med kølevand, der er ført ind under gulvet og primært køles med frikøling.

Computerome har dog også en varmepumpe, der gør det muligt at trække overskudsvarmen ud fra returvandet fra kølesystemet og anvende det til at forsyne Risø-campus med varmt vand til opvarmning.

Hver pavillon er designet til at rumme udstyr med en samlet effekt på 500 kilowatt. Hele området, der er afsat til supercomputeren er klargjort til at kunne forsyne en supercomputer med 7 megawatt strøm.

Der er god plads til at udvide Computerome, som foreløbig optager 800 ud af de afsatte 3.500 kvadratmeter på DTU's Risø-campus. Illustration: Jesper Stein Sandal

Hovedbestanddelen af Computerome er 540 HP-bladeservere, der hver er bestykket med to Intel Xeon E5-processorer på to gigahertz og med 14 kerner og 128 gigabyte DDR4-hukommelse. Det er ét af de punkter, hvor evnen til at håndtere store datamængder har haft højere prioritet end rå regnekraft, som kunne være opnået med processorer med en højere clockfrekvens.

»De fleste af de programmer, der skal køre på Computerome har brug for at hente data. En hurtigere processor ville stå og vente på data,« forklarer Peter Kaae.

Supercomputeren har også 27 HP-servere med 1 terabyte DDR3 RAM og fire Intel Xeon E5-processorer med otte kerner, samt yderligere to servere med samme bestykning, der fungerer administrationsnoder i klyngecomputeren.

Forbindelsen mellem de to pavilloner, som huser henholdsvis compute-delen og storage-delen af Computerome. Illustration: Jesper Stein Sandal

I alt har Computerome altså 16.048 processorkerner til rådighed og 98 terabyte RAM. Det hele er forbundet med et Mellanox Infiniband-netværk, som også er koblet til EMC Isilon storage-systemet.

Forskerne, der skal anvende Computerome, har behov for at kunne regne på meget store datasæt, hvor eksempelvis 10.000 patienters genomen sammenlignes, og da et genom kan fylde 100 gigabyte, stilles der store krav til storagepladsen i supercomputeren.

Det nuværende Isilon-system har en kapacitet på 3 petabyte og kan levere mindst 50 gigabyte pr. sekund til noderne i klyngen. Risø-storagesystemet er desuden spejlet i et tilsvarende storagesystem hos DTU i Lyngby.

Derudover er der tilknyttet to båndmaskiner fra EMC, som kan lagre op mod 400 terabyte data i døgnet.

På softwaresiden kører Computerome med Red Hat Linux, Moab Workload Manager, Bright Cluster Management samt HP's administrations- og monitoreringssoftware til serverne.

Et kig ind på bladeserverne fra den varme gang bag rackskabene afslører et tykt bundt netværkskabler. Ud over Infiniband-netværket til selve klyngecomputeren, er administrationsmoduler til bladeserverne også forbundet via et netværk. Illustration: Jesper Stein Sandal
Tips og korrekturforslag til denne historie sendes til tip@version2.dk
Følg forløbet
Kommentarer (11)
sortSortér kommentarer
  • Ældste først
  • Nyeste først
  • Bedste først
Brian Hansen

Tænkte det samme. Den må da være uhyre enkel at bryde op. Nu ved jeg godt nok ikke hvor sikret selve området er, men det ligner bare et hegn enhver ville kunne forcere. Kablerne mellem de to pavilloner er tilsyneladende heller ikke specielt beskyttet.

Dennis Jakobsen

For nogen der påstår at de ikke skal bruge cpu kraft har de godt nok spildt mange millioner på det.

1146 Cpu'er til $2424 stykket = ca. $2,7 millioner

Hvis man som beregnet havde forsøgt at begrænse sig på cpu kraften kunne man have brugt 8 kerne versionen til en styk pris på $667, altså

1146 cpu'er til $667 stykket = $764.000

Altså en besparelse på ca. 10 millioner danske kroner udelukkende på cpu'erne.

Godt man konsulterede eksperter på området der vidste hvordan man sparede på cpu kraften, ved at købe de dyreste cpu'er med flest kerner!

Der er så meget i vejen med deres logik det gør helt ondt.

Log ind eller Opret konto for at kommentere