DTU's nye talknuser: 3.296 kerner og open source over hele linjen

DTU's nye supercomputer, Niflheim, er nu Danmarks hurtigste, og den skal bane vejen for verdensklasseforskning i bæredygtig energi på DTU.

I et forsvarligt aflåst kælderrum på DTU har en ny supercomputer, Niflheim, taget bo i et permanent afkølet rum, hvor spidsydelsen på 45 billioner regneoperationer i sekundet ikke giver regneuhyret hedeslag.

Niflheim blev officielt indviet torsdag og overtager ifølge DTU pladsen som Danmarks hurtigste supercomputer målt på teraflops.

Cray XT5-supercomputeren hos meteorologerne i DMI har hidtil haft førstepladsen med godt og vel 18 billioner operationer i sekundet, eller teraflops.

DTU forventer, at Niflheim er kraftig nok til at komme med på næste udgave af top-500 over verdens kraftigste supercomputere, der offentliggøres næste gang til november. Danmark var helt ude af listen, da den seneste blev opgjort i juni.

7-8 millioner kroner er der spenderet på maskineriet, som er indkøbt specielt til det nyindviede forskningscenter Catalysis for Sustainable Energy (CASE), der har ambitioner om at sikre Danmark en position højt på stjernehimlen for forskning i bæredygtig energi.

»Forskningen i CASE er grundlæggende for meget af den teknologi, der skal anvendes i fremtidens bæredygtige brændstoffer og drivmidler. Det teoretiske arbejde er meget komplekst, og vi har derfor brug for en enorm computerkraft, hvor vi har mulighed for at køre vores teoretiske simuleringer og afprøve vores modeller,« fortæller leder af CASE-projektet, professor Jens K. Nørskov.

3.296 kerner i 412 servere
De hårde facts om Niflheim lyder: 3.296 processorkerner fordelt ud på 412 styk HP-servere af typen DL160 G6. Hver server har to styk Nehalem-baserede Intel Xeon 5570-processorer i maven med fire kerner hver, samt 160 gigabyte SATA-harddisk og 24 gigabyte ram.

Processorerne kører ved en clockfrekvens på 2,93 gigahertz og kan udføre fire flops per clockcycle.

Valget af Intels Xeon-processorer var ikke svært for DTU.

»Vores gamle IBM-supercomputer kører med dual-core AMD Opteron-processorer, hvilket var det hurtigste på det tidspunkt, den blev købt. Men der er ingen tvivl om, at Intels processorer er dem, der er hurtigst lige nu, og vi har valgt at optimere i retning af de hurtigste CPU'er,« siger Niflheims driftsansvarlige, Ole Holm Nielsen, DTU.

Selvom det umiddelbart er fristende at sammenligne Niflheim og DMI's supercomputere, Hugin og Munin, ved blot at kigge på antallet at teraflops, er der dog tale om helt forskellige dyr i supercomputer-forstand.

Hvor DMI bevidst har valgt at investere i Crays kostbare og rasende hurtige lokalnet mellem compute-noderne, Cray Seastar, er Niflheims 412 HP-servere bundet sammen af gigabit ethernet, ligeledes fra HP.

De to lokalnet-typer er - populært sagt - Autobahn kontra dansk motorvej. Gigabit ethernet er ikke decideret langsomt ? det er bare ikke nær så hurtigt som højhastighedsnetværk i stil med Infiniband og Seastar, men DTU's behov adskiller sig også fra DMI's.

»Vores produktionskode er designet på en sådan måde, at den ikke belaster netværket særlig tungt, når beregningerne kører. Vi kunne godt have brugt penge på Infiniband eller lignende, men vores kode ville ikke komme til at køre væsenligt hurtigere af det,« siger Ole Holm Nielsen.

Vigtigere at løse opgaven

Og når alt kommer til alt, er det ikke så vigtigt at have målebåndet fremme maskinerne imellem, så længe de løser den opgave, de er købt til.

»Det handler ikke om at have en stor maskine, men om at lave god forskning. Niflheim er designet til at løse lige præcis vores opgaver på CASE, og DMI vil formenligt ikke have meget ud af at arbejde på vores system og omvendt,« siger Ole Holm Nielsen.

Faktisk er den teoretiske peakydelse på det nye system 38 teraflops, hvilket dog bliver til 45 samlet, når den gamle og stadig aktive IBM-supercomputer tælles med i teraflop-regnskabet med sine syv teraflops. IBM-systemet bidrager med ekstra 1.352 processorkerner.

Open source med få undtagelser
Forskernes opgaver fordeles som såkaldte batch jobs med open source-programmet til køstyring Torque Resource Manager. Programmet styrer, hvordan de forskellige forskeropgaver i køen prioriteres.

Et andet open source-program, OpenMPI, står for at fordele opgaverne ud på typisk mellem 8-32 processorkerner af gangen,

»Næsten alt softwaren til Niflheim er open source, på nær compilerne fra AMD og Intel, som er proprietære. Dem kan man ikke komme udenom, hvis man gerne vil vride den sidste flop ud af supercomputeren,« siger Ole Holm Nielsen.

Også operativsystemet på Niflheim, den Red Hat Enterprise Linux-baserede Linux-distribution CentOS, er open source.

»Vi trækker meget på open source-community'et, men giver til gengæld bidrag i form af viden til videnskabelig open source-software tilbage,« siger Ole Holm Nielsen.

Selvom Niflheim først blev officielt indviet torsdag, har den ifølge Ole H. Nielsen kørt upåklageligt med 100 procent belastning de seneste fire ugers tid.

Supercomputeren er indkøbt på en bevilling af Dansk Center for Scientific Computing (DCSC).

Tips og korrekturforslag til denne historie sendes til tip@version2.dk
Følg forløbet
Kommentarer (10)
sortSortér kommentarer
  • Ældste først
  • Nyeste først
  • Bedste først
#3 Martin Zacho

Hvor meget energi bruges der til sådan en fætter ? Hvordan er strømforsyning og køling dimensioneret ? Hvad er deres effektivitet ?

Da den nu netop skal bruges i CASE regi, er det da yderst relevant at vide, hvad de selv har gjort sig af tanker i den retning.

Martin.

  • 0
  • 0
#6 Martin Zacho

Det bør du kunne slå op på HP side.

Energiforbruget af maskinen som sådan har kun lille interesse og er kun(som du skriver) et datablads opslag. Den komplette installation (UPS, lys, køl, computer) er på den anden side væsentlig mere interessant og det er den jeg efterlyser.

Martin.

  • 0
  • 0
#7 Peter Hansen

HP's konfigurator hos vores distributør giver en listepris på kr. 33.104,86 for denne konfiguration. Selv om de får massiv rabat så vil jeg mene, at de kunne have fået mere for pengene hvis de havde valgt nogle lidt langsommere CPU'er og mindre hukommelse og så købt flere maskiner. Jeg kan prøve at regne på nogle eksempler... Men måske har de taget strømforbruget med regnestykket?

  • 0
  • 0
#9 Brian Juel Pedersen

Ja, imponerende. Men der er dog et godt stykke vej op til verdens pt største computer, der iflg. http://www.top500.com yder 1.105 gigaflops, altså lidt over 1 petaflop(s?). Men så har den også et pænt stykke over 100.000 kerner. Der er en længere artikel om den på Wikipedia (søg på IBM Roadrunner).

IBM skal også om 2-3 år levere en 20 petaflops computer: http://www.computerweekly.com/Articles/2009/02/04/234614/worlds-biggest-...

  • 0
  • 0
#10 Søren Bramer

Det koster 1600 kr +/- i timen at leje et tilsvarende antal kerner på amazons infrastruktur, hvilket giver omkring 17 millioner om året og formentlitgt vil være alt for dyrt. Men givet det kunne svare sig (driftsomkostninger, idleperioder) ville det da kunne lade sig gøre at køre forskernes beregninger på sådan et setup. Det fremgår i artiklen at serverne i supercomputeren er koblet med standard netværksudstyr, hvilket tyder på at en skalerbar supercomputer i skyen ikke er en helt håbløs ide. Måske kunne man ligefrem drage fordel af et mapreduce framework? http://aws.amazon.com/elasticmapreduce/

  • 0
  • 0
Log ind eller Opret konto for at kommentere