DTU's nye talknuser: 3.296 kerner og open source over hele linjen

I et forsvarligt aflåst kælderrum på DTU har en ny supercomputer, Niflheim, taget bo i et permanent afkølet rum, hvor spidsydelsen på 45 billioner regneoperationer i sekundet ikke giver regneuhyret hedeslag.

Niflheim blev officielt indviet torsdag og overtager ifølge DTU pladsen som Danmarks hurtigste supercomputer målt på teraflops.

Cray XT5-supercomputeren hos meteorologerne i DMI har hidtil haft førstepladsen med godt og vel 18 billioner operationer i sekundet, eller teraflops.

DTU forventer, at Niflheim er kraftig nok til at komme med på næste udgave af top-500 over verdens kraftigste supercomputere, der offentliggøres næste gang til november. Danmark var helt ude af listen, da den seneste blev opgjort i juni.

7-8 millioner kroner er der spenderet på maskineriet, som er indkøbt specielt til det nyindviede forskningscenter Catalysis for Sustainable Energy (CASE), der har ambitioner om at sikre Danmark en position højt på stjernehimlen for forskning i bæredygtig energi.

»Forskningen i CASE er grundlæggende for meget af den teknologi, der skal anvendes i fremtidens bæredygtige brændstoffer og drivmidler. Det teoretiske arbejde er meget komplekst, og vi har derfor brug for en enorm computerkraft, hvor vi har mulighed for at køre vores teoretiske simuleringer og afprøve vores modeller,« fortæller leder af CASE-projektet, professor Jens K. Nørskov.

3.296 kerner i 412 servere De hårde facts om Niflheim lyder: 3.296 processorkerner fordelt ud på 412 styk HP-servere af typen DL160 G6. Hver server har to styk Nehalem-baserede Intel Xeon 5570-processorer i maven med fire kerner hver, samt 160 gigabyte SATA-harddisk og 24 gigabyte ram.

Processorerne kører ved en clockfrekvens på 2,93 gigahertz og kan udføre fire flops per clockcycle.

Valget af Intels Xeon-processorer var ikke svært for DTU.

»Vores gamle IBM-supercomputer kører med dual-core AMD Opteron-processorer, hvilket var det hurtigste på det tidspunkt, den blev købt. Men der er ingen tvivl om, at Intels processorer er dem, der er hurtigst lige nu, og vi har valgt at optimere i retning af de hurtigste CPU'er,« siger Niflheims driftsansvarlige, Ole Holm Nielsen, DTU.

Selvom det umiddelbart er fristende at sammenligne Niflheim og DMI's supercomputere, Hugin og Munin, ved blot at kigge på antallet at teraflops, er der dog tale om helt forskellige dyr i supercomputer-forstand.

Hvor DMI bevidst har valgt at investere i Crays kostbare og rasende hurtige lokalnet mellem compute-noderne, Cray Seastar, er Niflheims 412 HP-servere bundet sammen af gigabit ethernet, ligeledes fra HP.

De to lokalnet-typer er - populært sagt - Autobahn kontra dansk motorvej. Gigabit ethernet er ikke decideret langsomt ? det er bare ikke nær så hurtigt som højhastighedsnetværk i stil med Infiniband og Seastar, men DTU's behov adskiller sig også fra DMI's.

»Vores produktionskode er designet på en sådan måde, at den ikke belaster netværket særlig tungt, når beregningerne kører. Vi kunne godt have brugt penge på Infiniband eller lignende, men vores kode ville ikke komme til at køre væsenligt hurtigere af det,« siger Ole Holm Nielsen.

Vigtigere at løse opgaven

Og når alt kommer til alt, er det ikke så vigtigt at have målebåndet fremme maskinerne imellem, så længe de løser den opgave, de er købt til.

»Det handler ikke om at have en stor maskine, men om at lave god forskning. Niflheim er designet til at løse lige præcis vores opgaver på CASE, og DMI vil formenligt ikke have meget ud af at arbejde på vores system og omvendt,« siger Ole Holm Nielsen.

Faktisk er den teoretiske peakydelse på det nye system 38 teraflops, hvilket dog bliver til 45 samlet, når den gamle og stadig aktive IBM-supercomputer tælles med i teraflop-regnskabet med sine syv teraflops. IBM-systemet bidrager med ekstra 1.352 processorkerner.

Open source med få undtagelser Forskernes opgaver fordeles som såkaldte batch jobs med open source-programmet til køstyring Torque Resource Manager. Programmet styrer, hvordan de forskellige forskeropgaver i køen prioriteres.

Et andet open source-program, OpenMPI, står for at fordele opgaverne ud på typisk mellem 8-32 processorkerner af gangen,

»Næsten alt softwaren til Niflheim er open source, på nær compilerne fra AMD og Intel, som er proprietære. Dem kan man ikke komme udenom, hvis man gerne vil vride den sidste flop ud af supercomputeren,« siger Ole Holm Nielsen.

Også operativsystemet på Niflheim, den Red Hat Enterprise Linux-baserede Linux-distribution CentOS, er open source.

»Vi trækker meget på open source-community'et, men giver til gengæld bidrag i form af viden til videnskabelig open source-software tilbage,« siger Ole Holm Nielsen.

Selvom Niflheim først blev officielt indviet torsdag, har den ifølge Ole H. Nielsen kørt upåklageligt med 100 procent belastning de seneste fire ugers tid.

Supercomputeren er indkøbt på en bevilling af Dansk Center for Scientific Computing (DCSC).