DMI's supercomputer: 2048 kerner og 110 terabyte til 42 mio.

Med 2048 kerner, 18,84 teraflops og en prisseddel på 42 millioner kan DMI's supercomputer Cray XT5 nu arbejde med ultra-finmaskede vejrmodeller. Og ja, det giver bedre vejrudsigter.

Danmarks kraftigste computer målt på teraflops, Cray XT5, tilhører vejrprofeterne hos DMI på Lyngbyvej i København, og den har nu fået sig en ny og mere finmasket model til at tygge vejrudsigten igennem.

S03 hedder den nye vejrmodel, der skal give danskerne mere pålidelige vejrudsigter, så vi fremover kan stole endnu mere på, at vi får grillvejr, når meteorologerne har lovet det.

En intens mur af ventilationsstøj og lummervarme fylder den hal, hvor de meteorologiske modeller fire gange dagligt gnasker vejrdata igennem med Cray XT5 som arbejdshest.

Prydet af et DMI-logo med sol og regn står Cray XT5-systemet placeret omtrent midt i hallen fordelt på seks kabinetter i god køleskabsstørrelse.

To kilometers finpudsning af modellen
DMI har for nylig reduceret den horisontale modelopløsning på de danske vejrudsigter med to kilometer i den nye model, S03.

Det betyder, at modellen bliver mere nøjagtig, men også tungere at regne på, og det er kun muligt på grund af Cray XT5, fortæller projektleder på installationen af systemet, civilingeniør Maja Kjørup Nielsen.

»Vi har nu sat den horisontale modelopløsning ned fra fem til tre kilometer, og det har vi kun kunnet gøre, fordi vi har fået den nye supercomputer. Det har været et klart ønske fra DMI's side at kunne bruge S03-modellen, og det kunne vi ikke med det gamle system,« siger Maja Kjørup Nielsen.

Hun har hævet stemmen et godt stykke, for den dybe brummen fra supercomputeren og den tilhørende ventilation er så højlydt, at man ofte må læne sig frem for at høre, hvad der bliver sagt.

Og så er der varmen. Rumtemperaturen står ikke tilbage for en lun sommerdag - selvom hvert kabinet gennemstrømmes af afkølet ventilationsluft på 13-14 grader celcius, ender rumtemperaturen på cirka 25 grader på besøgstidspunktet.

DMI har købt to styk Cray XT5, som har hver sit formål: den ene klynge på tre kabinetter, Hugin, tager sig af de operationelle beregninger ? vejrprognoser og oceanografiske modeller - mens den anden klynge på tre, Munin, er afsat til for eksempel klimaforskning og videreudvikling af de meteorologiske modeller. Samtidig skal redundansen mellem de to systemer sikre, at vejrprognoserne, som også leveres til kritiske områder som flytrafikken, kan udføres, selvom det ene af de to systemer skulle bryde sammen.

Hvert Cray XT5-system er bestykket med 64 computeblades med hver otte computenodes, hvilket giver et samlet antal på 512 AMD Opteron Quad-Core 2,3 GHz-processorer for et system. Samtidig har hvert system en hukommelseskapacitet på fire terabyte, mens de må deles om 110 terabyte lagerplads i et samlet disksystem.

Hele herligheden giver en beregningsydelse på 18,84 teraflops per system, hvilket i november 2008 indbragte de to systemer henholdsvis en 359. og 360.-plads på supercomputerlisten Top500.org.

SUSE Linux Enterprise Server er operativsystemet på login-noderne, som Cray XT5 tilgås gennem, og på beregningsnoderne køres der en letvægtsudgave af Linux-kernen.

Regner løs 16 timer i døgnet
DMI har i alt brugt 42 millioner kroner fraregnet arbejdstimer på migrationen fra det gamle NEC-system over til det nye Cray XT5.

Behovet for at smide flere vejrdata efter den operationelle vejrmodel Hirlam (High Resolution Limited Area Model) gjorde, at NEC-systemet ikke længere havde kræfter nok til at klare opgaven.

»Vi arbejder hele tiden på at assimilere flere vejrdata, og det handler om at lave en bedre og finere prognose. Noget af det, vi arbejder på at få med, er radardata, som måler nedbør og nedbørstyper. Grunden til at det kan være så svært at sige noget sikkert om nedbør er, at det er svært at forudsige, hvordan for eksempel lammeskyer opfører sig. De kan gå hen at blive til nedbør, men de kan også opløse sig igen,« siger Maja Kjørup Nielsen.

XT5'eren var endnu ikke kommet på markedet, da det blev besluttet, at Cray XT5 blev afløseren for NEC-systemet. Derfor indkøbte DMI forgængeren Cray XT4 som et 'early migration system', hvor de meteorologiske modeller blev flyttet over på i februar 2008.

Efter Cray XT5 blev indkøbt i september 2008, har systemet kværnet prognoserne igennem fire gange i døgnet - kl. 6, 12, 18 og midnat ? men det er først blevet muligt at udføre de endnu mere præcise prognoseberegninger efter S03's indskiftning 18. maj i år.

Beregningerne udføres i 40 vertikale niveauer op gennem atmosfæren, mens det horisontale antal punkter afhænger af størrelsen af det geografiske område.

I alt arbejder Cray XT5 sig igennem prognoser baseret på fire forskellige modeller, T15, M09, K05 og S03, som dækker hver deres geografiske område og har mindre finmasket horisontal opløsning, jo større område der afdækkes.

»På alle fire tidspunkter af døgnet kører vi samtlige modeller igennem, og det tager omkring fire timer per gang. For Danmarks vedkommende (S03-modellen, red.) tager det 51 minutter, hvor de første 26 minutter bruges på analyse og postprocessering af randdata fra ECMWF (det europæiske vejrcenter, red.), hvor man kigger på vejrbilledet lige nu. Selve forecastdelen tager så 25 minutter,« siger Maja Kjørup Nielsen.

Udover randdata fra ECMWF indgår også observationsdata fra vejrstationer, radiosonder og rapporter fra rutefly, og samtidig hives der data ind fra satellitter om vertikale profiler af temperatur og fugtighed samt skydække.

En færdig S03-prognose fra Danmark fylder cirka 34 gigabyte på disken.

Klynge af bambus-pc'er ikke en mulighed
Når DMI har valgt Cray XT5, skyldes det en optimal kombination af pris og strømforbrug sammenlignet med antal gigaflops.

»Kriterierne for valget af Cray XT5 har været prisen forhold til ydelsen, og så strømforbruget. Det var den hurtigste løsning i forhold til konkurrenterne, hvilket vi har undersøgt ved at benchmarkteste systemet med en speciel udgave af Hirlam-modellen,« siger Maja Kjørup Nielsen.

Hun afviser, at en skræddersyet løsning med standard-pc'er i en klynge ville være bedre i DMI's tilfælde.

»En bunke maskiner fra den nærmeste kiosk ville selvfølgelig kunne give en høj performance på papiret, men Crays systemer udmærker sig netop ved et hurtigt lokalnetværk mellem cpu'erne (Cray Seastar, red.), som giver høj hastighed og lav latency,« siger Maja Kjørup Nielsen.

Tips og korrekturforslag til denne historie sendes til tip@version2.dk
Kommentarer (2)
Ville Witt

DON'T PANIC

DMI har købt to styk Cray XT5, som har hver sit formål: den ene klynge på tre kabinetter, Hugin, tager sig af de operationelle beregninger – vejrprognoser og oceanografiske modeller - mens den anden klynge på tre, Munin, er afsat til for eksempel klimaforskning og videreudvikling af de meteorologiske modeller. Samtidig skal redundansen mellem de to systemer sikre, at vejrprognoserne, som også leveres til kritiske områder som flytrafikken, kan udføres, selvom det ene af de to systemer skulle bryde sammen.

Jeg får den opfattelse at de to systemer står på samme adresse - er dette tilfældet?

Jeg antager at det er mindre risikobetonet hvis de står adskilt, på hver sin del af Europas el-net og det med en afstand der er så tilpas stor, at et jordskælv ikke ryster alle maskinerne.

Hvis forsvaret er abonnent hos DMI, kan DMI vel dårligt gøre andet end at gå med livrem og seler.

Hvordan skaffer udenlandske medier deres vejrudsigter for Danmark? Og med hvilken præcision kan andre, f.eks. amerikanerne lave vejrudsigter over Danmark uden hjælp fra DMI?

<brainstorm>
Hvis jorden er en computer og aktiviteterne herpå er en model der udregnes, som Hitchhikers guide jo fortæller, var enter-trykket ved DMIs første modeludregninger en billigere udgave af et mini-bigbang end CERNs? Er prisen for computerne tilfældig?

Fremstiller DMI rekursive prognoser, af vejrforhold som dette, helt op til brainstormstyrke?
</brainstorm>

Log ind eller Opret konto for at kommentere
Pressemeddelelser

Welcome to the Cloud Integration Enablement Day (Bring your own laptop)

On this track, we will give you the chance to become a "Cloud First" data integration specialist.
15. nov 2017

Silicom i Søborg har fået stærk vind i sejlene…

Silicom Denmark arbejder med cutting-edge teknologier og er helt fremme hvad angår FPGA teknologien, som har eksisteret i over 20 år.
22. sep 2017

Conference: How AI and Machine Learning can accelerate your business growth

Can Artificial Intelligence (AI) and Machine Learning bring actual value to your business? Will it supercharge growth? How do other businesses leverage AI and Machine Learning?
13. sep 2017
Jobfinder Logo
Job fra Jobfinder