Sådan overlevede Surftown vandkatastrofen

Skybruddet i juli tvang Surftown til at flytte det ene datacenter, efter strømmen gik, og der stod vand op om serverne. Det betød arbejdsdage på over 20 timer for teknikerne.

»Det var lidt uvirkeligt.«

Sådan husker Surftowns tekniske chef Anders K. Pedersen situationen, da han lørdag den 2. juli var på vej ind til en alarm i firmaets datacenter i Nordhavn i København og fik at vide af en kollega, at vandet nu stod i en halv meters højde i kælderen.

Køreturen, som måtte ske ad omveje, fordi Lyngbyvejen er spærret af vand, blev startskuddet på to mildt sagt hektiske uger, hvor teknikerne måtte slås for at få alt genskabt så hurtigt som muligt. For Anders K. Pedersen blev det til 140 arbejdstimer i løbet af de første ti døgn.

Med datacentret placeret i kælderen under hovedkontoret på Nordhavn, nogle få meter fra havnen og Øresunds vand, var der taget højde for faren for oversvømmelser fra den front.

Og der var også beskyttet mod vand, der strømmede op gennem kloakken, med spærringer og pumper til at fjerne vand, der eventuelt alligevel fandt vej. Men det var slet ikke nok i den situation.

»Vi havde fået at vide, at vi ikke kunne blive oversvømmet fra havnen. Den anden situation, med så meget regn, havde vi ikke forestillet os,« siger Anders K. Pedersen.

De to måneders regn, der faldt på to timer, oversvømmede vejen og væltede ned i en meget stor parkeringskælder, der fylder det meste af kælderetagen. Det blev til knap en halv meter vand, som begyndte at strømme ind gennem sprækkerne ved dørene ind til en gang og derefter datacentret.

En trappeskakt ved en anden indgang blev også fyldt med vand, med så stor kraft, at metaldøren ind til Surftowns kælder blev krøllet helt sammen. Og så kunne vandet for alvor vælte ind.

»Da jeg kom frem, kunne jeg godt se, at det ville tage noget tid. Vi måtte i gang med et flytteprojekt, for det var ikke realistisk at få tørret serverne,« siger Anders K. Pedersen.

Strømmen var også gået i bygningen samt alle nabobygningerne, og der gik faktisk en uge, før der igen var hul igennem.

Galleri: Vand i Surftowns datacenter

Allerede lørdag aften kunne den tekniske chef sammen med direktionen i Surftown forberede flytningen og bestille flyttefolk. Der var heldigvis god plads i Surftowns nyeste datacenter på Amager, og i det tredje center i Nærum var der backup af alting.

Men først skulle vandet fjernes, så det var muligt at komme ind i det oversvømmede datacenter. Både Falck og ISS måtte melde pas, fordi der var så store mængder vand i kælderen, men fordi Surftown var hurtigt ude, kunne Falck få Beredskabskorpset til at komme med to meget kraftige pumper. I alt blev der fjernet over 7 millioner liter vand fra kælderen.

En hurtig reaktion betød også, at de første leverancer af ny hardware kom i løbet af lørdag nat. Så da flytningen kunne begynde søndag, og alt personale var blevet hidkaldt, også dem på ferie, kunne alle de servere, som ikke var skadet, sættes op igen på Amager relativt kvikt.

Men en femtedel af hardwaren var enten blevet oversvømmet, eller tog skade under flytningen. Projektet blev derfor nu at genskabe data fra backup så hurtigt som muligt.

»Det blev en flaskehals for os, for restore-systemet var ikke dimensioneret til at genskabe så mange servere på én gang. Det var virkeligt irriterende, og det har vi lært noget af,« forklarer Anders K. Pedersen.

Genskabelsen af e-mail involverede også rigtig mange små filer, og det pressede også restore-systemerne.

»Vi prøvede at se, hvor mange restore-processer, vi kunne køre samtidigt, men én gang fik vi kørt for meget på én gang og røg ned. Så måtte den server starte forfra,« siger den tekniske chef.

Supporten flyttede i lejlighed

En opgørelse over, hvor Surftowns ansatte var flyttet hen, imens hovedkontoret var ubrugeligt, viser, at 73 arbejdede i datacentret på Amager med at få den hårdt ramte femtedel af kunderne online. Imens flyttede de otte på support-holdet hjem til deres chefs lejlighed, og den øvrige kommunikation med kunderne blev styret fra et lånt kontor i Kødbyen i København.

Og der var nok at gøre, for spørgsmålene hobede sig op fra sure kunder, der kunne se deres webbutik og e-mail være offline i dagevis.

Her kæmpede kommunikationschef Kresten Bach Søndergaard med at holde alle underrettet, og med opdateringer fra tidlig morgen til sen aften på Surftowns Twitter-konto og den nød-blog, der blev oprettet, da den normale blog ikke kunne klare presset fra de mange besøgende.

At bruge den slags kanaler, og løbende besvare de spørgsmål, der dukkede op i debatten, fungerede umiddelbart rigtig godt. Men efterfølgende har det også vist sig, at nogle kunder ikke opdagede, hvor de skulle finde den information, forklarer Kresten Bach Søndergaard.

»Vi syntes, det gik rigtig godt med kommunikationen til kunderne. Men hvis man ikke bruger Twitter eller læste med på vores blog, var det dårlig kommunikation. Vi skulle have kommunikeret mere direkte til vores kunder, har vi lært,« siger han.

Den massive indsats i debatten og på Twitter aflastede dog support-folkene, der ellers ville have været blevet helt oversvømmet af henvendelser. Og den løbende dialog fik også Surftown til at forstå kunderne og kende deres behov meget bedre, vurderer kommunikationschefen, når han godt en måned senere skal gøre erfaringerne op.

Kampen i datacentret på Amager fortsatte for fuld hammer i en uge, og de uheldige kunder, der kom på som de sidste, havde webside og e-mail tilbage online søndag, altså otte dage efter skybruddet.

Undervejs blev restore-arbejdet også ramt af en overklippet fiberforbindelse. Rengøringsfolk, som skulle rydde op efter oversvømmelsen i Nordhavn, kom nemlig ved en fejl til at fjerne hele krydsfeltet derude og klippe alle ledninger.

Dermed blev forbindelsen mellem backup’en i Nærum og datacentret i Amager alvorligt handicappet, da 10 gigabit-linjen gik igennem centret i Nordhavn.

»Vi skriver på et tidspunkt, at vi venter på en, der kan splejse det sammen igen, og så får vi svar fra kunderne om, at de godt kan komme og hjælpe og med splejsningen,« siger Kresten Bach Søndergaard.

Efter to uger arbejde med genskabelsen og oprydning kunne teknikerne så holde en hårdt tiltrængt ferie, oven på arbejdsdage som nogle gange blev på over 20 timer. Og tilbage står nu at se på, hvad der skal gøres ved datacentret i Nordhavn.

»Vi har ikke taget en endelig beslutning endnu. Men der er et stærkt ønske fra vores kunder om, at vi ikke længere har et datacenter, som ligger i kælderen,« siger Kresten Bach Søndergaard.

Tips og korrekturforslag til denne historie sendes til tip@version2.dk
Følg forløbet
Kommentarer (2)
sortSortér kommentarer
  • Ældste først
  • Nyeste først
  • Bedste først
#1 Peter Nilsson

Syntes sgu det er godt gået at få det hele i luften igen så hurtigt når man tænker på skadernes omfang. Det med backuppen ikke kan restore så mange servere hurtigt nok på en gang, det ville havde været et problem for de fleste. Fornuftigt at have backuppen et andet sted end serverne iøvrigt. Uheldigt at nogle kunder måtte vente længe, men jeg mener ikke man som kunde kan forvente at udbyderen kan gøre det meget bedre end her. Heldigt at Surftown så råder over flere datacentre og at der så er plads til alle de nødstedte servere.

"Godt kæmpet Surftown"

Med venlig hilsen

Peter ZXNET.DK

  • 2
  • 0
Log ind eller Opret konto for at kommentere