Den hemmelige katastrofe der udraderede Jubii

En morgen omkring kl. 04:00 for godt 10 år siden skete der noget forfærdeligt hos den fremadstormende danske søgeportal Jubii.

Virksomheden havde netop købt en ny state-of-the-art server med SCSI-diske, som skulle overtage efter den gamle, hårdtpressede server.

En programmør, der havde arbejdet hele natten, havde opgaven med at flytte søgeportalen over på det nye isenkram. Men i stedet for i første omgang at kopiere filerne fra den gamle til den nye server, kom han til at flytte dem. Det vil sige, at samtidigt med, at data røg over på SCSI-maskinen, blev de slettet fra det gamle udstyr.

Flytte-manøvren var i sig selv ikke problematisk, men det blev den, da samtlige diske pludseligt stod af på den nye server, efter søgeportalen var flyttet over.

»Hele lortet er slettet. Alt er væk. Så han ringer til os (Martin Thorborg, Kasper Larsen og Henrik Sørensen, red.) klokken fire om morgenen og grædende fortæller, at han har slettet hele Jubii ved en fejl, hvad der ikke var så fedt,« fortæller Jubii-medstifter Martin Thorborg til Version2.dk

Situationen blev yderligere forværret af, at heller ikke virksomhedens backup af søgeportalen viste sig at virke. Præcist, hvad der gik galt med SCSI-diskene, blev aldrig opklaret, men de var fysisk i stykker, fortæller Martin Thorborg.

Blank skærm
Efter den totale udradering af søgeportalen, som Martin Thorborg og de andre medstiftere på det tidspunkt havde lagt tre år af deres liv i, begyndte et hektisk forløb med at redde, hvad der reddes kunne.

»Klokken fem om morgenen stod vi og kiggede på en blank skærm og vidste, at Danmark ville vågne om to-tre timer og forvente, at de kunne gå ind og søge igen, som de plejer at gøre. Det var rimeligt pinagtigt. Vi fandt alt grafikken hos en af grafikerne. Vi fik grafikken online, og så var der en anden, der havde kategori-strukturen helt tilfældigt liggende, den fik vi også smidt online. Og der var en, der havde 10 procent af linkene liggende,« siger Martin Thorborg, der beskriver situationen som et af sit livs værste oplevelser.

Gradvist lykkedes det så småt at få samlet en del af Jubii-stumperne hist og pist. Og efter ca. tre døgn, hvor Jubii-ansatte arbejde i døgndrift og nærmest sov ind over deres keyboards, var søgeportalen oppe at køre igen på næsten fuld kraft - så godt, som det nu kunne lade sig gøre omstændighederne taget i betragtning. Det lykkedes aldrig helt at få genskabt alle de tabte data.

Mens de desperate Jubii-folk kæmpede som gale på at få reetableret søgeportalen forsøgte de samtidigt at foregive udadtil, at alt var, som det skulle være. Og det lykkedes faktisk at opretholde illusionen, som betød, at Thorborg og de andre kunne ånde særdeles lettet op efter de tre hektiske døgn.

»'Vi er i live mand!', og pressen opdagede det ikke, ingen opdagede noget. Og de brugere, der ringede ind og brokkede sig, de fik at vide, at det sikkert var deres egne servere, der havde været nede, da de tjekkede. Vi stak dem en eller anden løgn. Vi kunne jo ikke rende rundt og fortælle, at hele Danmarks portal nummer et var blevet slettet. Det kunne vi jo ikke fortælle nogen. Det giver ligesom sig selv. Så havde vi jo ikke kunnet snakke med mediebureauer bagefter. Vi var jo ikke blevet taget seriøst nogen steder - vel?,« siger Martin Thorborg.

Cowboy-tid
Martin Thorborg, der beskriver situationen dengang som en 'cowboy-tid', erkender i dag, at Jubii selvfølgeligt kunne have gjort mere ud af at sikre systemerne, men havde de gået med livrem og seler, så var det danske søgetiltag formentlig blevet løbet over ende af konkurrenter som TDC og Yahoo, som havde væsentligt større budgetter at jonglere med.

»Vi gjorde det umulige dengang. Vi arbejdede så meget, som man ikke burde kunne arbejde, og vi gjorde så mange gode ting, som man ikke burde kunne gøre på samme vis. Man kan jo sige, at det var et stort gamble det hele. Det var fest og farver og fuld skrue fremad. Hvis vi havde tænkt over den slags, og sikret os, at den slags ikke kunne ske, så havde vi fået tæv af Yahoo. Vi vidste godt, at der var svage steder i systemet,« siger han.

Facade
Siden det katastrofale Jubii-nedbrud er tiden blevet en ganske anden. Og Martin Thorborg understreger da også, at det nuværende setup i anti-spamvirksomheden Spamfighter er et ganske andet, end det, der prægede Jubii-strukturen i gamle dage.

»Vi havde jo en facade om, at alt ting var fantastisk, hvor sandheden var, at vi havde 40-50 servere, der var forbundet med sejlgarn, tøjsnore og klemmer. Halvdelen af dem stod uden covere på, og vi stod og viftede om dem, når det blev for varmt. Vi gjorde ting, der var komplet umulige. Men det indebar jo også en risiko, hvor i dag, der bruger vi Akamai, der har 40.000 servere placeret rundt omkring i verden,« siger Thorborg.

Lærestregen
Han påpeger desuden, at episoden for ti år siden bestemt også har lært ham noget om vigtigheden af at sikre sine data, fordi alt som udgangspunkt kan gå galt, når det handler om it.

»Vi har lært, at alt hvad man har, kan forsvinde på splitsekunder, selvom du har noget lækkert udstyr og mange ting. Hvis du tager Spamfighter, jeg siger ikke, at der ikke kan gå noget galt her, men vi har dubleret alle vores ting ud på 20-25 server-systemer rundt omkring i verden for at sikre os. Vi har noget rimeligt hidsigt backup. Det vil sige, at de virksomheder, vi har lavet siden, der har vi brugt meget på konsolidering,« siger han og tilføjer:

»Altså sørge for, at der blev indkøbt det rigtige udstyr, at det blev sat rigtigt op, og at man undersøgte, om ting også virkede. Efter det (katastrofen, red.) købte vi for eksempel et stort UPS-anlæg til Jubii, jeg tror, det vejede et ton. Der blev investeret rimeligt massivt i den slags. Altså når først man har stået der…«

Programmøren var dygtig
Programmøren, som for omkring 10 år siden sendte Jubii på sikker kurs mod de evige, digitale jagtmarker, beholdt sit job og slap med skrækken.

»Han var skide dygtig, det var os, der havde drevet ham for hårdt. Han sad til klokken fire om morgenen for at skifte nogle ting. Han gjorde det endnu mere umulige, han var ked af det, han var skide dygtig, han havde ikke gjort det med vilje, og han var en flink fyr. Han fik aldrig at høre for det,« siger Martin Thorborg.

Din oplevelse:
Har du en it-oplevelse, der har sat sig dybe spor i din hukommelse, og som stadig kan plage dig, så skriv til redaktion@version2.dk og del dit mareridt med resten af Version2s læsere.