TV2 flyttede 100 servere på én nat for at få tv2.dk under eget tag

TV2 flyttede den 19. juni i år hele det setup, som kører TV2's websteder på tv2.dk, ind i TV2's eget datacenter på Kvægtorvet i Odense. Det skulle ske i løbet af en enkelt nat, så brugerne oplevede den mindst mulige forstyrrelse.

Teknisk chef Sune Loll fortæller her om flytteprojektet.

Hvad gik projektet ud på?

»Grundlæggende var det en fysisk flytning af serverne fra det eksterne datacenter til vores interne datacenter. Det var den grove del af arbejdet. Så har vi også brugt lang tid på at få planlagt flytningen.

Hvad var målet med projektet?

Vi håber med projektet at få skabt nogle synergier mellem vores to teams, hvor det ene er vant til at drifte jernet, mens det andet har fokus på applikationsdriften og udvikling.

Der var samtidig nogle kontraktlige ting, som gjorde, at vi var nødt til enten at tage driften ind i huset eller sende den i udbud. Ved at tage det ind i huset kan vi sætte mere fokus på driftsstabilitet og udvikling.«

Hvilken teknologi anvender I?

»Vores setup er primært baseret på open source, som kører på HP-hardware. Vi bruger LAMP-stakken, det vil sige Linux, Apache, Mysql og PHP, som vi kører på i alt cirka 180 til 190 servere.

Vi kører med et VMware-setup, så det er ikke alle serverne, som er fysiske. Vi har omtrent 100 fysiske servere. Vi stiler mod primært at bruge HP Bladesystem. Det er nogle tunge drenge at flytte. Hvert Bladesystem vejer 80 kilogram uden servere.

Vi flyttede også vores centrale Storage Area Network, SAN. Det er en fætter til halvanden million med rigtig mange terabyte, som vi udvider løbende, fordi vi har en masse video, som fylder rigtig, rigtig meget. Endelig flyttede vi også vores backupsystem, som er et HP Virtual Library System.

Vi lavede det hele som en én-til-ét-flytning. Det vil sige, at vi ikke redesignede setuppet. Så vi blev nødt til at opbygge hele vores netværkssetup, så vi i vores eget datacenter havde en kopi af det setup, vi havde hos vores eksterne hostingcenter.

Vi komprimerede dog vores setup, så vi gik fra ni til syv racks. De nye racks er vandkølede. Det var en løsning, som vores tekniske afdeling brugte. Det er dyrere racks, men de skulle være billigere at drifte. Til gengæld kræver de, at man fylder racken helt op.«

Hvilke problemer oplevede I undervejs?

»Man flytter sjældent noget så stort, uden der dukker noget uforudset op. Vi valgte netop at lave en én-til-én-flytning for at undgå problemer.

Vi flyttede lørdag den 19. juni, hvor Danmark spillede landskamp. På en normal weekend, hvor ikke er primetime lørdag aften, havde vi nok valgt at gå i gang lidt tidligere, men fordi der var landskamp, så valgte vi at køre den helt til kanten.

Vi hev stikket ud klokken 24. Vi havde lavet et 'mini-tv2.dk' med statiske sider, som vi havde kopieret til maskiner, der stod et andet sted. Så brugte vi DNS til at pege på det site.

Vi havde en idé om, at vi kunne være oppe igen ved 9-tiden søndag morgen, hvis alt klappede. Vi var reelt 100 procent oppe ved 13-tiden. Vi havde en lille smule problemer med blandt andet at få en loadbalancer op at køre, som tog to-tre timer længere. Det, synes jeg ikke, er et stort problem i betragtning af, at vi skulle flytte så meget hardware.

Normalt når man flytter, så er der noget, der går i stykker. Der er en server, som ikke har været lukket ned i lang tid, som ikke vil starte op igen. Men det var overraskende, at det eneste, vi havde, var en enkelt disk i vores SAN.«

Hvad skal der ske nu med projektet?

»Vores fokus er nu at få kigget hele systemet igennem og få alignet versionerne, så for eksempel alle vores Red Hat Linux er den samme version, så vidt det er muligt.

Så skal vi også kigge vores databasekald igennem og se, hvad vi kan lave af optimering. Der er nok at tage fat i. På længere sigt skal vi kigge på andre databasetyper. Lige nu kører vi primært Mysql og Postgresql.«

Har du nogen gode råd, du kan give videre?

»Planlægningen var alfa og omega. Vi havde lavet en drejebog, som beskrev hele natten i delelementer. Så vi tog for eksempel alt udstyret ned i en bestemt rækkefølge.

En lære er, at man ikke kan gøre sådan en drejebog for detaljeret. Vi gik for eksempel baglæns i nogle versionsnumre. Havde vi skrevet det ned, så havde vi måske opdaget, at det ikke var så smart.

Vores mini-tv2.dk var en kæmpe fordel. Vi havde et site, som virkede, selvom det var statisk.

Vi er alle enormt travle folk, så vi havde valgt at få en ekstern projektleder på. Ikke én som var teknisk, men én som havde ansvaret for at følge op på det, der bliver besluttet. Ellers sker der det, at folk bliver ramt af deres egen verden. Samtidig havde vi én, der kunne stille alle de dumme spørgsmål, som man ikke lige stiller, når man sidder en flok teknikere. Det var rigtig godt.«