DR om web-nedbrud: Vores integrationer løb løbsk

Onsdag eftermiddag mødte de mange besøgende på Dr.dk et andet syn end normalt. Den sædvanligvis velspækkede side var nu helt simpel, med et minimum af billeder og ingen video og eller smart grafik. Efter ballade med den normale webside hele formiddagen valgte DR nemlig at tage en nød-hjemmeside i brug fra klokken 14.

»Vi kunne se fra morgenstunden, at vi havde problemer med at få nye artikler på dr.dk. Vores database havde problemer med at lægge artiklerne ud på sitet,« siger Christian Christensen, centerchef for webapplikationer hos DR, til Version2.

I takt med at problemerne blev værre, blev det nødvendigt at lukke for det normale web-miljø og skifte til nød-sitet. DR har nemlig på grund af sine forpligtelser i samfundet altid et sekundært web-miljø stående klar.

»Det er meget vigtigt for os, at vi altid kan få nyheder ud, for det er vi forpligtede til at levere. Så vi skiftede til vores nød-site, som kører med begrænset funktionalitet på nogle helt andre servere,« forklarer webchefen.

Dr.dk kører på Microsoft CMS, med en SQL-database, og har brugt denne løsning igennem ti år. Nu er koncernen ved at skifte hele det omfangsrige website over til CMS’et Drupal. Men selvom den nuværende løsning har mange år på bagen, var det ikke et nedbrud i CMS’et eller databasen, som gav de lange svartider.

»Problemerne skyldtes alle de interne integrationer, vi har, og ikke SQL-serveren. Vi har ikke fundet den endelige tekniske forklaring endnu, men har lokaliseret problemerne. Vi fandt nogle integrationer, som var løbet løbsk og lagde alt for meget data ned i databasen, og det førte til lange svartider,« siger Christian Christensen.

Det var altså uoverensstemmelse mellem forskellige dele af koden, der er kommet til gennem årene, og ikke et enkeltstående indgreb i systemet - eller en udefrakommende bølge af DDoS-trafik, som svenske websider var ramt af for nogle uger siden.

»Der var ikke noget hackerangreb, og vi har ikke lagt noget nyt ind i vores produktionsmiljø. Det var en intern kodeting, hvor nogle systemsammenhænge førte til de uheldige omstændigheder,« siger Christian Christensen.

Nedbruddet, som varede omkring to timer og 20 minutter, var det største i dr.dk’s historie. Og selvom sitet nu fungerer igen, er web-folkene gået i gang med en gennemtrawling af teknikken for at se, om der kan ske forbedringer.

»Vi har lokaliseret et par ting, som også kunne være årsager til problemer. Så dem lukker vi ned og starter op igen, en for en, for at se, om det hjælper,« siger Christian Christensen.