DR om web-nedbrud: Vores integrationer løb løbsk

SQL-databasen under DR.dk blev overbelastet, da integrationer til andre systemer begyndte at sende alt for meget data af sted. I stedet skiftede DR til et nød-site, som altid står klar.

Onsdag eftermiddag mødte de mange besøgende på Dr.dk et andet syn end normalt. Den sædvanligvis velspækkede side var nu helt simpel, med et minimum af billeder og ingen video og eller smart grafik. Efter ballade med den normale webside hele formiddagen valgte DR nemlig at tage en nød-hjemmeside i brug fra klokken 14.

Illustration: Henrik Nordstrøm Mortensen

»Vi kunne se fra morgenstunden, at vi havde problemer med at få nye artikler på dr.dk. Vores database havde problemer med at lægge artiklerne ud på sitet,« siger Christian Christensen, centerchef for webapplikationer hos DR, til Version2.

Læs også: Dr.dk på nødberedskab: Aner ikke, hvor fejlene ligger

I takt med at problemerne blev værre, blev det nødvendigt at lukke for det normale web-miljø og skifte til nød-sitet. DR har nemlig på grund af sine forpligtelser i samfundet altid et sekundært web-miljø stående klar.

»Det er meget vigtigt for os, at vi altid kan få nyheder ud, for det er vi forpligtede til at levere. Så vi skiftede til vores nød-site, som kører med begrænset funktionalitet på nogle helt andre servere,« forklarer webchefen.

Dr.dk kører på Microsoft CMS, med en SQL-database, og har brugt denne løsning igennem ti år. Nu er koncernen ved at skifte hele det omfangsrige website over til CMS’et Drupal. Men selvom den nuværende løsning har mange år på bagen, var det ikke et nedbrud i CMS’et eller databasen, som gav de lange svartider.

Læs også: Peytz & Co. skal flytte DR.dk fra Microsoft til Drupal inden 2014

»Problemerne skyldtes alle de interne integrationer, vi har, og ikke SQL-serveren. Vi har ikke fundet den endelige tekniske forklaring endnu, men har lokaliseret problemerne. Vi fandt nogle integrationer, som var løbet løbsk og lagde alt for meget data ned i databasen, og det førte til lange svartider,« siger Christian Christensen.

Det var altså uoverensstemmelse mellem forskellige dele af koden, der er kommet til gennem årene, og ikke et enkeltstående indgreb i systemet - eller en udefrakommende bølge af DDoS-trafik, som svenske websider var ramt af for nogle uger siden.

»Der var ikke noget hackerangreb, og vi har ikke lagt noget nyt ind i vores produktionsmiljø. Det var en intern kodeting, hvor nogle systemsammenhænge førte til de uheldige omstændigheder,« siger Christian Christensen.

Nedbruddet, som varede omkring to timer og 20 minutter, var det største i dr.dk’s historie. Og selvom sitet nu fungerer igen, er web-folkene gået i gang med en gennemtrawling af teknikken for at se, om der kan ske forbedringer.

»Vi har lokaliseret et par ting, som også kunne være årsager til problemer. Så dem lukker vi ned og starter op igen, en for en, for at se, om det hjælper,« siger Christian Christensen.

Tips og korrekturforslag til denne historie sendes til tip@version2.dk
Kommentarer (2)
sortSortér kommentarer
  • Ældste først
  • Nyeste først
  • Bedste først
#2 Michael Yde

Jo jo ! Hvis det så bare kun var Live streaming der hakker. Men nej det er det desværre ikke selv arkiv programmmer som So ein ding laver ufrivilige stop hver 15-20 sek. Og bruger så 6-7 sek for at buffe igen. En udsendelse vare således ca.10-20 min ekstra. Så irriterende at sonne vil kors'se sig og sige Det holder ikke DR.

  • 2
  • 0
Log ind eller Opret konto for at kommentere