Manglende router-opdatering sendte dansk hostingfirma i sort

En påvirkning udefra sendte søndag den 3. maj softwaren på Fuzions routere i sort. Det efterlod kundernes servere uden forbindelse til internettet fra klokken 14 til 19.21.

»Vi fik tilsendt IP-information, hvor nogen sendte det samme AS-nummer mange gange. På grund af en software-bug gik vores router-software ned. Det var en software-fejl, vi ikke har været opmærksomme på,« forklarer Morten Klank, direktør for Fuzion.

Softwaren på routerne er open source-programmet Quagga, og problemet har også ramt andre internetudbydere rundt omkring i verden, fortæller direktøren.

Tricket med at andre internetudbydere mange gange i træk sender deres AS-nummer, et slags id-nummer på internettet, er en form for misbrug af Border Gateway-protokollen (BGP), der styrer trafikken rundt på internettet.

Beskederne kan nemlig bruges til at dirigere trafikken ad den vej, der er billigst for de uvorne internetudbydere, i stedet for den korteste eller mindst belastede vej. Men systemet er ikke lavet til at blive misbrugt på denne måde.

Da Fuzions routere søndag d. 3. maj modtog samme AS-nummer 13 gange i træk, var det således en situation, der gik ud over normalen og fik softwaren til at lukke ned.

Opdatering kunne have lappet hullet

I redegørelsen for nedbruddet til kunderne skriver Morten Klank, at firmaet havde sikret sig bedst muligt, og at det var umuligt at forhindre nedbruddet. Men faktisk var der frigivet en opdatering til Quagga, som lappede hullet.

»Softwaren var fuldt opdateret, men der kommer løbende en række meget små opdateringer. Nu vil vi gøre en indsats for at systematisere den sikring bedre, så vi får oplysninger om alle minor releases,« siger han.

At det ikke har været sådan hele tiden, forklarer han med, at det er nødvendigt at prioritere tiden.

»Der er en vis mængde af resurser til rådighed, så det er man nødt til at kigge på. Det er svært at sikre 100 procents oppetid, men historisk set har vi ikke haft et nedbrud som dette her før, siden vi startede i 2003,« siger Morten Klank.

Flere leverandører fremover

Udover bedre kontrol med løbende opdateringer vil han nu se på, om firmaet fremover skal have indkøbt hardware fra forskellige leverandører, så en fejl hos én producent ikke river hele forbindelsen til omverdenen væk.

Og så er han heller ikke tilfreds med servicen hos firmaets internetudbyder.

»Vi stødte panden mod en mur hos vores primære transitoperatør. Vi bad om en relativ lille ændring i vores måde at udveksle data med dem på, og det kunne de ikke hjælpe os med. Det var ikke tilfredsstillende, så vi er i gang med at indskærpe, hvad vi forventer af dem,« siger han.

De 5,5 timer uden forbindelse har ikke fået nogen kunder til at skifte leverandør, fortæller Morten Klank.

»Vi har skullet forklare situationen, for 5,5 time uden netadgang er lang tid i dag. Men ingen har valgt at skifte, og det tror jeg skyldes vores gode historik,« siger han.

Blandt Fuzions kunder er Saxo Bank, Rambøll Management, netavisen Altinget.dk, Travelmarket.dk og Ansaldo.