Manglende router-opdatering sendte dansk hostingfirma i sort

I over fem timer var der ikke adgang til serverne hos hostingfirmaet Fuzion på grund af en upatchet fejl i router-softwaren. Saxo Bank og Rambøll Management er blandt firmaets kunder.

En påvirkning udefra sendte søndag den 3. maj softwaren på Fuzions routere i sort. Det efterlod kundernes servere uden forbindelse til internettet fra klokken 14 til 19.21.

»Vi fik tilsendt IP-information, hvor nogen sendte det samme AS-nummer mange gange. På grund af en software-bug gik vores router-software ned. Det var en software-fejl, vi ikke har været opmærksomme på,« forklarer Morten Klank, direktør for Fuzion.

Softwaren på routerne er open source-programmet Quagga, og problemet har også ramt andre internetudbydere rundt omkring i verden, fortæller direktøren.

Tricket med at andre internetudbydere mange gange i træk sender deres AS-nummer, et slags id-nummer på internettet, er en form for misbrug af Border Gateway-protokollen (BGP), der styrer trafikken rundt på internettet.

Beskederne kan nemlig bruges til at dirigere trafikken ad den vej, der er billigst for de uvorne internetudbydere, i stedet for den korteste eller mindst belastede vej. Men systemet er ikke lavet til at blive misbrugt på denne måde.

Da Fuzions routere søndag d. 3. maj modtog samme AS-nummer 13 gange i træk, var det således en situation, der gik ud over normalen og fik softwaren til at lukke ned.

Opdatering kunne have lappet hullet

I redegørelsen for nedbruddet til kunderne skriver Morten Klank, at firmaet havde sikret sig bedst muligt, og at det var umuligt at forhindre nedbruddet. Men faktisk var der frigivet en opdatering til Quagga, som lappede hullet.

»Softwaren var fuldt opdateret, men der kommer løbende en række meget små opdateringer. Nu vil vi gøre en indsats for at systematisere den sikring bedre, så vi får oplysninger om alle minor releases,« siger han.

At det ikke har været sådan hele tiden, forklarer han med, at det er nødvendigt at prioritere tiden.

»Der er en vis mængde af resurser til rådighed, så det er man nødt til at kigge på. Det er svært at sikre 100 procents oppetid, men historisk set har vi ikke haft et nedbrud som dette her før, siden vi startede i 2003,« siger Morten Klank.

Flere leverandører fremover

Udover bedre kontrol med løbende opdateringer vil han nu se på, om firmaet fremover skal have indkøbt hardware fra forskellige leverandører, så en fejl hos én producent ikke river hele forbindelsen til omverdenen væk.

Og så er han heller ikke tilfreds med servicen hos firmaets internetudbyder.

»Vi stødte panden mod en mur hos vores primære transitoperatør. Vi bad om en relativ lille ændring i vores måde at udveksle data med dem på, og det kunne de ikke hjælpe os med. Det var ikke tilfredsstillende, så vi er i gang med at indskærpe, hvad vi forventer af dem,« siger han.

De 5,5 timer uden forbindelse har ikke fået nogen kunder til at skifte leverandør, fortæller Morten Klank.

»Vi har skullet forklare situationen, for 5,5 time uden netadgang er lang tid i dag. Men ingen har valgt at skifte, og det tror jeg skyldes vores gode historik,« siger han.

Blandt Fuzions kunder er Saxo Bank, Rambøll Management, netavisen Altinget.dk, Travelmarket.dk og Ansaldo.

Tips og korrekturforslag til denne historie sendes til tip@version2.dk
Kommentarer (5)
sortSortér kommentarer
  • Ældste først
  • Nyeste først
  • Bedste først
Mikkel Mondrup Kristensen

Jeg kan altså ikke forstå hvorfor at BGP prepending bliver omtalt som misbrug, det er en helt normal og nødvendig del af TE (Traffic Engineering) i mellem internet udbydere.
Bare fordi man er blevet bidt i numsen af et problem i det software man kører behøver det jo ikke være misbrug.

  • 0
  • 0
Thomas Alexander Frederiksen

»Softwaren var fuldt opdateret, men der kommer løbende en række meget små opdateringer. Nu vil vi gøre en indsats for at systematisere den sikring bedre, så vi får oplysninger om alle minor releases,«

Hvordan man kan have fuldt opdateret software, der mangler at blive opdateret overgår min forstand. Jeg er selvfølgelig også kun beskæftiget indenfor drift, og ikke indenfor management...

  • 0
  • 0
Adam Tulinius

De er også lidt sære der ude hos Fuzion.

Beder man A om en strømmåling for sit rack, prøver han, failer, og kontaker B. Men spørger man B først, prøver han, failer, og får A til at gøre det i stedet.

True story :)

  • 0
  • 0
Log ind eller Opret konto for at kommentere
Jobfinder Logo
Job fra Jobfinder

Call to action

En påvirkning udefra sendte søndag den 3. maj softwaren på Fuzions routere i sort. Det efterlod kundernes servere uden forbindelse til internettet fra klokken 14 til 19.21. »Vi fik tilsendt IP-information, hvor nogen sendte det samme AS-nummer mange gange. På grund af en software-bug gik vores router-software
ned. Det var en software-fejl, vi ikke har været opmærksomme på,« forklarer Morten Klank, direktør for Fuzion. Softwaren på routerne er open source-programmet Quagga, og problemet har også ramt andre internetudbydere rundt omkring i verden, fortæller direktøren. Tricket med at andre internetudbydere mange gange i træk sender deres AS-nummer, et slags id-nummer på internettet, er e...