Edge-nedbrud lagde mange danske og globale sites ned

Illustration: Hisam/Bigstock
Edge-platformen Fastly har haft problemer. Det er gået ud over flere danske og udenlandske sites som TV 2, Reddit og Twitch.

Edge-platformen Fastly er gået ned, og har taget de sites, der benytter tjenesten med i faldet.

Reddit under nedbruddet. Illustration: Version2

På Twitter skiver den finske sikkerhedsekspert Mikko Hypponen:

»Edge-platformen Fastly platform har problemer, hvilket betyder, at en stor del af internettet har problemer. Dette inkluderer Twitter. Selv http://fastly.com i sig selv er utilgængelig mange steder.«

Twitch under nedbruddet. Illustration: Version2

Det har blandt andet også berørt TV 2, Reddit og Twitch.

En omfangsrig liste på sitet Downdetector opgører de mange nedbrud lige nu.

Fastly kalder det selv for en 'Global CDN Disruption'. CDN står for content delivery network, som er betegnelsen for fremskudte distribuerede servere, der leverer indhold til slutbrugerne. Nedbruddet blev opdaget kl 11.58 dansk tid.

Tjenesten meddeler kl. 12.44, at fejlen er fundet og ved at blive udbedret. Flere af de berørte sites er tilbage online kl. 12.55.

På Twitter skriver Fastly senere på dagen:

»Vi har identificeret en tjeneste-konfiguration, der udløste forstyrrelser på tværs af vores POP'er (Point of presence, servere, red.) globalt og har deaktiveret den konfiguration. Vores globale netværk er på vej tilbage online.«

Tips og korrekturforslag til denne historie sendes til tip@version2.dk
Følg forløbet
Kommentarer (27)
sortSortér kommentarer
  • Ældste først
  • Nyeste først
  • Bedste først
#3 Mogens Lysemose

Det ser ud som om de er på vej op igen. Kan se på fastly.com at de har efterforsket global dårlig performance op til det totale udfald.

Og ja alle æg i en kurv er en risiko. Og Igen en illustration af hvor afhængige/forvente vi er blevet med internettet.

  • 1
  • 0
#11 Jens Beltofte

Github var også nede. Mange hoster dokumentationen i Github. Det var tæt på ren panik.

Var det reelt nede eller blot assets der ikke blev loadet? Oplevede selv at github kunne hentes, men at alle assets fra deres githubassets.com domæne ikke kunne hentes da de ligger bag Fastly. Måske Microsoft skulle se at få Github flyttet over på Azure CDN ;-)

  • 2
  • 0
#12 Jens Beltofte

Det ved vi jo ikke med sikkerhed. Fastly reklamerer også med ddos-beskyttelse osv, så selv et ddos angreb mod dem er jo på en måde en fejl fra deres side.

Deres beskyttelse er vel i bund og grund blot, at de har en meget stor kapacitet så de kan håndtere meget store ddos angreb, samt at de filtrerer suspekte forespørgsler fra på edge før de rammer origin. Se https://www.fastly.com/products/cloud-security/ddos-mitigation.

At Fastly bliver ramt af et DDOS-angreb kan man ikke kalde for en fejl fra deres side. En fejl, hvis de ikke formår at mitigere angrebet grundet fejl i deres systemer eller menneskelige fejl, men ellers ikke.

  • 0
  • 0
#14 Sune Marcher

Deres beskyttelse er vel i bund og grund blot, at de har en meget stor kapacitet så de kan håndtere meget store ddos angreb, samt at de filtrerer suspekte forespørgsler fra på edge før de rammer origin.

Og en del af dette er vel også noget multicast-magi?

Noget der er svært at opnå med dine egne servere (uden massiv investering og geografisk spredning), og for en gangs skyld retfærdiggør brugen af cloud providers.

Det gør til gengæld pænt ondt når de endeligt er nede :)

  • 1
  • 0
#16 Børge Svingalius

Det virker helt sindssygt at en konfigurationsfejl kan medføre globalt nedbrud, på så gigantisk en platform som Fastly...

Det er ikke særlig længe siden jeg skrev et eller andet om Single Point of Failure her på siden...

In the near future, til et førstehjælpskursus: "nå, det virker til at hjertestarteren desværre er offline, TikTok har nok lidt serverproblemer..."

  • 1
  • 0
#18 Nis Schmidt

Stackoverflow.com er også nede.

Hvordan skal jeg nu kunne programmere?

Undskyld, fristelsen til OT-joke var for stor. Jeg er klar over at Palle sikkert bare var morsom og at jeg lod mig lokke med. Jeg "for en" mener at Ps joke var hyleskæg ;-)

  • 1
  • 0
#19 Nis Schmidt

Mens vi venter på evt at høre fra PHK, kan jeg underholde med en beretning om en 29 år gammel hændelse:

Test-clusteret bootede (normalt) alle support-engineers Vax-stationer, med den lørdag kom jeg ind og opdagede at min (som var slukket) ikke bootede, men hang under opstart. Nyt reboot, samme symptom. Hvor jeg fik dem i gang igen kan jeg ikke komme ind på, men lad og siger jeg kørte ”inittab” linjevis og derved fandt fejlen:

Alle noder bootede fra den samme [fælles] fil og kaldte en nodespecifik inittab. Det var der en, der ikke forstod, så han lavet følgende ændring om fredagen – og var så gået hjem (da reboot ikke virkede):

// extract fra først i fælles boot if (node==mynode) then goto boot_mynode // (1) else exit // (2)

// do some more stuff [1] nsboot = ’node’\inittab call ’nsboot’ // do yet some more

// exit boot_mynode: // do some stuff

exit

Min opfindsomme kollega havde ”skudt sig selv i foden”, så hans node aldrig nåede de vigtige trin efter [1]. Fixet var banalt nok, han burde kun have rettet i mynode\inittab, så havde han ikke lukket hele clusteret.

Episoden fandt sted i et "nu glemt" OS, så jeg har oversat til system V (5), som læsere må formodes at kende mere til (eventuelle bøffer herudover er mine).

Jeg satte // foran linjerne med (1) og (2) i og skrev en vejledning til min kollega – det var en ”one of” oplevelse. Jeg hørte aldrig mere om den.

Den type fejl laves sikkert stadig ;-), derfor denne ”war story”.

  • 3
  • 1
#20 Tobias Skytte

Det 'sjove' er så at internettet blev oprindeligt designet så decentralt som muligt så det kunne overleve et evt. atom angreb osv. Med CDN'er og 'cloud' er vi så ved at centralisere det hele, er det smart? Fjenden skal nu blot bombe de 10 største CDN'ers datacentre (dvs. der hvor de har deres centrale databaser og anden styring fra).. Og så har vi balladen. Det samme gælder for AWS, Azure og GCP datacentre. Er det en stor risiko? Tjah....men det går i hvert fald imod den oprindelige decentrale tankegang.

  • 4
  • 1
#21 Mogens Lysemose

internettet blev oprindeligt designet så decentralt som muligt så det kunne overleve et evt. atom angreb osv.

Det troede jeg også, men da jeg læste op på det, viste det sig at være en udbredt myte: “ They wanted to connect computers at about 30 different universities around the country that studied computer science and Arpa was funding them. So it had nothing to do with atomic bombs and nuclear war or anything like that”. https://da.m.wikipedia.org/wiki/Arpanet

Men du har ret i at centralisering let fører til single points of failure, Hvis der, som her, er een konfiguration for hele verden, så har man balladen, hvis der kommer fejl i den (eller som udløses af den).

  • 6
  • 1
#22 Rasmus Larsen

Mjaah... Internettet er rigtigt nok designet decentralt, men at sige at CDN'er gør det mere centraliseret er kun delvist korrekt.

CDN'er er monokultur rent software mæssigt, så fejl i software kan let trække hele deres infrastruktur ned som det skete her, men ideen om at CDN'er gør det lettere at "bombe de 10 største CDN'ers datacentre", indikerer en grundlæggende misforståelse. De store CDN'er er ikke spredt ud over 10 punkter, de er spredt ud over mange hundrede punkter verden over.

Hvis du gerne vil ligge Internettet ned med konventionelle våben vil du sandsynligvis få mere ud af at kigge på Internet exchange points og angribe dem.

https://www.internetexchangemap.com/ Eller måske landingspunkterne for undersøiske fiberkabler: https://www.submarinecablemap.com/

Du behøver ikke ramme så mange som du tror, før internettet som vi kender det holder op med at fungere, pga. overbelastning af de resterende punkter.

Hvis vi gerne vil have internettet tilbage i retning mod mindre monokultur ville jeg fokusere på flg. initiativer.

  • Bliv ved med at genere din ISP indtil de understøtter IPv6 og implementer IPv6 på alle de services du kan påvirke.
  • Brug de mindre CDN'er istedetfor de store CDN'er, så vi får flere mindre spillere istedet for noget få store.
  • 5
  • 0
#23 René Nielsen

Rigtig fine tiltag du nævner her, men indtil vi ser en egentlig konsekvens af det som skete i går, altså hvor det virkelig kan mærkes økonomisk for én eller flere af disse aktørerer, så tror jeg næppe foranstaltningerne indtræffer.

Det er nu egnag de færreste store virksomheder som tør træffe den store beslutning som det i virkeligheden kræver at gå med de små.

  • 0
  • 0
#24 Tomas Loft

Det er skidt når en kilde siger én ting men i næste sætning siger præcist det modsatte..

"So it had nothing to do with atomic bombs and nuclear war or anything like that"

Versus

"Ideen var den, at et atombombeangreb ikke kunne påvirke centraladministrationen. Blev et sted udslettet, fandt ”pakkerne” nye veje til modtageren. Det blev forløberen til internettet."

  • 0
  • 0
#27 Sune Marcher

Nu fik jeg endelig taget mig sammen til at skrive om dengang...

"(The alert reader will notice that it says “Mediation” instead of “Meditation”. I dont know why, but I know who to ask, and I will.)"

Ham her? :)

Lol'ing hard at this header image. I changed the varnish default "Guru Meditation" to Mediation a million years ago for reasons that no longer matter. I bet that's the only change I made that's still live.

~ https://twitter.com/dormando/status/1402466173778677764

  • 0
  • 0
Log ind eller Opret konto for at kommentere