Edge-nedbrud lagde mange danske og globale sites ned

8. juni 2021 kl. 12:3027
Edge-nedbrud lagde mange danske og globale sites ned
Illustration: Hisam/Bigstock.
Edge-platformen Fastly har haft problemer. Det er gået ud over flere danske og udenlandske sites som TV 2, Reddit og Twitch.
Artiklen er ældre end 30 dage
Manglende links i teksten kan sandsynligvis findes i bunden af artiklen.

Edge-platformen Fastly er gået ned, og har taget de sites, der benytter tjenesten med i faldet.

Reddit under nedbruddet.

På Twitter skiver den finske sikkerhedsekspert Mikko Hypponen:

»Edge-platformen Fastly platform har problemer, hvilket betyder, at en stor del af internettet har problemer. Dette inkluderer Twitter. Selv http://fastly.com i sig selv er utilgængelig mange steder.«

Twitch under nedbruddet.

Det har blandt andet også berørt TV 2, Reddit og Twitch.

Artiklen fortsætter efter annoncen

En omfangsrig liste på sitet Downdetector opgører de mange nedbrud lige nu.

Fastly kalder det selv for en 'Global CDN Disruption'. CDN står for content delivery network, som er betegnelsen for fremskudte distribuerede servere, der leverer indhold til slutbrugerne. Nedbruddet blev opdaget kl 11.58 dansk tid.

Tjenesten meddeler kl. 12.44, at fejlen er fundet og ved at blive udbedret. Flere af de berørte sites er tilbage online kl. 12.55.

På Twitter skriver Fastly senere på dagen:

Artiklen fortsætter efter annoncen

»Vi har identificeret en tjeneste-konfiguration, der udløste forstyrrelser på tværs af vores POP'er (Point of presence, servere, red.) globalt og har deaktiveret den konfiguration. Vores globale netværk er på vej tilbage online.«

27 kommentarer.  Hop til debatten
Denne artikel er gratis...

...men det er dyrt at lave god journalistik. Derfor beder vi dig overveje at tegne abonnement på Version2.

Digitaliseringen buldrer derudaf, og it-folkene tegner fremtidens Danmark. Derfor er det vigtigere end nogensinde med et kvalificeret bud på, hvordan it bedst kan være med til at udvikle det danske samfund og erhvervsliv.

Og der har aldrig været mere akut brug for en kritisk vagthund, der råber op, når der tages forkerte it-beslutninger.

Den rolle har Version2 indtaget siden 2006 - og det bliver vi ved med.

Debatten
Log ind eller opret en bruger for at deltage i debatten.
settingsDebatindstillinger
27
9. juni 2021 kl. 15:37

Nu fik jeg endelig taget mig sammen til at skrive om dengang...

"(The alert reader will notice that it says “Mediation” instead of “Meditation”. I dont know why, but I know who to ask, and I will.)"

Ham her? :)

Lol'ing hard at this header image. I changed the varnish default "Guru Meditation" to Mediation a million years ago for reasons that no longer matter. I bet that's the only change I made that's still live.

~ https://twitter.com/dormando/status/1402466173778677764

24
9. juni 2021 kl. 14:45

Det er skidt når en kilde siger én ting men i næste sætning siger præcist det modsatte..

"So it had nothing to do with atomic bombs and nuclear war or anything like that"

Versus

"Ideen var den, at et atombombeangreb ikke kunne påvirke centraladministrationen. Blev et sted udslettet, fandt ”pakkerne” nye veje til modtageren. Det blev forløberen til internettet."

23
9. juni 2021 kl. 14:29

Rigtig fine tiltag du nævner her, men indtil vi ser en egentlig konsekvens af det som skete i går, altså hvor det virkelig kan mærkes økonomisk for én eller flere af disse aktørerer, så tror jeg næppe foranstaltningerne indtræffer.

Det er nu egnag de færreste store virksomheder som tør træffe den store beslutning som det i virkeligheden kræver at gå med de små.

22
9. juni 2021 kl. 10:19

Mjaah... Internettet er rigtigt nok designet decentralt, men at sige at CDN'er gør det mere centraliseret er kun delvist korrekt.

CDN'er er monokultur rent software mæssigt, så fejl i software kan let trække hele deres infrastruktur ned som det skete her, men ideen om at CDN'er gør det lettere at "bombe de 10 største CDN'ers datacentre", indikerer en grundlæggende misforståelse. De store CDN'er er ikke spredt ud over 10 punkter, de er spredt ud over mange hundrede punkter verden over.

Hvis du gerne vil ligge Internettet ned med konventionelle våben vil du sandsynligvis få mere ud af at kigge på Internet exchange points og angribe dem.

https://www.internetexchangemap.com/Eller måske landingspunkterne for undersøiske fiberkabler:https://www.submarinecablemap.com/

Du behøver ikke ramme så mange som du tror, før internettet som vi kender det holder op med at fungere, pga. overbelastning af de resterende punkter.

Hvis vi gerne vil have internettet tilbage i retning mod mindre monokultur ville jeg fokusere på flg. initiativer.

  • Bliv ved med at genere din ISP indtil de understøtter IPv6 og implementer IPv6 på alle de services du kan påvirke.
  • Brug de mindre CDN'er istedetfor de store CDN'er, så vi får flere mindre spillere istedet for noget få store.
21
9. juni 2021 kl. 08:37

internettet blev oprindeligt designet så decentralt som muligt så det kunne overleve et evt. atom angreb osv.

Det troede jeg også, men da jeg læste op på det, viste det sig at være en udbredt myte: “ They wanted to connect computers at about 30 different universities around the country that studied computer science and Arpa was funding them. So it had nothing to do with atomic bombs and nuclear war or anything like that”.https://da.m.wikipedia.org/wiki/Arpanet

Men du har ret i at centralisering let fører til single points of failure, Hvis der, som her, er een konfiguration for hele verden, så har man balladen, hvis der kommer fejl i den (eller som udløses af den).

20
9. juni 2021 kl. 08:17

Det 'sjove' er så at internettet blev oprindeligt designet så decentralt som muligt så det kunne overleve et evt. atom angreb osv. Med CDN'er og 'cloud' er vi så ved at centralisere det hele, er det smart? Fjenden skal nu blot bombe de 10 største CDN'ers datacentre (dvs. der hvor de har deres centrale databaser og anden styring fra).. Og så har vi balladen. Det samme gælder for AWS, Azure og GCP datacentre. Er det en stor risiko? Tjah....men det går i hvert fald imod den oprindelige decentrale tankegang.

19
9. juni 2021 kl. 00:09

Mens vi venter på evt at høre fra PHK, kan jeg underholde med en beretning om en 29 år gammel hændelse:

Test-clusteret bootede (normalt) alle support-engineers Vax-stationer, med den lørdag kom jeg ind og opdagede at min (som var slukket) ikke bootede, men hang under opstart. Nyt reboot, samme symptom. Hvor jeg fik dem i gang igen kan jeg ikke komme ind på, men lad og siger jeg kørte ”inittab” linjevis og derved fandt fejlen:

Alle noder bootede fra den samme [fælles] fil og kaldte en nodespecifik inittab. Det var der en, der ikke forstod, så han lavet følgende ændring om fredagen – og var så gået hjem (da reboot ikke virkede):

// extract fra først i fælles boot if (node==mynode) then goto boot_mynode // (1) else exit // (2)

// do some more stuff [1] nsboot = ’node’\inittab call ’nsboot’ // do yet some more

// exit boot_mynode: // do some stuff

exit

Min opfindsomme kollega havde ”skudt sig selv i foden”, så hans node aldrig nåede de vigtige trin efter [1]. Fixet var banalt nok, han burde kun have rettet i mynode\inittab, så havde han ikke lukket hele clusteret.

Episoden fandt sted i et "nu glemt" OS, så jeg har oversat til system V (5), som læsere må formodes at kende mere til (eventuelle bøffer herudover er mine).

Jeg satte // foran linjerne med (1) og (2) i og skrev en vejledning til min kollega – det var en ”one of” oplevelse. Jeg hørte aldrig mere om den.

Den type fejl laves sikkert stadig ;-), derfor denne ”war story”.

18
8. juni 2021 kl. 21:56

Stackoverflow.com er også nede.</p>
<p>Hvordan skal jeg nu kunne programmere?

Undskyld, fristelsen til OT-joke var for stor. Jeg er klar over at Palle sikkert bare var morsom og at jeg lod mig lokke med. Jeg "for en" mener at Ps joke var hyleskæg ;-)

17
8. juni 2021 kl. 21:29

Mon phk ved noget?

PHK ved meget, men hvorfor skulle han vide noget om hvorfor Fastly havde et globalt nedbrud? Ja, Fastly benytter Varnish men der er vel også den eneste relation PHK har til Fastly.

16
8. juni 2021 kl. 21:26

Det virker helt sindssygt at en konfigurationsfejl kan medføre globalt nedbrud, på så gigantisk en platform som Fastly...

Det er ikke særlig længe siden jeg skrev et eller andet om Single Point of Failure her på siden...

In the near future, til et førstehjælpskursus: "nå, det virker til at hjertestarteren desværre er offline, TikTok har nok lidt serverproblemer..."

14
8. juni 2021 kl. 17:43

Deres beskyttelse er vel i bund og grund blot, at de har en meget stor kapacitet så de kan håndtere meget store ddos angreb, samt at de filtrerer suspekte forespørgsler fra på edge før de rammer origin.

Og en del af dette er vel også noget multicast-magi?

Noget der er svært at opnå med dine egne servere (uden massiv investering og geografisk spredning), og for en gangs skyld retfærdiggør brugen af cloud providers.

Det gør til gengæld pænt ondt når de endeligt er nede :)

13
8. juni 2021 kl. 16:51

Hvordan pokker fik de problemet løst, så?

12
8. juni 2021 kl. 16:13

Det ved vi jo ikke med sikkerhed. Fastly reklamerer også med ddos-beskyttelse osv, så selv et ddos angreb mod dem er jo på en måde en fejl fra deres side.

Deres beskyttelse er vel i bund og grund blot, at de har en meget stor kapacitet så de kan håndtere meget store ddos angreb, samt at de filtrerer suspekte forespørgsler fra på edge før de rammer origin. Se https://www.fastly.com/products/cloud-security/ddos-mitigation.

At Fastly bliver ramt af et DDOS-angreb kan man ikke kalde for en fejl fra deres side. En fejl, hvis de ikke formår at mitigere angrebet grundet fejl i deres systemer eller menneskelige fejl, men ellers ikke.

10
8. juni 2021 kl. 15:50

...det er bare en anden mands computer.

9
8. juni 2021 kl. 15:02

Jeg har set flere steder nævnt, at aws har været ramt af nedbruddet - nogen idé om, om det har noget på sig? Måske 3. part hoster deres status side så de ikke ender i en situation som i 2017 :-).

8
8. juni 2021 kl. 13:52

Tyder på det var en konfigurationsfejl: “We identified a service configuration that triggered disruption across our POPs (points of presence) globally and have disabled that configuration. "Our global network is coming back online."https://www.bbc.com/news/technology-57399628

7
8. juni 2021 kl. 13:30

Det ved vi jo ikke med sikkerhed. Fastly reklamerer også med ddos-beskyttelse osv, så selv et ddos angreb mod dem er jo på en måde en fejl fra deres side.

4
8. juni 2021 kl. 12:55

Hvis alt andet svigter, så læs manualen ;)

3
8. juni 2021 kl. 12:54

Det ser ud som om de er på vej op igen. Kan se på fastly.com at de har efterforsket global dårlig performance op til det totale udfald.

Og ja alle æg i en kurv er en risiko. Og Igen en illustration af hvor afhængige/forvente vi er blevet med internettet.

2
8. juni 2021 kl. 12:50

Hvordan skal jeg nu kunne programmere?

1
8. juni 2021 kl. 12:43

Der er mange, der er ramt. Tilsyneladende også BBC, New York Times, Spotify, Amazon, The Guardian osv. osv.

Sådan er det jo, når alle de store har lagt deres æg i samme kurv.