Edge-nedbrud lagde mange danske og globale sites ned

Nu fik jeg endelig taget mig sammen til at skrive om dengang...

Ham her? :)

Lol'ing hard at this header image. I changed the varnish default "Guru Meditation" to Mediation a million years ago for reasons that no longer matter. I bet that's the only change I made that's still live.

Nu fik jeg endelig taget mig sammen til at skrive om dengang...

http://varnish-cache.org/docs/trunk/phk/503aroundtheworld.html

In the near future, til et førstehjælpskursus: "nå, det virker til at hjertestarteren desværre er offline, TikTok har nok lidt serverproblemer..."

Det er skidt når en kilde siger én ting men i næste sætning siger præcist det modsatte..

"So it had nothing to do with atomic bombs and nuclear war or anything like that"

Versus

"Ideen var den, at et atombombeangreb ikke kunne påvirke centraladministrationen. Blev et sted udslettet, fandt ”pakkerne” nye veje til modtageren. Det blev forløberen til internettet."

Rigtig fine tiltag du nævner her, men indtil vi ser en egentlig konsekvens af det som skete i går, altså hvor det virkelig kan mærkes økonomisk for én eller flere af disse aktørerer, så tror jeg næppe foranstaltningerne indtræffer.

Det er nu egnag de færreste store virksomheder som tør træffe den store beslutning som det i virkeligheden kræver at gå med de små.

Mjaah... Internettet er rigtigt nok designet decentralt, men at sige at CDN'er gør det mere centraliseret er kun delvist korrekt.

CDN'er er monokultur rent software mæssigt, så fejl i software kan let trække hele deres infrastruktur ned som det skete her, men ideen om at CDN'er gør det lettere at "bombe de 10 største CDN'ers datacentre", indikerer en grundlæggende misforståelse. De store CDN'er er ikke spredt ud over 10 punkter, de er spredt ud over mange hundrede punkter verden over.

Hvis du gerne vil ligge Internettet ned med konventionelle våben vil du sandsynligvis få mere ud af at kigge på Internet exchange points og angribe dem.

https://www.internetexchangemap.com/Eller måske landingspunkterne for undersøiske fiberkabler:https://www.submarinecablemap.com/

Du behøver ikke ramme så mange som du tror, før internettet som vi kender det holder op med at fungere, pga. overbelastning af de resterende punkter.

Hvis vi gerne vil have internettet tilbage i retning mod mindre monokultur ville jeg fokusere på flg. initiativer.

• Bliv ved med at genere din ISP indtil de understøtter IPv6 og implementer IPv6 på alle de services du kan påvirke.
• Brug de mindre CDN'er istedetfor de store CDN'er, så vi får flere mindre spillere istedet for noget få store.

internettet blev oprindeligt designet så decentralt som muligt så det kunne overleve et evt. atom angreb osv.

Det troede jeg også, men da jeg læste op på det, viste det sig at være en udbredt myte: “ They wanted to connect computers at about 30 different universities around the country that studied computer science and Arpa was funding them. So it had nothing to do with atomic bombs and nuclear war or anything like that”.https://da.m.wikipedia.org/wiki/Arpanet

Men du har ret i at centralisering let fører til single points of failure, Hvis der, som her, er een konfiguration for hele verden, så har man balladen, hvis der kommer fejl i den (eller som udløses af den).

Det 'sjove' er så at internettet blev oprindeligt designet så decentralt som muligt så det kunne overleve et evt. atom angreb osv. Med CDN'er og 'cloud' er vi så ved at centralisere det hele, er det smart? Fjenden skal nu blot bombe de 10 største CDN'ers datacentre (dvs. der hvor de har deres centrale databaser og anden styring fra).. Og så har vi balladen. Det samme gælder for AWS, Azure og GCP datacentre. Er det en stor risiko? Tjah....men det går i hvert fald imod den oprindelige decentrale tankegang.

Mens vi venter på evt at høre fra PHK, kan jeg underholde med en beretning om en 29 år gammel hændelse:

Test-clusteret bootede (normalt) alle support-engineers Vax-stationer, med den lørdag kom jeg ind og opdagede at min (som var slukket) ikke bootede, men hang under opstart. Nyt reboot, samme symptom. Hvor jeg fik dem i gang igen kan jeg ikke komme ind på, men lad og siger jeg kørte ”inittab” linjevis og derved fandt fejlen:

Alle noder bootede fra den samme [fælles] fil og kaldte en nodespecifik inittab. Det var der en, der ikke forstod, så han lavet følgende ændring om fredagen – og var så gået hjem (da reboot ikke virkede):

// extract fra først i fælles boot if (node==mynode) then goto boot_mynode // (1) else exit // (2)

// do some more stuff [1] nsboot = ’node’\inittab call ’nsboot’ // do yet some more

// exit boot_mynode: // do some stuff

exit

Min opfindsomme kollega havde ”skudt sig selv i foden”, så hans node aldrig nåede de vigtige trin efter [1]. Fixet var banalt nok, han burde kun have rettet i mynode\inittab, så havde han ikke lukket hele clusteret.

Episoden fandt sted i et "nu glemt" OS, så jeg har oversat til system V (5), som læsere må formodes at kende mere til (eventuelle bøffer herudover er mine).

Jeg satte // foran linjerne med (1) og (2) i og skrev en vejledning til min kollega – det var en ”one of” oplevelse. Jeg hørte aldrig mere om den.

Den type fejl laves sikkert stadig ;-), derfor denne ”war story”.

Stackoverflow.com er også nede.</p>
<p>Hvordan skal jeg nu kunne programmere?

Undskyld, fristelsen til OT-joke var for stor. Jeg er klar over at Palle sikkert bare var morsom og at jeg lod mig lokke med. Jeg "for en" mener at Ps joke var hyleskæg ;-)

Mon phk ved noget?

Det virker helt sindssygt at en konfigurationsfejl kan medføre globalt nedbrud, på så gigantisk en platform som Fastly...

Det er ikke særlig længe siden jeg skrev et eller andet om Single Point of Failure her på siden...

In the near future, til et førstehjælpskursus: "nå, det virker til at hjertestarteren desværre er offline, TikTok har nok lidt serverproblemer..."

Mon phk ved noget?

Deres beskyttelse er vel i bund og grund blot, at de har en meget stor kapacitet så de kan håndtere meget store ddos angreb, samt at de filtrerer suspekte forespørgsler fra på edge før de rammer origin.

Noget der er svært at opnå med dine egne servere (uden massiv investering og geografisk spredning), og for en gangs skyld retfærdiggør brugen af cloud providers.

Det gør til gengæld pænt ondt når de endeligt er nede :)

Hvordan pokker fik de problemet løst, så?

Det ved vi jo ikke med sikkerhed. Fastly reklamerer også med ddos-beskyttelse osv, så selv et ddos angreb mod dem er jo på en måde en fejl fra deres side.

At Fastly bliver ramt af et DDOS-angreb kan man ikke kalde for en fejl fra deres side. En fejl, hvis de ikke formår at mitigere angrebet grundet fejl i deres systemer eller menneskelige fejl, men ellers ikke.

Github var også nede. Mange hoster dokumentationen i Github. Det var tæt på ren panik.

...det er bare en anden mands computer.

Jeg har set flere steder nævnt, at aws har været ramt af nedbruddet - nogen idé om, om det har noget på sig? Måske 3. part hoster deres status side så de ikke ender i en situation som i 2017 :-).

Tyder på det var en konfigurationsfejl: “We identified a service configuration that triggered disruption across our POPs (points of presence) globally and have disabled that configuration. "Our global network is coming back online."https://www.bbc.com/news/technology-57399628

Det ved vi jo ikke med sikkerhed. Fastly reklamerer også med ddos-beskyttelse osv, så selv et ddos angreb mod dem er jo på en måde en fejl fra deres side.

Så det var ikke et angreb, men blot en menneskelig fejl?

Fastly status

Hvis alt andet svigter, så læs manualen ;)

Hvis alt andet svigter, så læs manualen ;)

Det ser ud som om de er på vej op igen. Kan se på fastly.com at de har efterforsket global dårlig performance op til det totale udfald.

Og ja alle æg i en kurv er en risiko. Og Igen en illustration af hvor afhængige/forvente vi er blevet med internettet.

Hvordan skal jeg nu kunne programmere?

Der er mange, der er ramt. Tilsyneladende også BBC, New York Times, Spotify, Amazon, The Guardian osv. osv.

Sådan er det jo, når alle de store har lagt deres æg i samme kurv.