Sulten RegEx hos Cloudflare lagde millioner af hjemmesider ned

Illustration: Kanoha / Creative Commons 3.0
En fejl i en regular expression hos CDN-udbyderen Cloudflare i går betød alle virksomhedens kunder blev utilgængelige

Kunder hos Cloudflare oplevede i går, at deres hjemmesider i en halv time blev utilgængelige for besøgende. Det skete efter en softwareudrulning, som indeholdt en regular expression i et firewall-regelsæt, der straks sendte CPU-forbrug til 100 procent.

Det skriver Cloudflare i en post mortem-undersøgelse af hændelsen.

Regular expressions er et programmeringsværktøj som bruges til at søge efter mønstre i tekst. Det er praktisk at bruge i mange sammenhænge – for eksempel til at identificere skummel trafik i en firewall – men hvis en regular expression udformes forkert, kan man altså komme galt afsted.

Besøgende til de millioner af hjemmesider som bruger Cloudflare blev mødt med en fejl 502: Bad Gateway, da Cloudflares datacentre havde for travlt med at afvikle den sultne regular expression til at servere siderne.

Fejlen stod på i omkring en halv time, før Cloudflare fik identificeret den og lukket ned for det problematiske regelsæt i firewallen.

Ironisk

Det er en penibel situation for Cloudflare, som driver forretning på at sikre oppetid og ydelse for dens kunders hjemmesider.

Virksomheden tilbyder DDOS-beskyttelse såvel som mulighed for at komme på dens store CDN – content delivery network – som cacher statiske sider, så de kan leveres til brugere fra datacentre, der ligger nærmere brugeren rent geografisk.

Det er altså en kende ironisk at virksomheder, som har hyret Cloudflare til at sikre oppetid på deres hjemmesider, nu har oplevet nedetid specifik fordi de er kunder hos samme virksomhed.

Den ironi er Cloudflare ikke selv blinde for. I indlægget skriver de:

»Vi er klar over, at sådan en hændelse er yderst smertefuld for vores kunder. Vores test-processor var utilstrækkelige i dette tilfælde, og vi undersøger og ændrer vores test- og udrulningsproces for at undgå hændelser som denne i fremtiden.«

Tips og korrekturforslag til denne historie sendes til tip@version2.dk
Følg forløbet
Kommentarer (3)
sortSortér kommentarer
  • Ældste først
  • Nyeste først
  • Bedste først
Mogens Bluhme

Regnekraften til en regex-match er vist NP-hård hvis der er back referencer. En firewall er den ypperste repræsentant for en regelstyret verden.

Men man behøver vel næppe Tensorflow eller andet NN - mailklienten Thunderbird var/er effektiv til spamfiltrering via forholdsvis simpelt bayesian statistik.

Der må være masser af data rundt i verden til at lære af - tænk på sikkerhedsfirmaers honeypots.

  • 0
  • 2
Log ind eller Opret konto for at kommentere