Stort datacenter i Østfrankrig brænder ned: Millioner af hjemmesider påvirket

Det korte af det lange er at der er en endelig, om end ikke specielt stor mulighed for at dit datacenter bliver ubrugeligt. Du kan så leve med den mulighed - eller etablere en overlevelsesplan, noget som OVHcloud har overladt til sine kunder selv at beslutte og klare, og det står såmænd nok også i kontrakterne.

Det er helt rigtigt - og faktisk så ER det muligt at lave multi-location på en måde så man både kan spare penge og sikre sig man har styr på disaster recovery.

Jeg plejer at foreslå at hvis man f.ex. hoster i AWS normalt, så kan man have en location i OVH eller Hetzner f.ex. (eller on-site hvis man selv har et datacenter) - og forbinde de 2 clustre (typisk med kubernetes setups bliver det en nem ting at gøre) - og så kan man simpelt migrere services imellem de 2 clustre og så bør man gøre det til den halvårlige major-kubernetes opdateringsprocedure (for hver 9. måned er en major version af kubernetes EOL :) - at migrere alt til "det ene datacenter" eller til et nyt cluster på samme datacenter - og herunder selvf. migrere data-delen via backup/restore proceduren man har kørende - så man får proceduren automatiseret og anvender den jævnligt.

Hvis man f.ex. laver compute eller memory tunge ting i AWS - så er det 5-10X billigere at køre de jobs i OVH/Hetzner på lejet jern (seriøst) - og endnu billigere i eget datacenter (når man har det i forvejen) - så en sådan multi-location cloud, gør at man kan køre sine services hvor de er billigst at køre i daglig drift, og så skalere ud i skyen, når man ikke lige har fysisk jern på den billigste lokation.

Der er ikke noget af det, der med kubernetes er svært at bygge (og ja - det er blevet nemmere og sjovere at være sysadmin efter kubernetes blev stort - det har givet grobund for meget mere udvikling i rigtig fuld-automatisk high-availability ;)

God historie at hive frem næste gang nogen syntes det er for dyrt at lave en løsning, der kan håndterer Dissaster Recovery

Nu var det her jo i Frankrig, det er anderledes hos os!! (nogen ironi kan forekomme)

Det korte af det lange er at der er en endelig, om end ikke specielt stor mulighed for at dit datacenter bliver ubrugeligt. Du kan så leve med den mulighed - eller etablere en overlevelsesplan, noget som OVHcloud har overladt til sine kunder selv at beslutte og klare, og det står såmænd nok også i kontrakterne.

Man bør i øvrigt være opmærksom på at det samme forhold gør sig gældende ved cloudservices, hvor det er op til kunden at tilpasse sig til basisydelsen, f.eks. ved at have servere i flere regioner eller hvad det nu hedder. Der er også SaaS der tilbyder løsninger, men det er typisk dyrere.

I øvrigt mener jeg at disaster/recovery planer bør udbygges til troværdigt at håndtere massive datatab på tværs af systemer, men med reetablering inden for veldefinerede servicemål. En sådan løsning bør selvfølgelig testes.

Alt hvad der kan gå galt, vil på et eller andet tidspunkt gå galt. Vi kan sandsynligvis bagefter finde ud af "hvad det gik galt" og måske endda hvorfor.

Vi kan langt hen af vejen sikre os mod "uheld" ved at designe systemer godt, bygge dem efter designet og drifte dem som beskrevet i driftsmanualer. Men det viser sig alligevel - gang på gang - at der kan gå noget galt.

God historie at hive frem næste gang nogen syntes det er for dyrt at lave en løsning, der kan håndterer Dissaster Recovery.

For en gangs skyld bogstaveligt talt brandslukning af IT-systemer =)

Spøg til side - man skulle ellers tro, at sådanne datacentre ville have en række brandalarmer, slukningssystemer og indvendige kameraer, med et overvågningsfirma inde over, som kunne tilkalde brandvæsenet, men det virker i det her tilfælde som lidt for stor tiltro?

Måske blev OVHcloud den største leverandør i europa ved at spare alt væk, hvad der kunne "undværes", inkl. (det meste af) ovennævnte?