Leverandørfejl slukkede for sundhed.dk: Glemte at tænde for strømmen

Men hvordan tjekker man egentlig, at kablerne ikke krydser?

Man har forskellige underleverandører på kablerne, man beder om tegninger der viser forløbet, man sikrer at entrypoint i datacentre er forskellige, etc. Detaljerne var jeg ikke del af. Men hele ideen er at sikre sig at der ikke er noget single point of failure. I tilfældet sundhed.dk så var on/off knappen (eller strømkablet) single point of failure - det er den historie vi har fået. Det lyder helt tåbeligt.

Hvis noget er vigtigt så skal man. Jeg husker en situation hvor vi tjekkede hvordan kabler mellem 2 datacentre forløb sådan at vi var sikre på at de ikke krydsede hinanden nogen steder. Det var ikke vores kabler men en service fra en underleverandør. Men det var vigtigt for os at der var 100% redundans.

Men hvordan tjekker man egentlig, at kablerne ikke krydser?

Hvis man ringer efter en elektriker, så vil man uden videre gå ud fra, at der kommer en uddannet elektriker. Man plejer ikke (jeg plejer ikke) kræve at se uddannelsesbevis eller hvad det nu hedder. Hvis noget bliver lavet forkert og det fører til en ulykke, så er det ikke mit ansvar. Med mindre jeg har ringet til en gammel ven, der sætter bøjede søm i sikringsholderne og derfor har styr på tingene.

Noget lignende bør gælde for offentlige instanser og mere eller mindre private. Hvis man har givet en opgave til en, der er kvalificeret (eller hævder at være det), så må man have gjort sit. Ellers vil man altid skulle have folk i huset.

Til daglige opgaver er det fint at have folk i huset, men der må være grænser.

Jeg går stærkt ud fra, at DXC taler med store bogstaver til deres underleverandør.

Her skulle stå en anekdote om Civilforsvaret, men den dropper jeg.

Men hvis vi begynder at sige, at myndighederne ikke på noget tidspunkt kan begrunde en fejl med en leverandørs forkerte handlinger, så underbygger vi nulfejlskulturen, og underbygger ekstremt omfattende kontrakter som udelukker de små spillere fra at kunne deltage i offentlig it.

Det offentlige og andre skal vurdere kritikaliteten af hvert enkelt system. Hvis noget er tilstrækkeligt kritisk så er man nødt til at gå efter nul fejl eller tilstrækkelig redundans. Det er uagtet om de ansatte eller underleverandøren.

Men det ændrer ingenting. For mig som bruger er det ligegyldigt om det er direktøren, udvikleren, rengøringsdamen, underleverandøren, under-underleverandøren der har fejlet. Når det rapporteres som det sker her så lyder det som ansvarsforflygtigelse.

Det er ikke sundt hvis en myndighed skal finde og definere samtlige fejlsituationer, opstille krav omkring dem, og gennemgå afrapporteringer fra leverandøren på månedlig basis. Myndigheden kan selvfølgelig kun tage ansvar for alle situationer hvis de i kontrakten har taget stilling til de situationer.

Hvis noget er vigtigt så skal man. Jeg husker en situation hvor vi tjekkede hvordan kabler mellem 2 datacentre forløb sådan at vi var sikre på at de ikke krydsede hinanden nogen steder. Det var ikke vores kabler men en service fra en underleverandør. Men det var vigtigt for os at der var 100% redundans.

Under alle omstændigheder er man nødt til at analysere alle overordnede fejlscenarier. At nogen ikke tænder for serveren kan sandsynligvis håndteres på samme måde som når serveren er død. Løsningen er at have automatisk failover til et andet datacenter.

Hvor mange andre steder i vores vitale infrastruktur ser det ligesådan ud - hvis nedbruddets varighed skyldtes, at supporten holdt weekend?

Jeg har da også privat bemærket, at alle net-nedbrud, strømnedbrud, varmeforsyning og vand, der forsvinder fra hanerne, meget ofte sker fredag eftermiddag... eller i weekenden..

Minder mig om Glistrups gamle forslag om, at forsvaret skulle udskiftes med en tlefonsvarer, der sagde, "Vi overgiver os, vi overgiver os, vi overgiver os..."

Måske man skulle overveje om det er besparelsen værd, ikke at have et par folk siddende i “on location”

Konstant at have en person siddende ville kræve midst 4 personer i rotation.

Det er sparet væk af CEO'en for længst

Boden er mindre end deres løn.

Lyder som om supporteren havde “trukket stikket” et par timer. Ha ha, den var næsten for oplagt… Men lyder jo næsten som samme problem som Facebook nedbruddet for nogle måneder siden; der er stort set ikke folk fysisk til stede på driftscentrene. Og de skal så først rykke ud fysisk for den slags. Måske man skulle overveje om det er besparelsen værd, ikke at have et par folk siddende i “on location”

Har jeg forstået det rigtigt, at denne begivenhed varede nogle timer? I I givet fald undrer jeg mig over dette:"Og nu viser det sig, at forrige weekends nedbrud skyldtes, at en underleverandør simpelthen havde glemt at tilslutte et strømkabel."

Som absolut ikke-fagmand undrer jeg mig over, at det ikke kan fejlfindes og overstås på ganske kort tid.

Er det ligesom med større strømnedbrud, at systemet skal genstartes ganske langsomt i etaper?

Eller var der ingen "support-backup" på arbejde i weekenden til denne kritiske indfrastruktur?

For os borgere er det kun sundhed.dk der skal stå til ansvar.

For os borgere er det helt ligegyldigt, om det var en stikkontakt, et overgrebet fiberkabel, en mår i rack'et eller en ondsindet hacker som lagde systemet ned, helt enig - systemet var nede uanset.

Men hvis vi begynder at sige, at myndighederne ikke på noget tidspunkt kan begrunde en fejl med en leverandørs forkerte handlinger, så underbygger vi nulfejlskulturen, og underbygger ekstremt omfattende kontrakter som udelukker de små spillere fra at kunne deltage i offentlig it.

Det er ikke sundt hvis en myndighed skal finde og definere samtlige fejlsituationer, opstille krav omkring dem, og gennemgå afrapporteringer fra leverandøren på månedlig basis. Myndigheden kan selvfølgelig kun tage ansvar for alle situationer hvis de i kontrakten har taget stilling til de situationer.

skal der slet ikke være noget som hedder "leverandøransvar"?

Så hvor store kontrakter med hvor mange krav skal man til at udfærdige? Og skal der slet ikke være noget som hedder "leverandøransvar"?

... nåh ok, så er alting jo fint. Nej, selvfølgeligt er det ikke fint. For mig som borger er det flintrende ligegyldigt om det er direktøren for sundhed.dk der har glemt at tænde eller om det er en leverandør. Det er sundhed.dk (eller en eller anden indkøbsfunktion hos staten) der har valgt leverandøren. Så må de også stå på mål for leverandørens fejl. Det er ikke acceptabelt at de blot får fripas.

Det er da virkelig en dårlig service.