Det var paradoksalt nok en test af nødstrømsanlæg, der gav Danske Bank et længerevarende nedbrud onsdag den 6. september, hvor bankforretning, Mobilepay, e-mail, sagsbehandlingssystemer, beregningsmodeller og kassebetjening i varierende omfang stod af i omkring 24 timer.
Tests af driftscenteret kort tid før nedbruddet havde ikke formået at afsløre en defekt sikring og batterier.
Det forklarer chef for it-operations hos Danske Bank Bo Svejstrup nu til Version2, efter en måneds analysearbejde:
»Det var en test af vores nødstrømsanlæg, der forårsagede nedbruddet i vores primære datacenter. Det forårsager en kædereaktion af begivenheder, der førte til it-nedbruddet, som påvirkede vores kunder og kolleger. Normalt sikrer det dobbelte nødstrømsanlæg, at driften ikke bryder ned, men vores root cause-analyse viser, at der var fejl i nogle komponenter på hver sin side af det dobbelte nødstrømsanlæg. Ved en række uheldige omstændigheder blev begge ‘trigget‘, og dermed brød systemet ned, og datacenteret gik ud af drift. Det er den korte forklaring,« siger Bo Svejstrup og fortsætter:
»Hvad har vi så gjort siden da? Vi har udskiftet de fejlbehæftede komponenter i nødstrømsanlægget. Derudover har vi udført de her tests igen og sikret, at alt virker, som det skal - at nødstrømsanlæggene ikke fejler.«
I 2015 startede Danske Bank et konsolideringsprogram med det formål at overflytte it-systemerne til to nye datacentre. De er i gang med at blive færdiggjort, og som en konsekvens af nedbruddet har banken fremskyndet overflytningen.
»Det er de overordnede træk i det, som er kommet frem.«
Tidligere tests fandt ikke fejl i sikring og batterier
Hvilke komponenter havde defekter?
»Batterierne på det ene nødstrømsanlæg og en sikring på det andet. Det er det, man kalder ‘mega-uheldigt’.«
Hvordan kan det være, at I ikke opdager de defekte komponenter hver for sig under tidligere tests - de to fejl er vel ikke opstået samme dag?
»Det er en godt spørgsmål. Ikke lang tid i forvejen havde vi lavet en tilsvarende test, og der var der ikke nogen fejl. Den del af analysen foregår stadig.«
Danske Bank fortalte i september, at det tog længere tid end forventet at flytte driften til firmaets backup-mainframe. Mainframe-systemet er det centrale element i datacenteret, som afvikler bankens primære forretningssystemer.
Har I automatisk failover på mainframen?
»Vi har en failover-proces i tilfælde af vores kernesystem, mainframen, står af. Det kræver manuel indgriben, og det er ‘per design’ - det er et valg, vi har taget. Mainframen opførte sig ikke helt, som den skulle. Det har vi også fået rettet, så det ikke sker igen. Der var et netværk i forbindelse med mainframen, der frøs. Det er også en del af den analyse, som endnu ikke er færdiggjort.«
Har I også tidligere testet den manuelle failover-proces?
»Ja, og der har ikke været nogle problemer.«
Frøs netværket på grund af de tidligere problemer med nødstrømsanlæggene?
»Der har været en kædereaktion, og det er det, der har forårsaget, at netværket frøs - det er klart.«
Synes du, at I har testet jeres driftscenter nok før nedbruddet, og har de tests været tilfredsstillende set i lyset af nedbruddet?
»Vi tester vores driftscenter nok - det kan jeg svare klart ‘ja’ på, og vi dokumenterer også vore tests.«
Så det har ikke givet nye overvejelser om andre former for tests?
»Selvfølgelig har det det. Det vil det altid gøre.«
Er mainframe ikke en for gammeldags arkitektur?
»Vi er meget tilfredse og har ikke nogen planer om at skifte den ud.«
...men det er dyrt at lave god journalistik. Derfor beder vi dig overveje at tegne abonnement på Version2.
Digitaliseringen buldrer derudaf, og it-folkene tegner fremtidens Danmark. Derfor er det vigtigere end nogensinde med et kvalificeret bud på, hvordan it bedst kan være med til at udvikle det danske samfund og erhvervsliv.
Og der har aldrig været mere akut brug for en kritisk vagthund, der råber op, når der tages forkerte it-beslutninger.
Den rolle har Version2 indtaget siden 2006 - og det bliver vi ved med.
