Danske Bank: Tests fandt ikke defekt sikring og batteri før nedbrud

Test af nødstrøm lagde Danske Bank i knæ i september. »Vi tester vores driftcenter nok,« mener banken.

Det var paradoksalt nok en test af nødstrømsanlæg, der gav Danske Bank et længerevarende nedbrud onsdag den 6. september, hvor bankforretning, Mobilepay, e-mail, sagsbehandlingssystemer, beregningsmodeller og kassebetjening i varierende omfang stod af i omkring 24 timer.

Tests af driftscenteret kort tid før nedbruddet havde ikke formået at afsløre en defekt sikring og batterier.

Det forklarer chef for it-operations hos Danske Bank Bo Svejstrup nu til Version2, efter en måneds analysearbejde:

»Det var en test af vores nødstrømsanlæg, der forårsagede nedbruddet i vores primære datacenter. Det forårsager en kædereaktion af begivenheder, der førte til it-nedbruddet, som påvirkede vores kunder og kolleger. Normalt sikrer det dobbelte nødstrømsanlæg, at driften ikke bryder ned, men vores root cause-analyse viser, at der var fejl i nogle komponenter på hver sin side af det dobbelte nødstrømsanlæg. Ved en række uheldige omstændigheder blev begge ‘trigget‘, og dermed brød systemet ned, og datacenteret gik ud af drift. Det er den korte forklaring,« siger Bo Svejstrup og fortsætter:

»Hvad har vi så gjort siden da? Vi har udskiftet de fejlbehæftede komponenter i nødstrømsanlægget. Derudover har vi udført de her tests igen og sikret, at alt virker, som det skal - at nødstrømsanlæggene ikke fejler.«

I 2015 startede Danske Bank et konsolideringsprogram med det formål at overflytte it-systemerne til to nye datacentre. De er i gang med at blive færdiggjort, og som en konsekvens af nedbruddet har banken fremskyndet overflytningen.

»Det er de overordnede træk i det, som er kommet frem.«

Tidligere tests fandt ikke fejl i sikring og batterier

Hvilke komponenter havde defekter?

»Batterierne på det ene nødstrømsanlæg og en sikring på det andet. Det er det, man kalder ‘mega-uheldigt’.«

Hvordan kan det være, at I ikke opdager de defekte komponenter hver for sig under tidligere tests - de to fejl er vel ikke opstået samme dag?

»Det er en godt spørgsmål. Ikke lang tid i forvejen havde vi lavet en tilsvarende test, og der var der ikke nogen fejl. Den del af analysen foregår stadig.«

Danske Bank fortalte i september, at det tog længere tid end forventet at flytte driften til firmaets backup-mainframe. Mainframe-systemet er det centrale element i datacenteret, som afvikler bankens primære forretningssystemer.

Har I automatisk failover på mainframen?

»Vi har en failover-proces i tilfælde af vores kernesystem, mainframen, står af. Det kræver manuel indgriben, og det er ‘per design’ - det er et valg, vi har taget. Mainframen opførte sig ikke helt, som den skulle. Det har vi også fået rettet, så det ikke sker igen. Der var et netværk i forbindelse med mainframen, der frøs. Det er også en del af den analyse, som endnu ikke er færdiggjort.«

Har I også tidligere testet den manuelle failover-proces?

»Ja, og der har ikke været nogle problemer.«

Frøs netværket på grund af de tidligere problemer med nødstrømsanlæggene?

»Der har været en kædereaktion, og det er det, der har forårsaget, at netværket frøs - det er klart.«

Synes du, at I har testet jeres driftscenter nok før nedbruddet, og har de tests været tilfredsstillende set i lyset af nedbruddet?

»Vi tester vores driftscenter nok - det kan jeg svare klart ‘ja’ på, og vi dokumenterer også vore tests.«

Så det har ikke givet nye overvejelser om andre former for tests?

»Selvfølgelig har det det. Det vil det altid gøre.«

Er mainframe ikke en for gammeldags arkitektur?

»Vi er meget tilfredse og har ikke nogen planer om at skifte den ud.«

Tips og korrekturforslag til denne historie sendes til tip@version2.dk
Følg forløbet
Kommentarer (5)
sortSortér kommentarer
  • Ældste først
  • Nyeste først
  • Bedste først
Michael Rask Christensen

"Er mainframe ikke en for gammeldags arkitektur?"

-- Det er en speciel arkitektur, men ikke nødvendigvis gammeldags (nogenlunde lige så gammel som TCP/IP og HTML).

Underligt at det spørgsmål kommer op hver gang. Skyldes det at Versiuon2 er befolket af journalister og ikke IT-specialister?

  • 10
  • 3
Lars Lundin

"Det er en speciel arkitektur, men ikke nødvendigvis gammeldags"

Nye mainframes laves kun i relativt små og derfor dyre styktal, fordi netop banker har noget meget gammel kode de ikke kan portere til nyere (og billigere) arkitekturer.

Så selvom spørgsmålet måske ikke var helt præcist formuleret, så kan der være god grund til at spørge til bankernes IT-strategi.

  • 1
  • 4
Morten Fordsmand

Betyder det ikke at de ikke afvikler en meget stor del af transaktionerne.

Ud fra mine egne erfaringer kan jeg ikke afvise at det er en hel del billigere at køre sin forretning på en rigtig computer (altså en mainframe med zOS) i forhold unix/linux/windows/....

Også alt den stund at mainframe har nogen fordele omkring datakonsistens i tilfælde af nedbrud som kan være svære at slå.

  • 5
  • 0
Log ind eller Opret konto for at kommentere