Derfor kom lønnen for sent ind: Nordea havde ikke nok serverkapacitet

En it-fejl hos Nets satte en snebold i gang, der udviklede sig til en lavine og udløste flere uforudsete it-problemer hos både Danske Bank og Nordea, der endte med at forsinke tusindvis af lønoverførsler.

For nogle blev lønnen blot forsinket et par timer. Andre måtte vente fire dage, før pengene stod på kontoen.

Forsinkelsen af lønoverførslerne i sidste uge, der især ramte Nordeas kunder, har været heftigt beskrevet i medierne som ‘it-problemer’ eller ‘teknikbøvl’. I sagens natur var det dog en smule mere indviklet end som så.

Læs også: Netværksproblemer hos Nets forsinker lønudbetalinger og stresser netbank

Det hele begyndte natten til torsdag 30. april, hvor Nets oplevede nogle problemer med forbindelsen til to af firmaets datacentraler. Problemerne udløste en kaskade af it-relaterede problemer i bankerne, som endte med at lægge både netbanker og MobilePay ned samt forsinke lønudbetalinger og andre overførsler. I alt blev omkring 50.000 overførsler, der skulle have været gennemført torsdag, forsinket til mandag ifølge Nordea. Det er dog kun en del af dem, hvor der er tale om lønoverførsler.

»Der opstod en fejl i nat, hvor der gik noget galt i kommunikationen mellem nogle datacentre og os. Det blev løst hurtigt, men gav nogle forsinkelser, så bankerne modtog overførslerne senere end normalt,« sagde talsmand for Nets Ulrik Marschall torsdag til Version2.

Nets er med til at administrere bankernes infrastruktur i Danmark, og de clearer alle overførslerne mellem bankerne. Da torsdag samtidig var lønningsdag, betød forsinkelsen, at de fleste danskere oplevede, at lønnen først kom ind på kontoen et par timer senere end normalt.

Men det var kun begyndelsen.

Lavine-effekt druknede it-systemer hos Nordea

De få timers forsinkelse betød, at presset på bankernes systemer steg, da de skulle håndtere flere overførsler samtidig. Og ud over, at det var lønningsdag med mange overførsler, ramte uheldet også lige en af de fire dage om året, hvor opsigelsesfristen for realkreditlånene faldt. I en periode med ekstra lave renter på boliglånene var der mange, der benyttede sig af muligheden for at skifte lån. Med andre ord var der ekstra pres på systemerne den dag ifølge Nordeas bankdirektør, Torben Laustsen.

»Forsinkelsen hos Nets indebar, at vi først kunne køre nattens batch-kørsel inden for åbningstiden, og det beslaglagde ekstra kapacitet hos os. Hovedproblemet for os var, at vi havde utilstrækkelig kapacitet til en helt ekstrem dag, som var præget af de her begivenheder sidst på måneden,« siger bankdirektøren for Nordea til Version2.

Han indrømmer, at banken - der i øvrigt er en af Nordens største banker med 11 mio. kunder - ikke havde forudset, hvor meget serverkapacitet der skulle til at håndtere presset fra blandt andet de mange kunder, der forsøgte at logge på. Dermed blev en lang række overførsler forsinket yderligere torsdag, og de nåede således ikke at blive gennemført før den næste bankdag fire dage senere, mandag 4. maj.

»Vi har undervurderet behovet til vores kapacitet. Vi skal have tilført mere kapacitet, så vi ikke bliver slået ud i en tilsvarende situation i fremtiden,« siger han.

Nyheden om de forsinkede lønoverførsler blev beskrevet i medierne i løbet af morgenen og fik endnu flere til at logge sig på netbankerne for at tjekke, om deres løn var gået ind. Og det påvirkede systemerne yderligere, fortæller bankdirektøren.

»Det har en selvforstærkende effekt, fordi kunderne finder ud af det og går oftere ind i netbank og tjekker, om det er kommet på plads. Så begyndte systemerne at køre langsomt, og der kom timeouts af kort varighed,« siger Torben Laustsen.

Til sidst var det umuligt at logge på netbanken. Og presset havde ikke kun lagt netbanken ned, men også ramt de systemer, der stod for overførsler af blandt andet lønnen.

»Der er nogle clearing-kørsler mellem pengeinstitutterne, hvor der er frister på. Vi nåede ikke at få kørt alle transaktionerne på plads til den sidste clearing kl. 14, og når der så er tre fridage, så kom de sidste overførsler først på plads natten til mandag,« siger Torben Laustsen.

Men hvordan kan det være, at det øgede pres på netbanken også kunne forsinke lønudbetalingerne?

»Systemerne tager af den samlede kapacitet, der er. Det er helt forskellige systemer, men de bruger alle af den samme kapacitet,« forklarer Torben Laustsen, der nu vil til at se på en løsning af problemet.

Han ser dog ikke en kø-løsning, som den Skat også benytter sig af i spidsbelastedningsperioder, som en løsning. Køen aflaster systemerne, når mange forsøger at logge på i samme omgang, og lader folk vente i kø til at logge ind, ligesom når man trækker et nummer på posthuset.

»Det er ikke optimalt at lade folk vente i kø. Vi skal have opgraderet kapaciteten og have forebygget det her allerede ved næste månedsskift,« siger han.

Nordea står allerede foran at skulle opgradere sine it-systemer for 5,7 mia. kr.

Læs også: Totalrenovering til 5,7 milliarder skal forny Nordeas it-platform

Rod i trafikfordeleren hos Danske Bank

Mens Nordea døjede med for lidt kapacitet til at håndtere forsinkelserne hos Nets, udløste nattens uheld også en fejl i systemerne hos Danske Bank.

Kunderne oplevede blandt andet, hvordan det var umuligt at logge på netbank og bruge MobilePay til at overføre penge i løbet af torsdagen.

Banken, der kører systemerne på en mainframe, fortæller, at det modsat Nordea ikke havde noget at gøre med manglende serverkapacitet. Men den øgede trafik fra alle bankens kunder, der forsøgte at logge på, skabte alligevel et uforudset problem for banken.

»Egentlig havde vi kapacitet nok, men vi fik bare ikke fordelt den på den rigtige måde,« siger vicedirektør for it, infrastruktur og drift i Danske Bank Jan Steen Olsen. Han fortæller, at der var tale om en fejl i bankens netværkssetup, som den først opdagede, da systemerne var højt belastede.

»På grund af fejlene hos Nets og Nordea loggede mange kunder ind på netbanken for at se, om ‘det også gælder mig’. Normalt bliver trafikken fordelt fornuftigt mellem de forskellige servere, men der skete så en fejl under den høje belastning, hvor trafikken ikke blev fordelt ordentligt,« siger han.

Resultatet var, at bankens online-tjenester bukkede under. Selve lønoverførslerne blev dog ikke påvirket på samme måde af spidsbelastningen som hos Nordea ifølge vicedirektøren.

»Login og overførsler påvirker ikke hinanden. Systemerne er sat op, så de ikke påvirker hinanden,« siger han.

Nogle overførsler blev dog også forsinket til mandag hos Danske Bank, men det skyldtes ifølge vicedirektøren, at de gik igennem Nordea.

Tavshed om fejl fra Nets

På trods af åbenheden om fejlene hos Nordea og Danske Bank, er der ikke meget at blive klogere på fra Nets’ udmeldinger om de første forsinkelser natten til torsdag.

Forklaringen lyder indtil videre på ‘en fejl i kommunikationen mellem Nets og datacentralerne’, og virksomheden er nu ifølge eget udsagn ved at undersøge hændelsen nærmere og kan derfor ikke udtale sig nærmere om årsagen.

Det er dog ikke første gang, at it-fejl hos Nets har forsinket bankoverførslerne.

Den 31. oktober 2014 skete der også en forsinkelse af batchkørslerne hos Nets om natten, hvilket fremskød bankoverførslerne med nogle timer.

Læs også: Fejl hos Nets forsinkede lønudbetalinger

Dengang måtte forklaringen også vente:

»Vi har som procedure, at tingene skal analyseres til bunds, så vi kan lære af fejlen og undgå, at det sker igen. Før den proces er færdig, kan jeg ikke udtale mig,« sagde pressemedarbejder Michael Juul Rugaard hos Nets dengang til Version2.

Da det ikke var muligt at få en nærmere forklaring på den seneste fejl torsdag, spurgte Version2 derfor, om det i det mindste nu kunne lade sig gøre at få at vide, hvad der var skyld i problemet for et halvt år siden. Det kunne det ikke.

»Fejlene i efteråret var ikke de samme fejl som sidste uge. Men vi offentliggør ikke resultatet af de interne undersøgelser,« siger Ulrik Marschall fra Nets.

Nordea: Vi kompenserer for kunders tab

De kunder, som blev ramt af de seneste nedbrud og fik deres løn for sent overført, vil blive kompenseret, lover Nordea.

Kunderne kan tage kontakt til banken, hvis forsinkelsen har gjort det umuligt at betale regningerne til tiden, så der er kommet rykkergebyrer. Banken lover at erstatte disse ekstraudgifter.

Og for dem, der bekymrer sig om overtræksgebyrer og høje renter, hvis kontoen er gået i negativ, eller tabte indlånsrenter (hvor lave de end måtte være), er der ikke noget at frygte, lover Nordeas bankdirektør, Torben Laustsen.

Selvom pengene først er kommet ind på kontoen mandag, vil de stadig optræde, som om de allerede stod på kontoen torsdag, og kunderne vil derfor ikke blive opkrævet ekstra renter i tilfælde af overtræk.

Tips og korrekturforslag til denne historie sendes til tip@version2.dk
Følg forløbet
Kommentarer (10)
sortSortér kommentarer
  • Ældste først
  • Nyeste først
  • Bedste først
Jesper Tholstrup

Jeg synes efterhånden at der ret ofte er problemer med udbetaling af løn (eller lignende bankforretninger). Gad vide om vi har formået at gøre processen for kompliceret.

Det kan naturligvis også bare være mig der er begyndt at lægge mærke til episoderne.

  • 6
  • 0
Claus Mattsson

Fordi man samler forretningen, så er det ikke ensbetydende med at man samtidig introducere single-point-of-failure.

BECs banker har f.eks. ikke haft problemer med den sene NETs clearing. Så vidt jeg ved, så har hver enkelt kunde sin egen fysiske infrastruktur. Hostet enten hos dem selv eller hos BEC.

Infrastruktur er kun en del af 'pakken'...

  • 1
  • 2
Henning Wangerin

Dermed blev en lang række overførsler forsinket yderligere torsdag, og de nåede således ikke at blive gennemført før den næste bankdag fire dage senere, mandag 4. maj.

Og hvorfor slader de den så ikke køre på nogle af fridagene?

Ale andre steder hvor arbejdet ikke kan laves til tiden, bliver folk pålagt overarbejde i den ene eller anden form. Hvorfor ikke hos Nets?

Jeg må sige at min tillid til de danske banker efterhånden ikke kun er lav, men er ved at være helt væk.

  • 5
  • 0
Martin Dyring-Andersen

Aaarh. Nu er det ikke fordi at jeg personligt elsker at betale renter, men man har jo også glæde af de lånte penge over weekenden/på helligdage, selvom banken holder lukket. På samme måde modtager du også renter på dine indeståender alle kalenderdage.

Men clearing er jo også en anden sag end renter. Lidt mere om clearing ml. bankerne nedenfor til de læse lystne:

http://www.nationalbanken.dk/da/bankogbetalinger/detailbetalinger/Sider/...

Kogt ned sker de fleste overførsler i vinduer for at man kun skal overføre netto beløbet og derved minimerer modpart risici.

Se evt. "how it works" i denne artikel om CLS (som bruges til valuta clearing men samme ide):

https://en.wikipedia.org/wiki/CLS_Group

  • 4
  • 1
Christian Nobel

På samme måde modtager du også renter på dine indeståender alle kalenderdage.

Nåeh ja, og hvordan er det efterhånden lige med indlånsrenten:

Jeg låner banken penge - rente 0% (nogen steder negativ).

Banken låner mig penge - rente 10-15%

Rentemarginalen er eksploderet siden bankerne fik ført samfundet ud i krise med deres pyramidespil.

  • 5
  • 2
Log ind eller Opret konto for at kommentere