Bluegarden efter løn-nedbrud: Vores failover-system var også ramt

Både det normale it-setup og det ekstra, spejlede backup-system var ramt af fejl, og derfor blev problemerne så store, forklarer Bluegarden. 15.000 danskere risikerer stadig at få løn for sent.

Først gik det primære system ned med en diskfejl, og så svigtede backup-løsningen, et fuldt spejlet sekundært system, og kunne kun køre med halv kraft.

Sådan forklarer Bluegarden, som tidligere hed Multidata, de store driftsproblemer, som ramte firmaets Dataløn-løsning mandag og tirsdag.

Læs også: Diskfejl kan forsinke lønudbetaling til 750.000 danskere

»Vi har selvfølgelig backup og resilience, så vi kan svinge over på identisk udstyr, en fuld spejling af vores primære site. Men det viste sig, at den kun kan køre på halv kapacitet. Vi ved endnu ikke, hvad fejlen på vores sekundære site var,« forklarer Per Hviid, it- og driftschef hos Bluegarden, til Version2.

Det primære system, som stod helt af, gik ned på grund af en diskfejl i en server til kapacitetsudjævning. Og netop fordi Bluegarden har et fuldt redundant setup, har man ikke også alle reservedele liggende klar til systemerne, forklarer han.

»Det var en speciel disk, som man ikke bare lige køber i Elgiganten, som så også først skulle konfigureres rigtigt af leverandøren,« siger Per Hviid.

Læs også: Lønnen er reddet - Bluegarden har fået ny disk hjem

Problemerne opstod mandag, og tirsdag klokken 17.30 var det primære system klar igen, mens backup-systemet blev klar natten til onsdag. Nu kører alt med normal kapacitet igen.

»Krisen er afblæst, og vi kan se, at vi har normal drift. 4.000 kunder havde været logget på inden klokken 10, og det har ikke belastet systemet. Det er usædvanligt mange, for kunderne har nok villet ind og tjekke status på det løn, de har indberettet, og det forstår jeg godt,« siger han.

En time efter systemerne var i luften igen tirsdag eftermiddag, fik alle kunder besked, og åbningstiden blev udvidet til klokken 21 for at indberette løn, hvis man skulle nå at få pengene ud på lønmodtagernes konti fredag.

Det var ikke alle, der nåede det, vurderer Per Hviid, ud fra en sammenligning med, hvor mange af kunderne der normalt melder løn ind til den deadline.

»Som udgangspunkt vil dem, der ikke nåede det til cutoff klokken 21 tirsdag aften, først på lønnen ind på mandag i stedet for fredag. Det drejer sig skønsmæssigt om 1.000 firmaer med 15.000 lønmodtagere. Men de kan henvende sig til kundeservice, og så kan vi prøve at hjælpe dem med at nå det til fredag med en mere manuel proces, der er mere besværlig,« siger Per Hviid.

Bluegarden driver ikke selv it-systemerne, som er outsourcet til Nets, og sammen med leverandøren har man vurderet, at det var for risikabelt at prøve at køre alle igennem automatisk efter tirsdag aften for at prøve at nå fredags-udbetalingen, da fredag er sidste hverdag i september måned.

Nu venter en opklaring af, hvad der førte til fejlene, og en vurdering af, hvordan de kan undgås fremover.

»Vi har nu et ordentligt detektivarbejde foran os. Det er helt standard, når man har haft en alvorlig driftssituation, med en nøje gennemgang af både systemets setup, vores procedurer og kommunikationen med kunderne,« siger it-chefen.

Derudover var de to samtidige fejl på en af årets travleste dage et tydeligt bevis på, at driftsstabilitet er uhyre vigtigt for et firma som Bluegarden.

»Det giver en dyb respekt for, at vi er i en business, hvor rigtig mange danskere er afhængige af, at vores systemer kører stabilt, fordi vi udbetaler deres løn,« siger Per Hviid.

Bluegarden har cirka 70.000 kunder og står for udbetaling af løn til i alt 750.000 danskere.

Tips og korrekturforslag til denne historie sendes til tip@version2.dk
Kommentarer (3)
sortSortér kommentarer
  • Ældste først
  • Nyeste først
  • Bedste først
#1 Johan S. Larsen

Er der nogen der kan fortælle mig hvad det kan være af specialdisk som de har siddende i deres setup? Bare et bud på det?

Og iøvrigt synes jeg ikke at deres setup virker så godt gennemtænkt. Hvis man har fail-over (det er jo et must på et setup som deres) så forstår jeg ikke hvorfor man ikke har en reservedisk som straks kan erstattes i det primære, istedet for at køre sekundært og vente på en disk.

  • 2
  • 0
Log ind eller Opret konto for at kommentere