Fejlen fundet: Firewall lammede Berlingske-netmedier i 5 timer

Endnu et nedbrud ramte tirsdag Berlingske Media, og denne gang ramte fejlen samtlige netmedier i koncernen, cirka 70 forskellige websider i alt, hvor en DNS-fejl fredag i sidste uge kun gik ud over b.dk og business.dk.

Tirsdag morgen gik en firewall placeret hos Berlingskes hosting-leverandør Colt nemlig i selvsving, og det spærrede reelt for adgangen til samtlige websider i over fem timer.

»Det var en fejl i firewallen, og den var svær at finde. Vi var nede fra 9.40 til cirka 15. Nogle sider var oppe i måske 20 minutter undervejs, men det var sporadisk,« forklarer Jesper Vosgerau, it-driftsdirektør hos Berlingske Media, til Version2.

Det tog lang tid at få indkredset fejlen, fordi mistanken rettede sig mod helt andre problemer, fortæller han.

»Vores leverandør HCL fik forskellige meldinger fra TDC og Colt, og vi brugte meget tid på at kigge i andre retninger end firewallen. Det så ud som en overbelastning, og derfor troede vi en overgang, at der var et DDoS-angreb i gang mod os. Vi tænkte også, at det kunne være et virusangreb indefra, der gav overbelastning, med alle de zero-day-exploits, der er i omløb lige nu,« siger Jesper Vosgerau.

Den lange opklaringstid, og dermed lange nedetid for samtlige digitale platforme, skal helst ikke gentage sig, lyder det fra driftsdirektøren.

»Vi taler meget med vores leverandør nu om, hvordan man fremover kan opdage den slags fejl hurtigere. Vi skal have en bedre proces til at få isoleret fejlen, for det tog meget lang tid, før root cause var fundet,« siger Jesper Vosgerau.

Torsdag morgen var der i øvrigt stadigt problemer med firewallen, melder han.

DNS-opdatering gik helt galt

Udover en ikke-it-relateret strømafbrydelse, der ramte Berlingskes hovedkvarter i Pilestræde det meste af torsdag dag i sidste uge, måtte it-folkene fredag slås med en fejl i DNS-opsætningen, som spærrede for adgang til netaviserne b.dk og business.dk i halvanden time.

Det var en rutinemæssig ændring i DNS-opsætningen, der her gik galt hos leverandøren HCL.

»Vi havde bedt om en ændring i DNS hos vores leverandør. Den ændring laver HCL, men de får også overskrevet alle DNS-opslag for b.dk og business.dk samtidigt, ved en fejl. Det skulle vi så have reetableret, og det tog en times tid at få backup’en gjort klar,« forklarer Jesper Vosgerau.

Episoden har fået den konsekvens, at DNS-ændringer nu er flyttet til en mere kritisk kategori i Berlingskes change management-politik. Mere konkret betyder det, at der fremover er et kontrolled mere, når der skal arbejdes med DNS-databasen.

Indiske HCL overtog i sommers hele it-driften hos Berlingske Media, en opgave som CSC tidligere løste for koncernen. Men trods de to nedbrud inden for kort tid er driftsdirektøren ikke utilfreds med HCL.

»Der kan godt ske forbedringer, men processerne er blevet overholdt hele vejen, og det er for mig at se det vigtigste,« siger han.

Der skal også være plads til, at en ny leverandør bliver fortrolig med alle systemerne, forklarer han.

»Vi har kun haft HCL som leverandør i et halvt års tid, så om end det kan blive meget bedre, så går det okay nu. Leverandøren skal lige have systemerne ind under huden, og det går fremad. Jeg er sikker på, at hvis du spørger mig igen om et halvt år, så går det meget bedre,« lyder det fra Jesper Vosgerau.