Datacenternedbrud fik Københavns Universitet til at kassere forældet beredskabsplan

Da det viste sig, at driftsfolkene ikke brugte beredskabsplanen, besluttede universitetet sig for at få lavet en ny.

Hvem skal gøre hvad, hvis uheldet er ude og universitetets datacenter uventet lukker ned under en skriftlig eksamen? Det skulle en beredskabsplan tage højde for, men i praksis viste det sig, at den plan, der lå klar, ikke stemte overens med virkeligheden.

»Det startede med en række små hændelser, og så havde vi en stor, hvor vores driftscenter gik ned på en varm sommerdag. I situationen var det tydeligt at beredskabsplan ikke var indarbejdet tilstrækkelig i organisationen, og vi arbejdede mere ud fra vores intuition end efter en plan defineret i beredskabsplanen,« fortæller IT Drift og Supportchef Steen Rydicher fra Koncern-it på Københavns Universitet til Version2.

Beredskabsplanen viste sig også at indeholde en række faktuelle fejl som eksempelvis henvisninger til serverrum, som var nedlagt. Hændelserne demonstrerede også, at steder, hvor driftsfolkene forventede, at der var redundans, var der det ikke i praksis.

»På baggrund af hændelsen besluttede vi os for at gennemføre en beredskabsøvelse som skulle vise at systemerne virkede efter et driftscenternedbrud, samt at vi kunne håndtere beredskabet i henhold til vores plan. I forløbet blev det dog klart, at den gamle beredskabsplan ikke var tidssvarende og ikke understøttede den måde, vi arbejder på. Vi ønskede derfor en ny beredskabsplan, som i højere grad var tilpasset vores organisation og vores arbejdsprocesser end at forsøge at tilpasse organisationen til bruge den gamle beredskabsplan,« forklarer Steen Rydicher.

Universitetet satte derfor i samarbejde med konsulentfirmaet Devoteam gang i en proces med at få lavet en ny beredskabsplan, der mere lignede den naturlige måde at arbejde på for driftsorganisationen.

Gennemgangen af den gamle plan viste også, at der var huller, som den ikke dækkede.

»Informationsdelen var meget tyndt beskrevet i den gamle plan. For eksempel, at man ikke kan sende den samme besked til forskellige grupper, men skal sende én besked til de studerende og en anden til rektor. Og så skal man tage højde for noget så banalt, som hvad vi gør, når vores mail er nede som kommunikationskanal,« siger vicedirektør og chef for Koncern-it, Klaus Kvorning Hansen fra Københavns Universitet.

Udarbejdelsen af den nye plan var en længere proces, som tog udgangspunkt i en række eksisterende best practices for området.

»Men de skal tilpasses til organisationen. Konceptmæssigt var det et ægte udviklingsarbejde. Det er ikke noget, man bare sætter sig ned og beskriver, og det er ikke noget, man bare kan tage ned fra hylden,« fortæller Klaus Kvorning Hansen.

Blandt andet var det nødvendigt at gennemgå hele den tekniske opsætning, hvilket også afslørede at det reelle setup flere steder var forskelligt fra it-afdelingens opfattelse af, hvordan det så ud.

Da udkastet til den nye beredskabsplan lå klar, blev det først testet i en skrivebordsøvelse, som også skulle hjælpe driftsfolkene med at lære at bruge planen.

»Vi testede vores adfærd, og den tekniske dygtighed løb næsten af med os, men man kan ikke kompensere for en plan blot ved at være dygtig,« siger Klaus Kvorning Hansen.

Selve beredskabsplanen er ikke et omfangsrigt værk, men nærmere en samling checklister, som samlet udgør cirka 25 sider, hvoraf driftsfolkene højst skal bruge 15 sider.

Planen beskriver blandt andet, hvilke personer der skal mødes, og hvad de skal drøfte, samt køreplaner for de forskellige procedurer.

»Ganske kort efter, vi havde fået den nye plan, havde vi en hændelse, som afslørede nogle nye ting, vi måtte bygge ind,« fortæller Klaus Kvorning Hansen.

Et praktisk eksempel er, at hvis et system er gået ned, og det vigtigste er at få det hurtigt op, så skal fokus udelukkende ligge på at få det op igen. Alle idéer til forbedringer, også selvom de kan gøre systemet mere stabilt, må vente.

For driftsfolkene betyder den nye plan også, at den passer bedre i rollen som et værktøj, de kan bruge.

»Den gamle plan var lavet i sikkerhedssiloen, hvilket er fint, men det er ikke dem, der skal bruge den. En del af processen var, at vi her i driften tog ejerskab for planen,« forklarer Steen Rydicher.

Sikkerhedsfolkene er dog også fortsat involveret, for beredskabsplanen er blot én brik i den samlede struktur, der skal sikre universitetets systemer.

»Beredskabsplanen kan ikke stå alene. Den er en del af apparatet for at undgå at havne i kritiske situationer,« siger Klaus Kvorning Hansen.

Tips og korrekturforslag til denne historie sendes til tip@version2.dk
Kommentarer (2)
sortSortér kommentarer
  • Ældste først
  • Nyeste først
  • Bedste først
#1 Jn Madsen

Denne artikel var nok en oversættelse af:

Ingen eller mangelfuld dokumentation. Ingen chef kunne/ville afse den nødvendige arbejdskraft igennem flere år til at få registreringen up to date.

Hvis tingene bare kører daglig småtings-drift i lang tid,- så glemmer man at afsætte resourcer til at lade folk sætte sig ind i hvordan tingene virkeligt fungerer. Når skidtet så springer i luften,- løber alle rundt som forvirrede høns.

Bagefter betaler man et konsulentfirma til at redde den bagerste legemsdel på chefen. Man må konstatere, at man efter mange års optimering efter de mest moderne ledelses principper -ikke længere har folk med de rette kompetencer til at rette op på det.

Det er set så mange gange før :-) Chefen får en medalje, - han kan henvise hændelsen til et eller andet frækt ord fra hans sidste kursus i "Moderne-agil-ledelse-efter-Jungs-analyser" -- nogle folk længere nede i hierarkiet bliver ristet og alle i ledelsen klapper hinanden på ryggen.

  • 4
  • 0
Log ind eller Opret konto for at kommentere