Silkeborg: Sådan slettede vi vores intranet

Da servere skulle flyttes fra en gammel til en ny storage-løsning, blev alt på det nye SAN overskrevet. Og der var ingen backup af intranettet. Silkeborg Kommunes it-chef fortæller, hvordan det gik så galt.

To store fejl på én gang. Sådan lyder den korte version af, hvad der skete i Silkeborg Kommune, da hele intranettet i sidste uge forsvandt og ikke kunne genskabes.

I løbet af forrige weekend skulle et gammelt SAN udfases og alt indhold kopieres over på den nye storage-løsning. Det nye SAN havde været i drift et års tid, og rummede blandt andet intranettet. Men ved kopieringen af indholdet fra det gamle SAN gik det galt.

»På grund af en forkert LUN-tildeling kopierer man oven i det, der lå i drift på den nye SAN. Altså ligesom hvis man skriver til en forkert partition på en harddisk,« forklarer Henrik Willumsen, it-chef i Silkeborg Kommune.

Dermed blev alt indholdet på den nye SAN udraderet, og it-folkene kastede sig over backup'en for at genskabe indholdet. Her ventede endnu en overraskelse: Der var ikke blevet taget backup af intranettet, efter at der var blevet installeret et nyt intranet på en ny platform.

»Dengang vi opgraderede intranettet, triggede det ikke, at vi ændrede vores backup tilsvarende,« siger Henrik Willumsen.

Før overflytningen af serverne fra gammel til ny SAN gik i gang, havde it-folkene ellers tjekket, at alt var en del af backup-rutinen. Men kun i forhold til de data og programmer, der skulle flyttes.

»Der var helt styr på det, der skal flyttes, men så får man overskrevet det, man ikke regnede med at røre. Det retfærdiggør selvfølgelig ikke, at der ikke var taget backup, men det er derfor, at det udefra ser fuldstændigt tåbeligt ud,« siger it-chefen.

Episoden har i første omgang ført til, at procedurerne for flytning af servere er blevet strammet op, ligesom backup-rutinerne nu skal ses efter i sømmene. Men der har ikke været konsekvenser for de medarbejdere, der var involveret.

En it-chefs mareridt
Udover at det har været nogle hektiske dage, har Henrik Willumsen måtte høre på mange sjove bemærkninger fra andre it-folk.

»Der en del af mine venlige kolleger andre steder, der ringer og med slet skjult humor prikker lidt til det. Der er jo ingen, der vil være i min stol. Ingen drømmer om, at sådan noget nogensinde sker. Det er jo enhver it-chefs mareridt,« siger han.

Nu handler det om at genskabe intranettet så hurtigt som muligt. Løsningen fra Intranote blev installeret igen og var oppe at køre mandag, altså en uge efter at intranettet forsvandt, og siden har der været travlt med at tilføje alt det indhold, der lå. Ifølge slagplanen vil intranettet være oppe på stort set fuld kraft om 4-7 uger.

Og det er ikke kun telefonbogs-opslag og andre småting, intranettet blev brugt til i kommunen. It-afdelingen selv havde for eksempel droppet alle emails om driftsstatus og planlagt nedetid og kommunikerede det kun via intranettet ? for at stimulere brugen hos resten af de ansatte.

»Vores personaleafdeling har også gjort flittigt brug af intranettet og har haft alle blanketter tilgængelige ad den vej, så de er selvfølgelig meget hæmmede af, at de ikke har samme platform til rådighed lige nu,« siger Henrik Willumsen.

Tips og korrekturforslag til denne historie sendes til tip@version2.dk
Kommentarer (3)
sortSortér kommentarer
  • Ældste først
  • Nyeste først
  • Bedste først
#1 Jens Jakob Andersen

Av, sikken en historie, men sådan er IT jo, rækken af skjulte fejl som venter på at ramme i fællesskab er mange.

Dagens spørgsmål: Hvor mange laver jævnligt restore-test?

Altså, tjekker (på Q-test, ikke Prod) om de er istand til at etablere et kørende backup'en?

Historisk erfaring viser at mange er blevet grimt skuffet når backup'en endelig skulle i brug, og den ikke kunne restore's...........

Ideen hermed givet videre.

  • 0
  • 0
#2 Jesper Louis Andersen

Ikke nogen dårlig ide. Problemet er som regel at virksomhederne begår den fejl at de ikke vælger løsninger efter deres simplicitet mht. genskabelse fra backup. Dermed bliver det at foretage backup en arbejdskrævende fornøjelse og så nedprioriteres det kraftigt fordi andre ting er mere presserende på kort sigt.

Det kan betale sig at kigge på hvorledes et system gemmer sine data og hvor nemt det er (på sikker atomisk vis) at foretage en backup af disse data.

Jeg er UNIX-geek, så jeg kan bedst lide når data kan bringes på et simpelt format som jeg kan håndmanipulere om nødvendigt. Hvis det ikke er tilfældet, så er jeg altid skeptisk.

  • 0
  • 0
#3 Anonym

Historisk erfaring viser at mange er blevet grimt skuffet når backup'en endelig skulle i brug, og den ikke kunne restore's

Ja, og derfor bør man altid lave mindst 2 (ekstra) backup'er inden man foretager sådanne operationer.

(Hvad der evt. smutter fra den ene restore, kan som regel findes i den anden).

  • 0
  • 0
Log ind eller Opret konto for at kommentere