Hillerød i kæmpe-nedbrud: Driftvagt og spejling sparet væk

De ansatte i Hillerød Kommune har i øjeblikket store vanskeligheder med at logge på de interne systemer. Et defekt køleanlæg har effektivt lammet kommunens centrale serverrum.

Køleanlægget i Hillerød Kommunes centrale serverrum har siden midnat været ramt af nedbrud. Det har betydet tropehede i serverrummet, og serverne er i løbet af natten stået af en efter en.

»It-teknikerne bliver opmærksomme på problemet, da de tænder deres telefon om morgenen og ikke har adgang til nogle systemer. Derefter går vi straks i gang med fejlretningen,« siger chef for digitalisering og IKT, Søren Kristensen til Version2.

Hvorfor reagerer I først om morgenen, hvor fejlen har eksisteret i mange timer?

»Vi har ikke nogen 24-7 ordning med en it-driftvagt. Det er en bevidst prioritering fra forretningen og et resultat af besparelser.«

Nedbruddet har betydet, at kommunens DHCP-server er gået ned, og derfor har alle medarbejdere været afskåret fra at kunne logge på. Derudover er kommunens SAN stået af, så også mail, kalender og omsorgssystemet er også blandt de tjenester, der er utilgængelige.

»Folk er så småt begyndt at kunne logge på nettet nu, og nattevagten har faktisk haft en backup-adgang til omsorgssystemet,« siger Søren Kristensen.

Du siger, at omsorgssystemet har en backup-løsning. Hvorfor har I ikke spejlet resten af systemerne i et alternativt datacenter, så I undgår en total lammelse, blot fordi et kølesystem står af?

»Det er et spørgsmål om, hvor mange penge, man har råd til at bruge på spejling. Hvis vi havde haft en driftvagt, var fejlen blevet opdaget meget tidligere, og det kan være, at de penge havde været givet bedre ud end til en spejling af systemerne. Det er noget af det, vi nu skal til at analysere,« siger Søren Kristensen.

Tips og korrekturforslag til denne historie sendes til tip@version2.dk
Kommentarer (20)
sortSortér kommentarer
  • Ældste først
  • Nyeste først
  • Bedste først
Tom Stanly Barfod

Man kan jo undre sig over der ikke er opsat en sms boks der sender en sms alarm til IT-Chefen ved over 27 grader og over 35 grader. Pris hos DANBIT kan findes på deres web.

Så havde de da haft styr på det.
Gad vide hvad de gør med UPS, mon også de kun har 45 minutters backup tid, og hvad så derefter?
Man har nu sparet en vagt, men hvad koster det alle ansatte er ”Offline” pr time?

Mon der snart er et job ledigt?

  • 0
  • 0
Rud W. Wichmann

Mon ikke det burde hedde "bevistløs prioitering" ???

Hvis udtalelsen:

"».... Det er en bevidst prioritering fra forretningen og et resultat af besparelser.«

er korrekt citeret fra chef for digitalisering og IKT så er der vel overhovedet ikke noget problem når der er nedbrud af den type i Hillerød City!

Ud over,at det smager af håbløs ligegyldighed og også sørgelig mangel på professionalisme.

  • 0
  • 0
Morten Fordsmand

Hvis udtalelsen:

"».... Det er en bevidst prioritering fra forretningen og et resultat af besparelser.«

er korrekt citeret fra chef for digitalisering og IKT så er der vel overhovedet ikke noget problem når der er nedbrud af den type i Hillerød City!

Ud over,at det smager af håbløs ligegyldighed og også sørgelig mangel på professionalisme.

Tjah hvis de mulige konsekvenser af besparelsen har været forelagt de politiske beslutningstagere, så kan de stakkels IT-folk jo ikke gøre så meget.
Men lur mig om ikke Hillerød vil revurdere sit IT-driftsetup.

  • 0
  • 0
Jon Bendtsen

Det har betydet tropehede i serverrummet, og serverne er i løbet af natten stået af en efter en.

Jeg har lavet scripts som overvåger temperaturen og lukker systemerne pænt ned hvis temperaturen bliver for høj. Jeg har lavet dem for at undgå at data på harddiskene bliver beskadiget af varmen, eller at der bliver skrevet dårlige data til harddiskene fordi ram, cpu, ... har det så varmt at der sker bit fejl.

Firmaet betaler mig ikke for 24x7x365 overvågning, og derfor sender systemet en offsite email til mig + hele firmaet med en forklaring før det lukker ned, både pga. varme eller når UPSen siger der ikke er strøm. Den email øger sandsynligheden for at nogen mennesker når at læse den før næste morgen klokken 8, og derfor kan alarmere chefen som så kan vælge om han vil betale overtid eller ej. Desuden kan den email fortælle dem om de skal arbejde hjemme, flexe, eller bare sove længe :-D

  • 0
  • 0
Kenn Nielsen

Man har nu sparet en vagt, men hvad koster det alle ansatte er ”Offline” pr time?

Det koster ikke noget.

Det er jo serviceorganet for borgerne.
Sålænge de ikke laver noget genereres der ingen udgifter.

Det man ikke når under nedbruddet, forklarer man blot folk "at det når vi til, vi har bare lige en pukkel.."

Derfor er det heller ikke nemt at sammenligne udgifter ved nedbrud mod udgifter til vagt, spejling osv.

Det er kun når der er fare for taburetten at man bruger en fantasillion på konsulentrapporter der skal lave en 'anbefaling' som man siden kan skyde skylden på.

Med tinglysningen er det endnu bedre; det er andres penge det går ud over, det er næsten umuligt for offentligheden at danne sig et indtryk over de samlede merudgifter.
Samtidigt er al dokumentation destrueret, så alle påstande om fejl er pr. default grundløse.

K

  • 0
  • 0
Kristian Christensen

Man er lidt fristet til at sige "Så kan i f***ing lære det.
Det er da også et uheld der venter på at ske.
Det giver så lidt arbejde til os i IT branchen så lidt nytte gør det da.
I stil med at hvis alle bare var forsigtige og tænkte os om i hverdagen havde vi dårligt nok brug for forsikringsselskaber og skadestuer.

  • 0
  • 0
Anders Gregersen

Det postive ved det der skete er at nogen faktisk har taget stilling til hvorvidt der skulle være en vagtbemandling og overvågning. Der er stadig mange steder hvor det "bare" er forventet at sådan en opgave håndteres gratis af it medarbejdere. Det kan være et fedt job hvis det er et stabilt driftmiljø eller et rigtig skidt job hvis det er ustabilt. Tit er grænserne for hvad der dækkes og ikke dækkes af en vagtordning også ret defus - til fordel for - ingen. Man kan have en holdning til om det var et fornuftigt valg, men faktum er at de stort set har sparet 200.000kr. Indtil nedbrudet. Der er altid en risiko for et nedbrud som lammer større dele af infrastrukturen. Den kan minimeres, men aldrig fjernes. Selv med vagtordning, så er de jo ikke eksperter i f.eks. Køling eller andre påkrævede teknologier, så for de fleste vil det altid være en balance.
Når man tænker på hvad kommuner reelt spare på i øjeblikket så er lidt nedetid nok ikke det største bleep på radaren.

  • 0
  • 0
Christian E. Lysel

Selv med vagtordning, så er de jo ikke eksperter i f.eks. Køling eller andre påkrævede teknologier

Man skal ikke være ekspert til at åbne en dør, og til at lukke unødige servere ned ... eller blot at ringe på det nummer der står på køleudstyret.

  • 0
  • 0
Rune Eilertsen

Den IKT chef har jo haft den mulighed at afstå fra jobbet... når forretningen ikke kan prioritere på en forsvarlige måde længere...
Så selv om det nok er rigtige som han siger, så er jo spørgsmålet om han kan akseptere den åbenbare fejlvurdering af behovet for sikker drift fra forretningens side.
En ting er selvsagt at man risikerer nedetid, og at servere og SAN går ned der og da.. MEN.. for f.. Hvad med den skade udsyret får på den lange bane ? Det kan da koste millioner i følgevirkninger og ustabilitet de kommende flere år. Bare man nævner ordet "datacenter" og "SAN", så forstår vi jo at det er noget isenkram som koster penge involveret.
Og selv om man øber nyt kram, så er det jo kæmpe job i at migrering alt til nye bokser.
Jeg har også prøvet at være stillet for umulige foretingskrav fra anden kommune tidligere. Jeg valgte dog det eneste faglige forsvarlige.. nemlige at afstå fra ansvaret, og sætte foden ned til idiotiske beslutninger. Hillerød må da være en såpads stor kommune at dem kan forsvare at sikre driften af sine data? (vædder på at dem har redundante kabelforbindelser alle veje.., men pyt nu med core driftens sikkerhed...hahah)
Det neste bliver sikkert at dem outsourcer det hele, til dobbel pris, lige netop for at "stabilisere" driften..:-) For nu skal det altså løses.. det er "uakseptabelt", vil nok de høje herrer pludselige sige.. som om det kom helt bag på dem.. og hvem er det så som slider ? Den lige samme IKT chef.... :-)

  • 0
  • 0
Jesper Lund Stocholm Blogger

Hej Kenn,

Det koster ikke noget.

Det er jo serviceorganet for borgerne.
Sålænge de ikke laver noget genereres der ingen udgifter.

Ja, det er jo egentlig skrækkeligt, at effektiviteten i den offentlige sektor ikke er en faktor i sådan et regnestykke.

Hvor mange sager om børnemishandling skal udskydes pga ineffektive IT-systemer, der hæmmer sagsbehandlerne i deres arbejde før det bliver taget alvorligt?

  • 0
  • 0
Søren Jensen

Problemet er vel at kommunerne skal spare så meget, at de sparer ind i benet.

Kommunerne må spare så hårdt at de må spare på det forebyggende. Prisen er en højere risiko...
De penge man tilsyneladende sparer vil sikkert komme igen i form af udgifter til brandslukning...

(Det er vel også derfor mange af de besparelser regeringen har forsøgt indført har vist sig ikke at holde...).

Så kan man godt give skylden på kommunerne. Men i sidste ende er det regeringen, der giver rammerne for kommunerne. Og i de sidste mange år har udsultet kommunekasserne og deres handlefrihed.

(Der bruges flere penge på bukrati indført fra staten, samtidigt med at staten stikker snabelen stadig dybere ned i kommunekasserne - moms på byggegrunde er bare et eksempel, reduktion i refusioner på diverse services er en anden ting....)

Lad os få en ny finansminister, der tør se på, allerede nu, om der er råd til efterløn og pension til alle.

  • 0
  • 0
Claus Andreaseen

De har fuld remote opkobling uanset server status eller "sort" skærm.

SMS alarm kontrolleret nedlukning er standard på alle proliant servere hvis man installerer SIM som gratis ligger med hver server.

Samtidig vil man på hver eneste server få gratis onsite før fejl garanti, ja man kan få udskiftet vitale komponenter før nedbrud.

Ufatteligt at en kommune kan sløse sådan med deres IT.

  • 0
  • 0
Flemming Hansen

Problemet er bare at inde for det offentlige er en krone ikke bare en krone.
Det kan godt være alle pengene kommer fra de samme skattekroner du og jeg betaler, men så snart de bliver inddelt i puljer er skaden sket. Uanset om man løber tør for penge til ansættelser af folk, så kan der være en kæmpe reserve til brug på konsulenter eller vikarer selvom de koster meget mere.
Sådan gælder det hele vejen rundt. Penge er ikke noget man flytter rundt på, og løber en ene kasse tør er det bare ærgeligt.
Pengene til en 24/7 vagt findes helt sikkert, men de ligger desværre bare i den forkerte kasse.

  • 0
  • 0
Log ind eller Opret konto for at kommentere