Kommune mister 82.000 dokumenter i nedbrud hos KMD: Ingen backup af filer

Illustration: KMD
Et nedbrud hos KMD Store Bededag betyder, at Roskilde har mistet brevudvekslinger med tusindvis af borgere.

På grund af et driftsnedbrud hos it-leverandøren KMD har Roskilde Kommune mistet breve sendt til tusinder af borgere i perioden fra 2012 til 2018.

Det fremgår af en pressemeddelelse fra kommunen.

Nedbruddet ramte specifikt systemet KMD Care, som Roskilde Kommune bruger til borgere, der får forskellige ydelser inden for sundhed og træning.

Helt konkret er 82.532 dokumenter fra 2012 til 2018 gået tabt, og pga. en fejl findes der ingen backup hos KMD.

Men Roskilde Kommune understreger, at det ikke drejer sig om borgernes journaloplysninger.

Det drejer sig i stedet om oplysninger knyttet til den enkelte borgers sag som f.eks afgørelser, bevillinger og tilbud.

Ifølge Christian Harsløf, der er direktør for Social, Job og Sundhed i Roskilde Kommune, kan tabet af data blandt andet betyde, at borgere ikke kan få udleveret breve med oplysninger om deres sager, som kommunen har haft liggende.

Derudover vil borgere blive bedt om at udlevere oplysninger, de allerede har opgivet i forbindelse med sagsbehandling.

»Vi er rystede og står helt uforstående overfor, hvordan det kan ske. I en tid, hvor datasikkerhed står så højt på dagsordenen, er det meget bekymrende, at et stort firma som KMD ikke har styr på deres processer. Vi er dybt afhængige af, at den IT-leverandør, vi har, kan sikre vores data, og KMD skal arbejde hårdt på at genoprette tilliden, for den har lidt et alvorligt knæk,« udtaler Christian Harsløf.

Nedbruddet berører 16.325 borgere, hvoraf 10.179 i dag har aktive sager hos Roskilde Kommune.

Læs kommentar fra KMD i denne artikel.

Tips og korrekturforslag til denne historie sendes til tip@version2.dk
Følg forløbet
Kommentarer (52)
sortSortér kommentarer
  • Ældste først
  • Nyeste først
  • Bedste først
Benjamin Bach

Europe's Digital Progress Report 2017 placerede Danmark på førstepladsen.

Men det er en udregning, hvor man kun kan få pluspoint... intet trækker ned ifm. digitalisering: Såsom at miste 6 år af borgernes historik for en hel kommune, faldende produktivitet i hele sundhedssektorens, afmonteret skattevæsen, staten der overvåger borgerne ulovligt osv...

Man kan roligt tale om kvalitet frem for kvantitet i digitalisering. Og så bliver man nødt til at stille alle de kritiske spørgsmål.

Ja, vi har masser af digitalisering, og den største cyber attack vector af dem alle. Og vi har brugt allerflest penge af dem alle. Vi tror så meget på egen digitalisering, at Københavns Hovedbibliotek destruerer egne samlinger. Og vi er så bange for svarene, at vi ikke tør lave uvildige undersøgelser af selv de største milliardskandaler.

Center for Cybersikkerhed burde måske re-vurdere hvor den egentlige trussel kommer fra :)

Anne-Marie Krogsbøll

Jeg bliver nysgerrig - hackning? Ransomware? Lynnedslag? Rengøringsmedarbejder kom til at trykke på sluk-knappen?

Desuden:
"Men Roskilde Kommune understreger, at det ikke drejer sig om borgernes journaloplysninger.
Det drejer sig i stedet om oplysninger knyttet til den enkelte borgers sag som f. eks afgørelser, bevillinger og tilbud."

"Derudover vil borgere blive bedt om at udlevere oplysninger, de allerede har opgivet i forbindelse med sagsbehandling."

Kan man virkeligt skille de to ting ad? Og hvis det ikke er journaloplysninger (hvordan definerer man det?), hvorfor skal borgerne så udlevere nye oplysninger?

Er det bare mig, de synes, at noget halter i den forklaring?

Mark Klitgaard

Det får mig til at tænke på den V2 artikel der var for nyligt om hvor ofte man skal teste sine backups, hvor der var flere bud på hvor vigtigt og hvor ofte man skal teste sine backups.

... Jeg tror alle kan blive enige om at man i hvert fald skal sikre at sine backups kan bruges oftere end hver 6. år.

Lasse Mølgaard

Jeg kan se, at linket til pressemeddelelsen indeholder en form for forklaring - jeg vil ikke påstå, at jeg forstår den - den er for fagfolk.

Sådan som jeg læser pressemeddelelsen, så ser det ud som om en harddisk er gået i stykker og man har åbenbart ikke inkluderet indholdet på harddisken i backuppen.

Det lyder helt klart som nogen har sovet i timen. :-/

Jens Jönsson
Jørn Wildt

Kan man virkeligt skille de to ting ad? Og hvis det ikke er journaloplysninger (hvordan definerer man det?), hvorfor skal borgerne så udlevere nye oplysninger?

Ja, det er normalt i nogle ESDH-systemer: her registreres "metadata" på sagen (navn, tilskud, cpr osv.), og der er så nogle felter med fil-referencer, der kan pege på de dokumenter, som er tilknyttet sagen (eller journalposten).

Andre systemer gemmer dokumenter og "metadata" i samme database.

Casper Wandahl-Liper

En ting er at man ikke har styr på at data er med i backup, men hvordan kan man drive hosting for en offentlig myndighed (eller nogen som helst anden for den sags skyld) uden at man i det mindste kører en raid-konfiguration der forhindrer dette og tillader dynamisk udskiftning af diske

Ditlev Petersen

RAID løser ikke i sig selv problemet med manglende backup. Var der ikke noget med en masse skoledata på Fyn, der røg for et års tid siden? RAID kan gøre (sat rigtigt op) at man ikke går i sort, hvis én disk smadres. Det er bedre end ingenting, men et RAID-system kan meget hurtigt jævnes med jorden af en softwarefejl (eller af ondsindede mennesker).

Christian Pedersen

Hvorfor køre man overhovedet med systemer (Lokale Servere) hvis det da er det man har gjort?

Må næsten gå ud fra det ikke engang har ligget på et SAN eller lignende da det kun er nogle data der er tabt..

Cloud / HyperCoverged systemer er altså vejen frem hvor man har større samlede enheder der automatisk gør opmærksom på om man har backup eller DR eller endnu bedre gør så det skal fravælger.. En kombineret kort tids snapshot/dr med langtids arkivering på andet medie..

På f.eks Nutanix kan man snapshot / replikker VM'er til flere sites og endda offentlige Clouds blot ved at melde VM'er ind i en policy plus man får automatisk en liste over dem der ikke er med og man kan med 1 klik restore hele data sættet på få sekunder på f.eks DR sitet..

Jeg lavede full scale test forleden 20tb data 29 VM'er restored på off site en måned gammel på under 10 minutter med den komplette infrastruktur på et lukket net..

Det er så simpelt at proceduren er nem at overholde og man ville kunne gøre det uden større belastning f.eks hver 14 dag.

Simpelt er godt!

Joakim Ditlevesen

Simpelt er godt!

"For every complex problem there is an answer that is clear, simple, and wrong.".

Ja, lad os bare lægge alle oplysninger om borgere ud i skyen, hvor ingen har styr på, hvor de havner, eller hvem der kan læse med i dem. Det skal nok øge datasikkerheden og privacy.

Fortsæt bare med at lave dine hjemmesider og Wordpress-plugins, og lad os voksne om at lave de besværlige systemer. Så skal alt nok blive godt.

Christian Pedersen

Nu tale jeg altså kun om Public cloud som mulig DR..

Mht "Cloud" mener jeg en leverance model så kald det EnterpriseCloud - Private Cloud whatever.. Men ja kunne også være en Public cloud så havde en harddisk da ikke kunne gøre man mistede dokumenter :-)

Men public cloud sker jo for næsten alle i det offentlige.. Mange kommuner køre allerede Office 365 online, SharePoint og Skype for business

Lasse Mølgaard

RAID kan gøre (sat rigtigt op) at man ikke går i sort, hvis én disk smadres. Det er bedre end ingenting, men et RAID-system kan meget hurtigt jævnes med jorden af en softwarefejl.

Du behøver faktisk ikke hackere for at smadre et RAID.

Hvis jeg husker rigtigt kan et harddisk crash på blot to diske smadre et helt RAID, til trods for redundante diske, hvis raided er sat forkert op.

Noget med hvordan spejling af diskene er sat op.

Og så er vi tilbage ved et citat omkring "malice vs stupidity"... :-)

Casper Wandahl-Liper

Nu skrev jeg ikke at raid ville løse problemet med manglende backup, men det ville have været nok til at undgå tab af 82.000 dokumenter i dette tilfælde. Alle hostingselskaber der er bare nogenlunde seriøse ville jeg forvente har et setup med raid eller lignende så gendannelse af backup slet ikke bliver aktuelt bare fordi en enkelt disk bryder sammen...
Jeg har selv en lille nas stående herhjemme som kører raid så private billeder ikke forsvinder hvis den ene disk bryder sammen og mine billeder er langt fra lige så vigtige som de 82.000 dokumenter

Casper Wandahl-Liper

Det får mig til at tænke på et sjovt citat man kan købe på en T-shirt: "there is no cloud, it's just someone else's computer" :-)
Jeg ved ikke nok om infrastruktur til at gøre mig klog på det, men umiddelbart vil jeg da tro at den overvågning og snapshot strategi du beskriver også sagtens kan laves på lokale systemer som du kalder det...

Mikkel Holm

Den løsning er dyr, idet du skal have redundant setup hvis du ønsker samme performance. Dobbelt linje og licenser. Det får du yderst svært ved at sælge til en kommune ;) Det er Nice to have.

Der kommer først styr på backuppen, når det får konsekvens for kommunaldirektørens bonus. Jeg går ind for at IT-sikkerhed sættes som et krav for bonus. Er der brud, ingen bonus.

Martin Bonde

Min virksomhed blev også ramt den dag. Vi havde heldigvis styr på backup ;-)

Det var et SAN Raid som mistede 2 diske med 4 minutters mellemrum. Bad luck...

Som flere af jer skriver så kan man ikke sikre sig mod den slags medmindre man går mod nogle meget dyre løsninger som ingen kunder vil betale for.

Jeg er også af den holdning at man ikke bare kan skrive en kontrakt med en leverandør og så er alt fint. Det er virksomheden / kundens ansvar at sikre at leverandøren faktisk følger de processer som man har aftalt.

Hver måned laver vi en restore af backup imod komplet staging miljø. Så vi ville hurtigt “finde” en manglende backup.

Kenn Nielsen

Det er bare dig. Journaloplysninger har intet at gøre med administrative beslutninger.


Vrøvl.
Hvis jeg skal komme dig lidt i møde, vil jeg sige at journaloplysninger laves med henblik på at understøtte den forventede administrative beslutning....

Disse forsvundne dokumenter, vil enten kunne understøtte kommunale afgørelser, eller understøtte klagesager...

K

Niels-Arne Nørgaard Knudsen

man kan så undre sig over at staten ikke for længst har etableret et fælles storage-center for alle Danmarks data. det kan jo sagtens være splittet ud på flere underleverendører alt efter det krævede sikkerhedsniveau.

at der ikke allerede er et system der automatisk spejler nye dokumenter og ændrede dokumenter er mig en gåde! selv en enkelt rsync der kører # gange i døgnet kunne have reddet KMD her. men det er åbenbart ikke en kompetence de har i stalden.

kører selv "triple"-backup system. har en intern disk hvor mit home spejles og så laver jeg ugentlig backup på den blå usb-disk og en gang i mellem på den sorte (der ligger gemt væk og er pisse besværlig at finde).

det her er bare hamrende uprofessionelt af KMD - endnu engang. hvad skal der til for at blive blacklistet som leverandør til det offentlige?

Mikkel Holm

Fælles storage-center er statens våde drøm, så bliver det ultimativt let at sammenkøre data! Fordelen i dag er at der er mange aktør og ikke alle har tilsyneladende styr på det. Det er godt for privacy lidt endnu, nu hvor den nye lov er vedtaget omkring sammenkøring.

Du er ikke klar over hvad der er købt af kommunen? Jeg vil meget gerne have svar på om aftalenen indeholdte backup og en garanti for filerne ved nedbrud - SLA. Jeg har på fornemmelsen at det var den billig løsning og der forsøges at tørre den af på KMD selvom det måske ikke er berettiget.
Mit ønske er ikke at forsvare KMD, men forsøg nu at undgå at bashe på et usagligt grundlag. Kan Version2 grave lidt i SLA? :)

Kenn Nielsen

Jeg vil meget gerne have svar på om aftalenen indeholdte backup og en garanti for filerne ved nedbrud - SLA. Jeg har på fornemmelsen at det var den billig løsning og der forsøges at tørre den af på KMD selvom det måske ikke er berettiget.

Ja, man køber en service (med en underforstået ret til at tørre sine PR-problemer af på leverandøren),hos en stor leverandør.

Leverandøren er indforstået med at være "boksebold" i offentligheden, hvis dette er kundens behov for at 'bevare folkets opbakning'.
Leverandøren vurderer at ulempen beløber sig til 5 gange servicens pris, og tager derfor det dobbelte (2x5 gange + prisen) for servicen.

Kunden siger OK ! - Blandt andet fordi det er svært at sammenligne priserne på mundtlige tilsagn om private tjenester, når de er syltede ind i offentlige indkøb.
Men det er åbenlyst, at det er 10gange mere værd at kunne pege på andre når der er optræk til shitstorm.
Og det er her vi skal huske på at dette er 'andres penge'(1).
Mer'værdien tilkøbt er kun af værdi for at vi ikke skal se vor kalif som den inkompetente iznogood han(whateverkøn) er, - altså ikke en værdi for samfundet.

Og i dette tilfælde skal vi huske at dokumenterne enten underbygger kommunens afgørelser (hvilket er bekvemt) , - eller også kan de underbygge borgernes eventuelle klagesager, (hvilket kan få kaliffens embede til at virke uretfærdigt - altså absolut ubekvemt).
Derfor er worst-case-datatab en absolut befrielse - set fra vor kalif's elfenbenstårn.

K
(1) Ikke Andrés penge

Niels-Arne Nørgaard Knudsen

de kan allerede samkøre nu. om det bliver lettere/hurtigere ændrer ikke rigtig på at når du har 2 databaser kan du samkøre oplysningerne i dem .

jeg mener det faktisk helt alvorligt. og hvis du nærlæser skriver jeg flere underleverandører, altså at det stadig vil være spredt ud men med en fælles indgang. spredningen skyldes at der helt sikkert er forskellige sikkerhedskrav alt efter hvilke data det drejer sig om. og så bliver alt ikke kompromiteret ved hack/læk.

uanset hvad er det da hamrende uprofessionelt af KMD ikke at have en backup. det er helt og aldeles deres ansvar da de har data-opbevaring som opgave. backup er da en naturlig del af det.

det med privacy og så videre er politiske beslutninger og det kan du ikke ændre på teknisk. uanset hvad du siger så kan politikerne jo vedtage at det er helt lovligt at samkøre (det har de mere eller mindre gjort) og det er ikke i IT systemerne du skal gardere dig mod det.

Mikkel Holm

Kenn Nielsen , Det er helt almindeligt at risikooverføre til 3. part. Det jeg synes der skal graves i er, hvorvidt der i den aftale - SLA - står krav til tilgængelighed og backup?
Kommunen kan godt have fravalgt backup og indforstået med risikoen - Cost/Benefit analyse. Overstiger tabet kostprisen eller ej.
Derfor kunne det være interessant om kommunen har aftale om backup og deres bashing er berettiget. KMD kan jeg godt tage uberettiget imod, som en kalkuleret konsekvens af en dårlig aftale.

Niels-Arne Nørgaard Knudsen, ser nu ikke det offentlige brilliere med at lave systemer der taler sammen. Forstil dig nu at det faktisk kan lade sig gøre og hvilken konsekvens det vil have.
Backup er bestemt ikke en naturlig del og selvindlysende. Fravælger kommunen Backup grundet eksempelvis prisen, kan virksomheden ikke holdes ansvarlig.
Korrekt, Privacy skal sikres politisk. Når der ikke er politisk vilje, og befolkningens manglende opbakning/vidensniveau - er det svært at gøre noget ved. Og så længe at staten har store problemer med at få IT-systemer til at virke/snakke sammen, des bedre har borgeren det. Dog på lånt tid :)

Niels-Arne Nørgaard Knudsen

jamen så er det jo ret let at finde ud af hvem der har ansvaret:

har kommunen fravalgt backup, så har kommunen ansvaret for de mistede data. har de ikke fravalgt backup er ansvaret KMD's.

det drejer sig om offentlige kontrakter så det er vel et eller andet sted vores allesammens kontrakt og lige præcis om der var backup som en del af løsningen burde offentliggøres så vi kan få vished om hvem der bærer ansvaret for de mistede data.

det er da bestemt en sag i offentlighedens interesse at få belyst.

Peter Stricker

har kommunen fravalgt backup, så har kommunen ansvaret for de mistede data


Så let er det vel ikke for KMD at løbe fra ansvaret.

Hvis kontrakten ikke omtaler backup, men blot at databehandleren skal give dataansvarlig adgang til data, så må det vel være KMD der har ansvaret for, hvordan de sikrer adgangen til data.

Backup kan være en god måde at sikre at adgangen til data højest er utilgængelig i et begrænset tidsrum, men KMD kunne jo også bare vælge at lave et system hvor der slet ikke er nogen mulighed for at miste data. Hvordan man så end laver et sådant system...

Mikkel Holm

ang til data, så må det vel være KMD der har ansvaret for, hvordan de sikrer adgangen t

Som virksomhed der tilbyder en løsning, skriver du naturligvis ind i kontrakten hvad du er forpligtiget til. Ingen Backup, ingen garanti for tilgængelighed i tilfælde af nedbrud.
Hvis kommunen har vurderet at tiden det tager at genskabe dokumenterne (arbejdskraft), samt sandsynligheden kontra prisen for Backup af netop disse, er billigere - kan det give god mening at fravælge Backup (kalkuleret risiko). Det betyder ikke nødvendigvis at der ikke er backup for kritiske systemer.

KMD kan godt være databahandler der skal opfylde en række krav til hvordan og hvilke data der skal håndteres på en given måde. Det er dog Kommunen som Data Owner der har det overordnet ansvar for data.

Af erfaring kan du selv med offsite backup stå med tabt data hvis backuppen og drift fejler samtidig. Prisen er bare markant højere med 2nd location backup. Skal kommunen betale for det synes du? :)

Anne-Marie Krogsbøll

Mikkel Holm:

Hvis kommunen har vurderet at tiden det tager at genskabe dokumenterne (arbejdskraft), samt sandsynligheden kontra prisen for Backup af netop disse, er billigere - kan det give god mening at fravælge Backup (kalkuleret risiko). Det betyder ikke nødvendigvis at der ikke er backup for kritiske systemer.


Du lyder til at have føling med området. Skal ovenstående forstås sådan, at det er helt almindeligt, at offentlige myndigheder/institutioner af sparehensyn vælger kontrakter, der ikke inkluderer backup af borgernes data?

Martin Jensen

Et antal pods, én i hvert data center for hver offentlig instans der har et datacenter, intern mpls eller sort fiber netværk, og så noget Erasure coding ud over de pods, så kunne alle offentlige skubbe data ind og deles om udgifterne. Så kan de i egen ende vælge produkter og krypto egenskaber der kræves til deres behov. Så hjælper man lokalt med at håndhæve politikker for hver bucket og sikre at f.eks. Worm fungerer. I den skala kan det gøres ret billigt med f.eks. Seagate Kinetic drives.

Når det er på plads så kan man f.eks. køre en backup af alt metode som default der gemmer i 7 dage. Så falder intet ved siden af. Der hvor man så traditionelt skabte backup, der skruer man så op for retention periode.

Søren Walther

Alle jer der mener at KMD skulle have styr på backup og lignende glemmer at det faktisk ikke længere er KMD der drifter de servere deres kunders data ligger på.

En anden ting er at man kan outsource en opgave men ikke et ansvar, det ligger hos kommunen selv at have nok styr på sine kontrakter til at have kontrol over hvor og hvordan data bliver opbevaret og behandlet.

Jørgen Richter

Hvis man nu forsigtigt antager, at backup'en ikke gemmes på tape (hvem bruger dog det dyre bras), men på disk og måske endda styres af samme type storage software, som så får en fejl, hvor der man så henne ?

Jeg synes, at debatten her er præget af
* mangel på indsigt i moderne IT-drift
* mangel på indsigt i storskala drift
* fejl i forståelsen om, om man kan udlicitere et ansvar
* fejl i indsigt i, om en Cloud-leverandør for et 3-cifret beløb / år i danske kroner lover restore/recovery - og med hvilken RTO / RPO (slå det op)

Denne debat er jo præget af en samling af "bedrevidende" individer, som i flok kan råbe "for dårligt !" - uden at kunne bevise at kunne gøre det bedre selv.
Der er indsigter undervejs, men for langt imellem.

Til annalerne: Ja, jeg arbejder hos KMD, men ikke som tekniker.

I behøver ikke svare - jeg melder mig ud.

Lars Petersen

at backup'en ikke gemmes på tape (hvem bruger dog det dyre bras)


Tape har den indbyggede fordel, at det rent umiddelbart opfattes som et medie der tages fysisk ud af apparatet. Og det gør man så med jævnlige intervaller, og placerer båndet på fjernlokationer. Det er dyrt og mandskabskrævende, men hvis det kan redde hele virksomhedens eksistens i sidste ende, så er det vel det værd?
Hvis skat.dk mister 20 mia kr, så er det bare ærgerligt. Skat lukker ikke af den grund. (under emnet: Risikovurdering)

Til annalerne: Ja, jeg arbejder hos KMD, men ikke som tekniker.

Forhåbentlig arbejder du ikke med drift af kunders forretninger. Hvis du er gartner, er det til at leve med.

Søren Walther

Jeg er til dels enig med Jørgen Richter.

Tape er ikke så meget brugt i større installationer mere, når man arbejder med data målt i hele PB er det som regl noget med fler center løsninger hvor data ligger online på flere lokationer og så en disk baseret backup.

Men specielt i forhold til at man ikke kan outsource et ansvar men kun en opgave, det betyder så at dataejer har ansvaret for at føre tlsyn med at deres data opbevares på betrykkende måde hos deres databehandler også når denne vælger at lave en outsourcing videre ud i byen.

I forhold til at man bare kan sende diske til IBAS eller lignende er det ikke rigtigt en mulighed.

Uden at være belastet med aktuel viden om den fejlede infrastruktur forestiller jeg mig noget i retning af dette setup:

I toppen er der et OS med diske hvor data ligger, Linux eller Windows er ligegyldigt.

Disse diske er VHD filer via en hypervisor, VM-Ware eller Hyper-V, igen ligegyldigt.

Denne hypervisor har noget storage præcenteret, måske igennem en SVC eller lignende storage virtualiserings kasse.

Under denne ligger der så en eller flere store slæder med masser af diske hvor data er spredt rundt med rund hånd mellem masser af andre kunders data.

Gennem 3-4 virtualiseringslag med flere kunders data godt blandet i det nederste kan jeg ikke se hvordan man kan genskabe data block for block.

Log ind eller Opret konto for at kommentere
Pressemeddelelser

Welcome to the Cloud Integration Enablement Day (Bring your own laptop)

On this track, we will give you the chance to become a "Cloud First" data integration specialist.
15. nov 2017

Silicom i Søborg har fået stærk vind i sejlene…

Silicom Denmark arbejder med cutting-edge teknologier og er helt fremme hvad angår FPGA teknologien, som har eksisteret i over 20 år.
22. sep 2017

Conference: How AI and Machine Learning can accelerate your business growth

Can Artificial Intelligence (AI) and Machine Learning bring actual value to your business? Will it supercharge growth? How do other businesses leverage AI and Machine Learning?
13. sep 2017
Jobfinder Logo
Job fra Jobfinder