KMD mistede 82.000 filer fra Roskilde: Indisk leverandør forsømte it-vedligehold

Illustration: KMD
KMD har beklaget det nedbrud, der resulterede i tabet af mere end 82.000 filer fra Roskilde Kommune. Men ifølge Version2s oplysninger skyldes det fejl hos en indisk underleverandør.

Et nedbrud i et KMD-datacenter betød Store Bededag, at Roskilde Kommune mistede mere end 82.000 filer knyttet til borgersager. Filerne kunne ikke reddes på grund af en fejl i Roskilde Kommunes backup-løsning, der adskiller sig fra de andre kunder i det samme system.

Læs også: Særligt backup-setup: Derfor mistede KMD 82.000 af Roskilde Kommunes filer

KMD har som databehandler beklaget forløbet, men selve nedbruddet er ifølge Version2s oplysninger sket på grund af en fejl hos KMDs indiske underleverandør Tech Mahindra.

KMD driver nemlig ikke selv de pågældende servere.

I 2015 blev KMDs infrastrukturforretning outsourcet til Tech Mahindra, og ifølge Verison2s oplysninger har Tech Mahindra derefter tegnet kontrakt med endnu en underleverandør til den storage, der skulle bruges til blandt andet Roskilde Kommunes data.

Den kontrakt er angiveligt blevet opsagt omkring årsskiftet, og herefter skal Tech Mahindra have forsømt den overvågnings- og vedligeholdelsesopgave, der før lå hos storage-leverandøren.

Læs også: Særligt backup-setup: Derfor mistede KMD 82.000 af Roskilde Kommunes filer

Store Bededag brød to diske så ned, og Roskilde Kommune mistede de knap 83.000 filer knyttet til tusindvis af borgeres sager.

Version2 har kontaktet KMD, der ikke afviser Version2s udlægning af forløbet og oplyser, at der i øjeblikket foregår analyser og redegørelser af forløbet i samarbejde med deres tekniske samarbejdspartnere, men at de ikke ønsker at komme med yderligere kommentarer til sagen.

Version2 har også forsøgt at få en kommentar fra Tech Mahindra i Danmark - indtil videre uden held.

KMD har sendt en redegørelse til Roskilde Kommune, som Version2 har anmodet om aktindsigt i for at følge op med flere detaljer.

Tips og korrekturforslag til denne historie sendes til tip@version2.dk
Følg forløbet
Kommentarer (69)
sortSortér kommentarer
  • Ældste først
  • Nyeste først
  • Bedste først
Anne-Marie Krogsbøll

..... at sandsynligvis stærkt følsomme persondate i tusindvis ligger hos forsømmelige firmaer i Indien...

Ganske som forventet.... Og ganske som det sikkert sker med masse af andre af vore stærkt følsomme persondata i det offentlige...Ganske som i kæmpeskandalen i Norge...

Og ekstra forargeligt: At det er så svært for borgerne at få indblik i. Og at det ustandseligt hævdes, at man passer godt på data.
Det offentlige gør alt, hvad man kan for at skjule sine og datas spor rundt i verden....

"og herefter skal Tech Mahindra have forsømt den overvågnings- og vedligeholdelsesopgave"

Og det har KMD vel også? Og Roskilde Kommune - som jo også skal føre tilsyn?

Gad vide, hvad der mere gemmer sig af skandaler i denne sag. Er det mon kun denne backup, det er galt med? Det ville undre mig meget. Mit bud: Det sejler.... det hele..... Vore persondata sejler op og ned ad Ganges i små papirbåde.....

Kommer det til at koste hoveder? Vi får se...

Tak for god opfølgning på skandalen. Jeg ved ikke, om jeg har nerver til at læse fortsættelsen...

  • 53
  • 0
Povl H. Pedersen

Oursorcing er godt, outsourcing til en der outsourcer til en der outsourcer må være super mega hyper godt.

Og for hvert nyt lag af databehandleraftaler, så stiger sikkerheden nok.

Der er åbenbart ingen der fatter, at jo længere man kommer fra kunden, jo dårligere er man til at forstå og hjælpe kunden.

Som udgangspunkt har outsourcing ofte været mere en spørgsmål om downsizing fremfor at få løst de samme opgaver af en driftsleverandør. Outsourcing er at gå fra pro-aktiv drift til event triggered drift. Pro-aktivitet er svær at måle.

  • 30
  • 0
hans jensen

de offentlige er ikke gode til at passe på vores data , de ansvarlige skal
sættes til andet arbejde , eller fyres.
svineri at vores data flyder i hele verden , eller bliver solgt til bagmænd af
en forsmået medarbejder i indien.

  • 8
  • 1
Søren Walther

Endelig var der nogen der kom igennem der røgslør der er lavet omkring "Særlig Backup" og nogen der huskede at KMD ikke har drevet egen produktions infrastruktur i nogle år.

Jeg glæder mig til at se hvad der kommer ud af forklaring på hvordan data er mistet.

Det lidt jeg fik af insinder information fra en tidligere ansættelse er at der ikke var mange tilbage af de folk der var med i kassen da KMD sendte driften til TM men at et eksternt konsulenthus havde kronede dage og alle der var i risiko for at sidde på bænken landede derude.

  • 12
  • 0
Anne-Marie Krogsbøll

Kenneth Riis Broxgaard:

Data er i DK.

Linket du viser er lidt gammelt - jeg ved ikke, om du bemærkede følgende i artiklen ovenfor:
"har Tech Mahindra derefter tegnet kontrakt med endnu en underleverandør "

Hvad ved vi mon om denne underleverandør - og hvor mange yderligere underleverandører, som denne har tegnet kontrakt med?

I øvrigt: Du lyder til at være så sikker - Har du selv tilknytning til et af firmaerne, og har insiderviden? I så fald ville det jo være rart, for så er der ikke brug for yderligere diskussion om det emne....

  • 3
  • 0
Anne-Marie Krogsbøll

Jeg kunne også godt tænke mig at vide om KMD's folk har for vane at smide produktions-data i temp-mapper på live-servere (da de jo i så fald, tilsyneladende er undtaget fra backup

Ja, bestemt - det lyder idiotisk. Men indtil nu er det en TM-mand, der hævder det.

Og er data stadig i Danmark? Jeg vil gerne have det endegyldigt bekræftet. Jeg bliver glædeligt overrasket, hvis det faktisk viser sig at være tilfældet. For selv om serverne (måske) står i Danmark, er der så nogen, der siger, at supporten på disse ikke kan foregå fra Indien eller Antarktis?

Ganske som det påstås, at vore sundhedsdata er i Danmark, selv om der er adgang fra Epic i USA.

Det der med, hvor data er, er jo lidt et definitionsspørgsmål - hvis der er adgang fra udlandet, er det efter min opfattelse løgn at sige, at data kun er i Danmark.

  • 6
  • 0
Mogens Lysemose

Ja det er yderst interessant.
Man opdager tilsyneladende ikke når den første redundante disk crasher, men kører viden uden redundans. Når så en mere crasher så crasher hele serveren. Man laver så restore men har ikke filerne med.
Som så ofte før er det fejl/uheld i flere led der udløser den slags.

Den ene leverandør siger nu (med rette) det ikke er deres skyld at backup ikke er fuldstændig.
Den anden hævder sikkert (med rette) det er førnævnte leverandørs ansvar at harddiske crasher uden at nogen opdager den første - serveren behøvede ikke at crashe i første omgang.

Og tilbage står slutkunden så og har mistet deres 85.000 dokumenter.

Let the blame game begin!

  • 8
  • 0
Simon Mikkelsen

When you install/configure an application, you do not put prod data in a folder named 'TEMP' or 'TMP'. by default every Backup tool excludes these folders and do not take the backup.

App config is not in TechM's scope. App team should have configured it correctly. If the backup of the entire server can be restored except Temp folder, its clear whose fault it is.

KMD: Tag backup af hele serveren.
Tech Mahindra: OK, det er programmet sat til.
Programmet: Ja, hehe, men man skal lige vide.

Sådan en fejl kan ske og det er umuligt at sige entydigt hvis det er. For ja: Det er dumt at putte data i en tmp mappe hvis det ikke må slettes.

Men det er derfor man skal teste sin backup. Hvis man ikke tester sin backup findes den ikke.

And to John Bou: I don't know your company, but I would never comment on anything related to current or previous jobs.

  • 5
  • 0
Lasse Franck

Det er længe siden, jeg har betragtet en agentbaseret backup som brugbar til andet end at retablere enkelte filer.

Fra den dag, min arbejdsplads indførte snapshots og replikering heraf fra primær storage til backupstorage, kunne jeg sove trygt og vide, at vi ville kunne lave en komplet gendannelse. Godt nok med tab af data svarende til tiden mellem crashet og sidste snapshot, men dog stadig med hver eneste bit intakt.

Og test af backupdata er nem - mount et replikeret snapshot på alternative hosts og konstater, du har data.
Vil du lave en fuldstændig gendannelsestest af flere eller samtlige servere i backuppen, kræver det en del mere, men det kan lade sig gøre - så skal man bare bruge mere tid på fx at trylle med sit netværk.

Uden at vide, hvordan KMD styrer det, og de har også en større forretning end jeg nogensinde har arbejdet med, burde man her have et infrastrukturteam med server- og diskansvar, og intet overhovedet burde placeres andre steder end på systemer godkendt af dette team. Og så med komplette backups på storageniveau.
At man tør outsource den slags virker ekstremt risikofyldt, uanset hvad der har stået i kontrakterne.

Kommunen, og i princippet hver eneste kunde, burde afkræve en fuld restoretest mindst en gang om året.

  • 6
  • 0
Jesper Hansen

Det der med, hvor data er, er jo lidt et definitionsspørgsmål - hvis der er adgang fra udlandet, er det efter min opfattelse løgn at sige, at data kun er i Danmark.


Udover diverse andre aftaler vedr. sikkerhedsgodkendelse og andre krav, så betyder "data i Danmark", rent faktisk bare at data rent fysisk befinder sig i Danmark. Det er de færreste der lukker ned for at der ikke kan logges på udenfor landets grænser, hvis der er åbent ind til miljøet (via VPN eller andre løsninger).

  • 4
  • 0
Jesper Hansen

Som jeg skriver, så regner jeg ikke data som "i Norge", hvis der har været adgang fra andre lande ... og det gør nordmændene - så vidt jeg kan se - heller ikke.

Det er sådan set lige meget hvad du tror. Problemet er ikke at data har ligget udenfor Norge, men at uautoriseret personale har haft adgang. Det kunne lige så vel have været norsk personale, uden tilstrækkelig autorisation, der havde adgang.

Der er meget stor forskel, og du fokuserer på det forkerte.

  • 2
  • 0
Anne-Marie Krogsbøll

Det er sådan set lige meget hvad du tror. Problemet er ikke at data har ligget udenfor Norge, men at uautoriseret personale har haft adgang. Det kunne lige så vel have været norsk personale, uden tilstrækkelig autorisation, der havde adgang.
Der er meget stor forskel, og du fokuserer på det forkerte.

Jeg fokuserer netop på det, du skriver - eller rettere begge dele:
- outsourcing har medført, at der ikke er styr på, hvem der har adgang.
- det har bl. a. betydet, at der har været adgang fra udlandet - og som jeg læser det, generer den tanke faktisk nordmændene en hel del.

Og begge dele kan tænkes at være relevante ift. Roskilde-sagen.

  • 2
  • 1
Jesper Hansen
  • 1
  • 2
Anne-Marie Krogsbøll

Jesper Hansen:

Det er netop de relevante ting, fremfor en eller anden mærkelig definition på hvor data befinder sig.
Forskellen på manglende adgangskontrol og hvor data rent fysisk befinder sig, er vel rimelig åbenlys.

For mig at se er den ikke indlysende ift., at datasikkerheden under alle omstændigheder sejler ved denne type outsourcing. Jo mere outsourcing og jo flere led, jo større risiko for, at f.eks. adgangskontrol svigter.

Som jeg ser det, hænger du dig i snævre definitioner, som er med til at forplumre det overordnede billede - som er, at datasikkerheden sejler i disse projekter. Det er det, der er vigtigt for mig - alt andet er udenomssnak. Og det er også mit indtryk, at det er nordmændenes konklusion, al den stund, at de så vidt jeg ved har stoppet outsourcing - i det mindste i en periode:
https://www.nrk.no/norge/helse-sor-ost_-outsourcing-stoppes-1.13578806

  • 4
  • 2
Jesper Hansen

Jeg hænger mig i din definition fordi den netop forplumrer billedet af hvad der er foregået.

Faktum er at problemet var adgangskontrol og ikke placering af data. Hvis man ikke kan se forskel på de to problemer og bare koger det ned til "datasikkerhed", så gider jeg ærlig talt ikke bruge mere tid på det.

  • 2
  • 3
Anne-Marie Krogsbøll

Jesper Hansen:

Du har på intet tidspunkt faktisk forklaret, hvorfor du finder den forskel væsentlig i denne sammenhæng....

På nuværende tidspunkt er det et spørgsmål om tro, om fejlen ligger primært hos KMD (som TM's mand på tinge påstår), eller hos TM. Derfor er det relevant at pege på, at TM har været involveret i en stor skandale i Norge, hvilket vel i høj grad går ud over troværdigheden hos TM - uden at det på nogen måde frikender KMD, som har et selvstændigt ansvar for at sørge for, at tingene er i orden.

Og hvis fejlen ligger hos TM, så bliver næste problem, om de har styr på deres adgange og tilladelser - eller om vi står med en skandale af samme type som i Norge.

Du vil så ikke bidrage med dit syn på sagen - men fred være med det.....

  • 3
  • 1
Henrik Biering Blogger

Det er netop de relevante ting, fremfor en eller anden mærkelig definition på hvor data befinder sig.

Forskellen på manglende adgangskontrol og hvor data rent fysisk befinder sig, er vel rimelig åbenlys.

Jesper, problemet er at det er svært at administrere en server i blinde med ren envejskommunikation fra Indien uden at nogle data forlader Danmark. Det er ikke specielt for servere, men gælder også f.eks. skibe.

Tror du et dansk færgeselskab ville lade en person i Indien styre deres færger remote uden at have adgang til data om f.eks. skibets position, passagerforhold, omgivelserne, m.m. Nej vel - selv ikke DSB!

  • 5
  • 0
Hans Nielsen

Hej Jesper og Anne-Marie.

Vil nu give Anne-Marie ret, hvis du har gang til data ude via f.eks. VPN på en Dansk server. Så har du i realitet fuld adgang og kan hente og læse data, eller tage Backup. Om arbejdskopier ligger i Danmark har ingen betydning.
Både GDPR, den gamle datalovgivning og kontrakten er sikkert ikke overholdt her.
Og det er i sidste ende kommunens ansvar. De kan så få en bøde på 14 millioner. Og de uddelegeret privat aktører i sagen, kan alt efter ansvar kan se få en på 2% eller 4%

Et andet spørgsmål er så, hvor ligger den den del af backup som virker ?

  • 1
  • 0
Claus Bobjerg Juul
  • 3
  • 0
Claus Bobjerg Juul

KMD: Tag backup af hele serveren.
Tech Mahindra: OK, det er programmet sat til.
Programmet: Ja, hehe, men man skal lige vide.

Burde være sådan her:
KMD: Tag backup af hele serveren.
Kunde/revisor: Bevis at det sker.
Tech Mahindra: OK, det er programmet sat til.
Kunde/revisor: Bevis at det sker.
Programmet: Ja, hehe, men man skal lige vide.
Kunde/revisor: Bevis at det sker.

  • 1
  • 0
Claus Bobjerg Juul

må Roskilde kommune spørge sig selv om:
Har vi en databehandleraftale med KMD?
Har vi en databehandleraftale med KMD's underleverandør?
Har vi en databehandleraftale med KMD's underleverandør's leverandør?
osv.

og har hver part overholdt deres dele af databehandleraftalens vilkår (fx om at indgå aftale med slutkunden)

  • 1
  • 0
Mads Bendixen

må Roskilde kommune spørge sig selv om:
Har vi en databehandleraftale med KMD?
Har vi en databehandleraftale med KMD's underleverandør?
Har vi en databehandleraftale med KMD's underleverandør's leverandør?
osv.

og har hver part overholdt deres dele af databehandleraftalens vilkår (fx om at indgå aftale med slutkunden)


Kommunen skal ikke have databehandleraftaler med KMDs underleverandører.

Databehandler skal underrette dataansvarlig om brugen af underdatabehandlere og dataansvarlig skal godkende brugen, men det kræver ikke seperate databehandleraftaler. Det er databehandleren der er ansvarlig (over for dataansvarlig) for underdatabehandlernes gøren og laden.

  • 1
  • 1
Finn Christensen

Og for hvert nyt lag af databehandleraftaler, så stiger sikkerheden nok.

>Ude af øje, ude af sind<
For hvert lag falder ansvar og sikkerhed gerne, da mange ansvarlige kan ender med ingen ansvarlige, hvilket kan findes som normaltilstand i dele af den offentlige sektor.

En af ulemperne ved politisk ledelse af en "upolitisk" administration.

Hvis vi er alt for flinke, så deles de (50%) om ansvaret og ansvarligheden..
~50% ansvar - Kommunen til KMD
~25% ansvar - KMD til indiske underleverandør Tech Mahindra
~12% ansvar - Tech Mahindra til ukendt storage-underleverandør.

(ja, ja, jeg kender da godt formalia, men den er kun juridisk mumbo jumbo på papir, der aldrig holder vand i virkelighedens verden).
+ der eksister med garanti papir med underskrifter ;)
- slutkunden snorker :(
- databehandler, dataansvarlig og underdatabehandler sov :(
- overvågning eksisterede ikke :(
- kontrol eksisterede ikke :(
- evt. revision af forhold blev aldrig udført :(

Var alle kontraktlige parter samt personer sikkerhedsgodkendte ifm. disse følsomme data ?
Hvem garanterede en evt. sikkerhedsgodkendelser og foretog kontrol ?
- fejlede også fælt, ellers kunne problemet blive fanget der :(

  • 3
  • 0
Sandy Ditlef

Mon ikke de fleste af os har mistet tilliden til de offentlige it-systemer? Vores data er spredt for alle vinde, og ingen har kontrol over dem. Ingen aner vel, hvilke data - og hvor data flyder rundt?! Der er således ingen grund til mere panik over dette rod og denne lemfældige omgang med vores data. Vi kan lige så gerne læne os tilbage og håbe det bedste.

  • 1
  • 0
Hans Nielsen

Vi kan lige så gerne læne os tilbage og håbe det bedste.


Kan godt følge dig i at de sidste 20 års NPM total har ødelagt tilliden som til SKAT og den offentlige forvaltning.
Men derfor kan man jo godt foder dem, så lidt som muligt, og sørge for at deres data bliver så invalide som muligt.

Men at vi bare skal læne os tilbage og se tillid forsvinde !

Tilliden mellem mennesker, som er forskellen på Danmark og lande som Syrien og Irak.
Tilliden mellem firmaer og mennesker som er forskellen på at bilværksteder konsekvent snyder deres kunder i USA.
Tilliden mellem firmaer og firmaer, som betyder at Danmark er et af de nemmeste lande at drive forretning i.
Tilliden mellem mennesker og det offentlige, som har betydet at vi gratis har undervisning og sundhedsvæsenet.

At tilliden i Danmark har betydning for at vi lever i et af de rigeste og lykkeligste lande i Verden., Skal sættes overstyr på grund af tåber, som kun tænker på egne bonusser, og usselt mammon. Hele vejen op til Politikerne.

Det har jeg ikke tænkt mig at slappe af over. Om ikke andet, så vil jeg selv som borgerlige/liberal stemme på enhedslisten næste gang. Da de var det eneste parti, som var imod den nye offentlighedslov.

Den offentlige forvaltning og tilliden til den, sammen med love, der tærer stærkt på vores menneskerettigheder, som retten til et privatliv. Er langt vigtigere end den økonomiske politik, som næsten ser ud til at blive ens, uanset hvilken side der får magten.

  • 7
  • 0
Søren Walther

Som jeg læser artiklen så er det eneste TechMs underleverandør har leveret er overvågning og vedligehold på et storage system som der så er blevet opsagt en aftale på ved årsskiftet hvorefter den underleverandør er holdt op med at udføre den opgave de ikke længere blev betalt for.

TechM har så undladt at selv udføre den opgave og til Store Bededag slap heldet op og der var et datatab.

Der ud over står der faktisk ikke så meget i artiklen hvis ikke vi skal begynde at gætte?

  • 0
  • 0
Anne-Marie Krogsbøll

John Bou


Ser man det - nogen har fået kolde fødder, og har fået ændret sit navn i mine kommentarer - det vidste jeg ikke, at man kan. For "John Bou" hed noget andet i går.

Men fair nok - det er mere ærgerligt, at "John Bou" ikke havde lyst til at svare på spørgsmålene vedr. TM's underdatabehandler, og heller ikke havde lyst til at love, at data stadig er i Danmark.

Det er foruroligende. Og det sidste, mistænker jeg (indtil det modsatte er sandsynliggjort) er en indirekte bekræftelse på, at det er de nok ikke nødvendigvis....

  • 3
  • 0
Anne-Marie Krogsbøll

Tilføjelse:
"John Bou" havde i går under sit eget navn lagt en kommentar, der skød skylden på KMD. Navnet afslørede, at "John Bou" er ansat hos Tech Mahindra.

"John Bou"'s oprindelige kommentar ser ud til nu at være fjernet - hvilket gør mine efterfølgende kommentarer til ham lettere uforståelige - men stadig relevante. Så jeg vil sætte pris på, at de får lov at blive stående.

  • 5
  • 0
David Kjær

Det er foruroligende. Og det sidste, mistænker jeg (indtil det modsatte er sandsynliggjort) er en indirekte bekræftelse på, at det er de nok ikke nødvendigvis....

Jeg tror bare manden er blevet godt gammeldags sur over at blive smidt under bussen på denne måde. Kommentaren i går var hamrende uprofessionel - og det er han nok blvet indskærpet.
Det vil jeg personligt regne som en langt mere sandsynlig grund til den efterfølgende tavshed.

  • 3
  • 0
Anne-Marie Krogsbøll

Der er 3. beh. af genomloven i dag kl. 11 (og derefter) - og 3. beh. af Eurodac-reglerne - og "2. behandling af L 218. Forslag til lov om ændring af lov om ændring af straffeloven, retsplejeloven, lov om konkurrence- og forbrugerforhold på telemarkedet, våbenloven, udleveringsloven samt lov om udlevering af lovovertrædere til Finland, Island, Norge og Sverige. (Ændring af revisionsbestemmelse). "

http://www.ft.dk/aktuelt/webtv/video/20171/salen/103.aspx

  • 2
  • 1
Anne-Marie Krogsbøll

Sidder i RegionH, mig bekendt har TM ingen forbindelse til SP, alt er driftet i dk og af dk teknikkere, ind til videre


Hej Claus Breum.

Tak for svar. Mht. TM har du muligvis og forhåbningsvis ret.

Men mht. resten - det er jo allerede slået fast, at SP i et vist omfang supporteres fra EPIC i USA - er selv i besiddelse af aktindsigter, der viser dette - og Version2 har også boret i det.

  • 3
  • 0
Bo Andersen

Jeg er sikker på at der står en eller flere økonomer bag, men naturligvis er det alle andres skyld, når økonomernes lorteløsninger ikke fungerer. Sådan er det altid.

(beklager..... er bare erfaringsramt)

  • 1
  • 0
Log ind eller Opret konto for at kommentere
IT Company Rank
maximize minimize