Dette indlæg er alene udtryk for skribentens egen holdning.

Realistiske fejlrater i databehandling

4. oktober 2019 kl. 14:1220
Realistiske fejlrater i databehandling
Illustration: Lasse Gorm Jensen.
Artiklen er ældre end 30 dage
Manglende links i teksten kan sandsynligvis findes i bunden af artiklen.

En af de første "Internal Auditors" jeg rendte ind i var fuld af gode historier.

En af dem var om hans første job i en meget stor dansk virksomhed hvor regnskabet hvert år stemte pæcist på kroner og ører, hvilket var usædvanligt for en så stor virksomhed. Han undrede sig lidt over det og fandt til sidst en konto med navnet "D.M.G.V" hvortil der hvert år var posteret et beløb på et par hundrede kroner, nogle gange debit, nogle gange kredit. Da han gik finansdirektøren på klingen, fik han at vide at forkortelsen dækkede over "Det Må Guderne Vide".

Fejlbehæftede data er ikke en undtagelse, det er et fact of life som alle IT systemer skal være designet til at reagere fornuftigt på.

Bogholdere er generelt meget pernittengrynede med den slags og derfor producerede "gammeldags" bogholderisystemer en fejlliste der skulle være tom inden regnskabet kunne lukkes.

Artiklen fortsætter efter annoncen

En typisk fejl kunne f.eks være en negativ lagerbeholdning, dagen åbnede med 121 dimser på lager men der blev solgt og leveret 131 i dagens løb. En sådan fejl kunne have mange former, forkert inddatering sidst dimser blev modtaget, returvarer, fejltastninger, dobbelt ordrer osv.

Siden da er fokus skiftet til validering i inddateringsøjeblikket, og når man således har forhindret at der kan opstå fejl, har man naturligvis sparet programmet til den omfattende og tidskrævende produktion af fejllisten bort.

Denne forskel i tilgang til problemet har i mindst et tilfælde forhindret mig i at købe en vare, som tydeligt lå på lager på den hylde som i computeren var tom.

Et andet tilfælde på inkonsistente data er rejser med rejsekort hvor hastigheden fra check-in til check-ud har været højere end alle offentlige transportmidler.

Artiklen fortsætter efter annoncen

Det er syv år de første gang blev gjort opmærksom på problemet, men på folks klager kan jeg forstå at det enormt dyre IT system stadig ikke checker for den slags.

Deloitte's rapport om Rigspolitiets håndtering af historiske teledata finder at 6.9% af rekvisitionerne af teledata fik fejlbehæftede svar (side 5).

Jeg tror ikke der er ret mange organisationer der kunne leve med en fejl i 6.9% af expederede sager og jeg er sikker på at enhver statsautoriseret revisor ville skrive en stinker af en anmærkning i ethvert regnskab længe inden fejlraten er nået op på 6.9%.

At Rigspolitiets "vare" i mange af disse sager er fængselsstraf gør alting meget værre.

Rapporten indeholder ingen formildende omstændigheder, tværtimod.

Side 40+41 vil utvivlsomt udløse afmægtig, hulkende krampelatter hos alle IT folk.

Det står ikke direkte i rapporten at teleselskaberne sender et regneark som CSV fil, men det er sådan jeg læser side 15.

Rigspolitiet har åbenbart end ikke gjort sig den umage at specificere hvilke kolonner og i hvilken rækkefølge data skulle afleveres, med det resultat at de har fået 100 forskellige layouts i tidens løb.

Kompetence-mæssigt svarer det til en elektriker der fortråder et nyt hus med de første og bedste ledninger han finder i genbrugspladsens kabelcontainer.

Indenfor El, Vand, Gas, Køling, Statik og mange andre tekniske discipliner kræver samfundet kompetence-baseret autorisation og ansvarsforsikring af sikkerhedsmæssige årsager.

Lovpligtig autorisering af databehandling af person-henførbare oplysninger er den eneste meningsfyldte, langsigtede politiske reaktion på denne skandale.

phk

PS: Sorry, jeg er lidt hæmmet af at min browser ikke kan lide V2's CMS for tiden, så jeg kan bla.a ikke deltage i debatten.

20 kommentarer.  Hop til debatten
Denne artikel er gratis...

...men det er dyrt at lave god journalistik. Derfor beder vi dig overveje at tegne abonnement på Version2.

Digitaliseringen buldrer derudaf, og it-folkene tegner fremtidens Danmark. Derfor er det vigtigere end nogensinde med et kvalificeret bud på, hvordan it bedst kan være med til at udvikle det danske samfund og erhvervsliv.

Og der har aldrig været mere akut brug for en kritisk vagthund, der råber op, når der tages forkerte it-beslutninger.

Den rolle har Version2 indtaget siden 2006 - og det bliver vi ved med.

Debatten
Log ind eller opret en bruger for at deltage i debatten.
settingsDebatindstillinger
20
7. oktober 2019 kl. 12:00

Mig bekendt har teleselskaberne ikke fortalt politiet at data var 100 pct korrekt, for der er tale om flere datafangster og et grundlag for beregning af regninger til kunderne der slet ikke er præcist nok som bevismateriale.

Nej, for det er ikke teleselskabernes opgave at logge data til politiet. Teleselskaberne udleverer de data, som de har opsamlet i anden anledning, som feks. data til fakturering af kunderne, og som de nu engang er registreret. Tilpasning, formattering osv. er politiets opgave.

19
7. oktober 2019 kl. 10:57

Jeg har selv oplevet problemet med Rejsekort. Pga. glemt tjek ud i Aalborg Lufthavn, havde jeg rejst fra Aalborg til København på 1½ time, til en pris på omtrent 450,-. Damen jeg snakkede med hos Rejsekort support, insisterede stadig på at få en kopi af mit boardingpas, som dokumentation for at jeg ikke havde kørt i bus eller tog.

18
7. oktober 2019 kl. 08:08

Mig bekendt har teleselskaberne ikke fortalt politiet at data var 100 pct korrekt, for der er tale om flere datafangster og et grundlag for beregning af regninger til kunderne der slet ikke er præcist nok som bevismateriale.

Det er altså INDEN der sker fortolkninger etc. hos politiet.

Søren Papes vedholdende insisteren på at logge teledata har altid klinget hult, og med den ukendt, men nok lave, datakvalitet kan data ikke være egnet til en retssag.

17
7. oktober 2019 kl. 03:22

Jeg er sikker på at der findes et par internationale tekniske specifikationer på området. Det er vel (desværre?) ikke kun i Danmark den slags data indsamles så massivt.

Ellers har Peter Thielst vel en adapter per større teleselskab...?

Men du fik virkelig smilet frem med ordet 'fortråde' og jeg måtte helt ned i korpus for at finde et par anvendelser. Gad vide om det er et af Ørsteds efterladenskaber?

16
5. oktober 2019 kl. 18:44

Det kunne værre spændende hvis man kunne få indsigt i deres specifikationer. Her tænker jeg især på deres testprocedure (inkl. afprøvningsdatasæt) - hvis det noget sinde har eksisteret. Det virker lidt som om, at det er politimester Holms 13-årige it-kompetente nevø, der har skruet noget sammen i skolefrikvateret, ved at finde eksempler på Youtube.

14
5. oktober 2019 kl. 13:12

Det kan du sige.

Men hvis man læser Deloitte's rapport (meget anbefalet at læse minimum p.4-8 jfr. link i første debat-indlæg), så har problemet med formater og feltindhold eksisteret i MANGE år OG været et tilbagevendende problem fra de fleste selskaber.

Den modtagne it-afdeling, som har lavet disse special-konverteringer for at tilpasse sig, BURDE da have reageret: "Kan det være rigtigt at ....". Det må da være basalt at beskrive og bede om de "krævede" datoformater:

  • dato: dd-mm-yyyy
  • position: xxxxxxxxxxxxxxxxxx (kan ikke foreslå noget eksempel, da de tre koordinatsystemer ikke er mig bekendt)
  • IMEI (International Equipment Identity): nnnnnnnnnnnnnnnn og så videre.

Jeg ved ikke om optælling af "rækker ind" og "rækker ud" er naturlig; ihvertfald simpel, og jeg gør det i mange tilfælde.

Validering af data, eller konkrete fejl, er en anden sag.

Mon ikke andre organisationer laver lidt selvransgalse ?

  • de kan ellers ikke nu være i god tro længere.
13
5. oktober 2019 kl. 12:49

"selling point" for 5G.

K

12
5. oktober 2019 kl. 12:40

</p>
<p>Man forestiller sig en gammel grønthandler som chef for retsmedicinerne i en krimiserie i fjernsynet ...</p>
<p>Jeg gruer for, at løsningen bliver at opløse politiets it-afdeling og lade FE overtage det hele. Det kan blive rimeligt ubehageligt.

Jeg tror ikke du skal regne med at det er specielt for politiet. I næsten alle tilfælde er dem der udformer kravene til IT systemer rene novicer. De får lov til at gøre det een gang i hele deres karriere. De har ingen anelse om hvad der er vigtigt.

Værre bliver det når det er en kommité der stiller kravene. Så bliver det nemt noget i stil med: hvis jeg får feature A så får du feature B. Ingen tager ansvar for helheden.

Kig på offentlige IT projekter der fejler: ovenstående er næsten altid en af grundene. Det samme gælder også projekter i private virksomheder ... der hører vi bare ikke så ofte om det.

11
5. oktober 2019 kl. 11:09
  • at hverken anklagere eller forsvarer på eet eller andet tidspunkt har undret sig ....” det kan ikke passe, nu ser jeg igen ......”.

Eksemplet i kommentarerne med vest og øst i Jylland. Ser “man” det een gang, men efter een to tre grange, så må det da undre. Hvis fejlene virkelig er mange, og tidsrummet øjensynligt langt, så MÅ der da være gentagelser som skaber UNDRING. Eller har alle brugerne parkeret deres fornuft i venteværelset ?

Og Rigspolitiets håndtering af henvendelser fra en politikreds i 2018 unddrager sig enhver pæn kommentar.

9
4. oktober 2019 kl. 22:01

Teleselskaberne har ingen interesse, i at give korrekte oplysninger, da det ikke er i deres forretnings model, det eneste DATA de har interesse i er de DATA, som kan afregningen til kunderne i form af telefon-regninger, her kræves korrekthed i regningen. Mens de DATA til det offentlige, er der ingen krav til korrekthed, dette synes måske lidt mærkelig, men her skal man tage i betragtning at dette er en politisks beslutning fra Folketinget.

8
4. oktober 2019 kl. 21:44

Rigspolitiet har åbenbart end ikke gjort sig den umage at specificere hvilke kolonner og i hvilken rækkefølge data skulle afleveres, med det resultat at de har fået 100 forskellige layouts i tidens løb.

Det er det der sker når man sætter folk der ikke forstår IT til at stille krav til IT systemer og protocoller. Så får man krav som ikke er præcise på de rigtige punkt og fokuserer på det forkerte.

I praksis er det nok startet som en meget manuel process at indlæse data og så er der plads til en masse massering af data. Not so much når der bliver mere af det.

7
4. oktober 2019 kl. 20:35

Fra Rigspolitiets redegørelse, s 70:
Brug af excel kan give afrundingsfejl ved IMEI numre

Ikke første gang, at regnark har forbedret data. Jeg mindes noget med gener, der blev oversat til datoer og sådan noget. Gener kan jo hedde en masse sjovt.

Jeg synes, det her ligner totalt sammenbrud. Hvordan har man kunnet servere det her til en offentlig anklager uden at bryde sammen af grin? Har man haft en "datavask", der har fjernet åbenlyst umulige data?

6
4. oktober 2019 kl. 19:54

Fra Rigspolitiets redegørelse, s 70: Brug af excel kan give afrundingsfejl ved IMEI numre

Herudover er der oplyst om fejl, der opstår ved afrundinger mv. af data i Excel. Ved numre på over 15 cifre sker der således i nogle tilfælde en afrunding. Det kan have haft betydning for den korrekte gengivelse af IMEI-numre, der i nogle tilfælde kan have en længde på op til 16 cifre. Det er kun de først 14 cifre, der anvendes, men hvis der sker oprunding af de to sidste cifre, vil det kunne have en indholdsmæssig betydning. En anden fejlkilde i Excel er, at et foranstillet”0” i nogle tilfælde vil kunne blive fjernet, og det vil også kunne have en betydning for den korrekte gengivelse af IMEI-numre

Derudover kan læses afsnit 6.5 Fejlkilder og usikkerheder i Rigspolitiets håndtering af historiske teledata

5
4. oktober 2019 kl. 19:15

Hvis loggen viser IMEI-nummer, gør det det så ikke irrelevant at skurkene skifter taletidskort hele tiden? Det sker ofte i moderne krimier, og sikkert også i virkeligheden.

4
4. oktober 2019 kl. 16:19

1.4 på side 7

På baggrund af gennemgangen af kvalitetskontrol i Telecenterets håndtering af historiske teledata er der identificeret risici, som medfører en moderat til høj risiko for usikkerheder og fejl.
.
Disse risici er tilstede på tværs af den samlede dataværdikæde fra mast til retssag,....

7.5.3.4.1 på side 41

Der er anlagt en hypotese om, at populationen i sydøst kan være udtryk for, at der er sket en ombytning af koordinater. For at teste dette er koordinaterne byttet om, så der foretages en spejling fra sydvest til nordøst. Denne spejling fremgår af figuren nedenfor <em>(transposed values)</em>.</p>
<p>Det fremgår, at spejlingen resulterer i en udstrækning af koordinat-datapunkter, der har en betydelig lighed med Danmarks kontur.</p>
<p>Det bestyrker hypotesen om, at disse koordinatfejl i rådata er udtryk for, <strong>at der i forbindelse med registrering af koordinater hos teleudbyder, er sket en ombytning af koordinaterne.</strong>

Fremhævning er min markering.

5.3.4.2 på side 41-42

...Der er i stikprøven identificeret afvigelser i mastepositioner over tid på op til 200 meter.</p>
<p>Afvigelser i denne størrelsesorden vil i de fleste tilfælde ikke have betydning i lyset af de generelle usikkerheder, der er forbundet med geografisk lokalisering ved brug af teledata.</p>
<p>Navnlig i tættere bymæssig bebyggelse, hvor celler generelt dækker et mindre område, kan selv mindre forskydninger dog i specifikke situationer potentielt have betydning.

Bemærk her "generelle usikkerheder" som jo kun vil øge usikkerheden.

__ oo O oo __

1.1 på side 4

Analysen af Rigspolitiets konvertering af historiske teledata på rækkeniveau viser samlet set, at der har været uoverensstemmelser i antal rækker mellem konverterede data og rådata i ca. 6,9 pct. at de undersøgte rekvisitioner.</p>
<p>Heraf er der rækketab (dvs. færre rækker i konverterede data end i rådatafilen) i 1.131 rekvisitioner i undersøgelsesperioden svarende til ca. 5,8 pct. af rekvisitionerne. Det svarer til 4,5 mio. tabte rækker.

1.2 på side 6

..Endvidere er data forbundet med en række usikkerheder og fejlkilder givet forhold hos teleudbydere,..

7.2 på side 70

Undersøgelsen viser, at den samlede systemplatform, herunder procedurer for udvikling og drift, er på et helt utilstrækkeligt niveau

3
4. oktober 2019 kl. 15:02

Databehandling af person-henførbare oplysninger er den eneste meningsfyldte, langsigtede politiske reaktion på denne skandale.

Er den sætning ikke ufuldstændig?

Mangler du ikke at sådan databehandling skal tilføjes til listen over opgaver der kræver

kompetence-baseret autorisation og ansvarsforsikring af sikkerhedsmæssige årsager

2
4. oktober 2019 kl. 14:49

Hvis det faktisk var sådan, at en mast havde officiel adresse i Vestjylland, men i virkeligheden stod i Østjylland (eller var det omvendt?), hvordan skal man så lige fange den? Man kan måske lave en sanitetsalgoritme som holder øje med folks angivelige fart, når de på ingen tid ryger fra Horsens til Blåvand ... Og så er vi igen ude i at overvåge hele befolkningen for at opdage den ene type fejl. Og kun fordi man i dag ved, at sådanne fejl forekommer. Alternativt skal nogen køre rundt og lede efter masterne.

Der vil altid kunne tænkes at være fejl, som kun bevidste individer kan fange ved at undre sig. Eller ved slavisk at gå alt igennem. Fire gange om året. Eller er der bedre forslag?