Skat vil have mere machine learning til borger-kontrol: Forsker frygter glidebane

(og laver lange indlæg)

Det er set før i debatten (host!)

Til det formål er der lavet årlige compliance-undersøgelser, hvor der er foretaget tilfældige stratificerede stikprøver blandt ALLE borgere og ALLE virksomheder som så alle er undersøgt grundigt bl.a. via manuelle kontrolbesøg (for virksomheder). De data er guld værd for os, fordi de netop er tilfældigt udvalgte og dermed har langt mindre bias end hvis vi kun kiggede på sager, som var manuelt udvalgt til kontrol.

Her rammer du efter min mening lige ned i et meget vigtigt punkt: den uafhængige kontrol af modellerne (automatikkerne, hvad-vi-nu-kalder-dem-i-dag?). Det er også en af de pointer, som efter min mening er fremtrædende i de artikler, som jeg linkede til, og noget, som ellers virker til de facto at være fraværende alle andre steder.

Jeg må understrege, at der netop ikke er tale om en egenkontrol (som også er vigtigt nok, bevares, men det er en anden snak), men derimod en kontrol, som er helt afkoblet fra modellerne og deres virkemåde.

Der er selvfølgelig nogle mulige feedback muligheder, som f.eks. at kontrollerne bruger en risikobaseret udvælgelse og enten har samme bias som modellerne, eller igennem sine resultater over tid nudger modellerne i samme retning - eller f.eks. at de, som skal kontrollere ikke tror på, at det nytter på samme måde som ved de modelgenerede kontrolsager, og derfor ikke er besværet værd (og dermed bliver noget, som bare skal overståes hurtigst muligt med mindst mulig indsats uden at det bliver for tydeligt). Jeg er faktisk ret fortrøstningsfuld i forhold det netop det omtalte setup med compliance data, men andre kan nemt gå i disse og lignende fælder.

For det bør, efter min personlige mening, være et helt grundlæggende krav fra samfundets side, at brugen af modeller og deres virkemåde, som udgangspunkt skal kontrolleres af uvildige og kompetente kontrollører (og det er ikke gratis, og kan næppe ske på et budget som f.eks. det, som Datatilsynet i dag spises af med til deres opgaver - men der ligger jo efter sigende guld-på-gaden i brugen af disse modeller, lige til at samle op, og så er det vel kun rimeligt at noget kanaliseres tilbage til sikring af kvalitet og troværdighed - og skulle det imod forventning "ødelægge" business-casen, så husk, at en business-case skal indregne alle nødvendige omkostninger).

Interessant nok, så er netop revisorer klassisk set (i hvertfald i deres angivelige selvopfattelse) netop i rollen som den uafhængige og uvildige kontrollant, som bl.a. løser en samfundsopgave - og derfor kan deres modstand, som refereret i den oprindelige artikel, virke underlig. Dels fordi at de godt og grundigt er ved at spille sig selv af den ellers potentielt ganske vigtige (og lukrative!) bane, men også fordi at det virker som om, at de nok optræder som 3. part, men nok mere taler erhvervslivet end samfundets interesser, og derfor ikke ganske uvildige. Men de jo hovedsageligt også betalt af investorer og andre finansielle interessenter, så de varetager jo nok bare egne og deres kunders interesser.

Lytter man f.eks. til "De hemmelige aktionærer", som er Tynells podcast-serie om Udbytteskat-skandalen, så virker det til, at Skat var tidligt ude med både at italesætte problemstillingen, og også med flere rimeligt konstruktive forslag, men gentagne gange, og over længere tid, helt blev spillet af banen af erhvervsinteresser (og deres betydelige lobbyisme) og af "blå" politik. Ord som "usædvanligt byrdefuldt" og "tab af arbejdspladser" blev flittigt brugt.

Så, hvis vi hverken kan forvente hjælp fra revisorside, eller fra erhvervs- eller politisk side, men tværtimod må påregne en betydelig egeninteresse fra disse i at tale kontrolbehov og -omfang ned, så er det svært at se, hvordan det så skal ske? Og ske, det skal det efter min mening, hvis det i det hele taget skal give mening.

Og, hånden på hjertet, tror du, at I ville have fået disse data, som jo er deres vægt værd i guld for jer, hvis ikke det lige var fordi, at man alligevel havde brug for compliance-funktionen, og de derfor kommer en "gratis" appelsin i turbanen? Hvis I med andre ord selv skulle finde budget til det? Det tror jeg ikke. Og det er IMHO umådeligt trist på det helt princippielle plan.

Og den er rigtig god til at opdage det, hvis der pludselig opstår et nyt mønster i snyderiet.

Af nysgerrighed, i hvor høj grad er jeres modeller medvirkende til at føde viden tilbage til resten af systemet, og i sidste ende lovgivere? Kunne jeres arbejde have taget sager af samme karakter som f.eks. Udbytteskat-skandalen i opløbet? Jeg ved godt, at den egentlige skandale i Udbytteskat-skandalen tilsyneladende var, at der ikke blev lyttet, men at kikkerten systematisk blev sat for det blinde øje ... men første forudsætning for at gøre noget, er jo at problemerne i det hele taget bliver opdaget og italesat i rette sammenhæng.

Der er modellen meget værdifuld og har sparet skatteyderne for MANGE penge.

Her vil jeg så, helt for egen regning, klappe i hænderne. Det virker til, at der er en helt fløj i politik, som er så sure over at betale skat, at de er villige til at sabotere systemet, når de nu ikke kan få det afskaffet på regelret vis. Men jo flere der betaler den skat, som det er bestemt, jo mindre hårdt behøver man at læne sig op af helt simple folk, som på gennemskuelig vis betaler enhver sit, uden af fifle eller manipulere. Keep up the good work!

Jeg tror, at der er meget at hente på dette område for os alle, hvis vi gør det rigtigt, og jeg vil elske at høre om nogle rigtigt gode eksempler ... for det trænger vi i den grad til efter at eksemplerne på det modsatte virker til bare at stå i kø. Så hold dig endelig ikke tilbage!

Der blev oprettet et Dataanlyse-kontor tilbage i 2014, som skulle være "Center of excellence" for "avanceret dataanalyse" i hele SKAT. Og siden har vi arbejdet ganske målrettet og har i dag temmelig mange løsninger i produktion. Og der er mange rigtig gode eksempler.

SKAT var et af de aller første steder i landet, hvor man rent faktisk havde en kørende continuous delivery produktionspipeline til Machine Learning modeller - som i den grad har overrasket folk, når vi har været rundt og præsentere den. Så teknisk er vi faktisk ret meget længere end de fleste. Jeg har faktisk endnu ikke set et setup, hvor man er så langt som vi er.

Af løsninger kan jeg nævne en simpel men voldsomt succesfuld model, som matcher data fra udlandet med en person i CPR registeret. Når data kommer ind fra udlandet, så er der jo (naturligvis) ikke CPR nummer på, så typisk får vi et navn, måske adresse skrevet på mange forskellige måder og hvis vi er heldige en fødselsdag eller et telefon-nummer. Tidligere sad der så en person, og sikrede, at de data endte i skattemappen for den korrekte person. I dag køres data igennem en model, der laver diverse fuzzy-matching på de enkelte informationer og så giver en samlet score for hvem modellen tror det er. Og er modellen mere end 9x% sikker (jeg kan ikke huske tallet) så kobles de data automatisk til den person. Hvis den er mindre sikker, så sendes data til manuel behandling. Med KRAFTIGT stigende dataudveksling med udlandet, så har den model sparet OCEANER af utrolig kedelige arbejdstimer. Og den laver - så vidt jeg er orienteret - nærmest aldrig fejl.

En af de nyere løsninger er en løsning, der automatisk matcher indskannede ansættelsekontrakter på udenlandske medarbejder, og validerer at kontrakten har samme indhold i forhold til den ansøgning virksomheden oprindeligt havde på at få godkendt? (jeg er ML engineer og ikke nødvendigvis så godt inde i regelsættene :-)) udenlandsk arbejdskraft. Dvs. ansættelsesperiode, sted, timeløn og lign. Igen en triviel opgave, som sagsbehandlere er glade for at slippe for, men som ikke er triviel at løse automatisk. Sagsbehandlere hjælper modellen med at blive bedre til at finde de relevante informationer i ansættelseskontrakterne, ved at de kan markere en fejl og så med musen markere hvor i kontrakten den korrekte information står.

Derudover har vi også en række mere "standard" risiko-modeller. Dvs. modeller, der på baggrund af historiske sagsbehandinger og "supervised learning" scorer virksomheder og borgere og giver et input til om der skal foretages en manuel kontrol. Der har vi stor glæde af mange års "compliance data". I mange år har der været et stort politisk ønske om, at kende graden af regelefterlevelse i samfundet. For at komme med et realistisk samlet tal for det der kaldes "skattegabet" dvs. forskellen på den skat der indkræves og den skat der BURDE være indkrævet hvis alle betalte korrekt. Til det formål er der lavet årlige compliance-undersøgelser, hvor der er foretaget tilfældige stratificerede stikprøver blandt ALLE borgere og ALLE virksomheder som så alle er undersøgt grundigt bl.a. via manuelle kontrolbesøg (for virksomheder). De data er guld værd for os, fordi de netop er tilfældigt udvalgte og dermed har langt mindre bias end hvis vi kun kiggede på sager, som var manuelt udvalgt til kontrol.

TastSelv-modellerne fortjener også ros. En række modeller er med til at vurdere, om borgers ændringer i TastSelv bør give anledning til en manuel kontrol. Ud over en lang række forretningsregler og manuelle checks, så har vi en unsupervised outlier-model, der fortæller om en ændring i TastSelv ser "normal" ud. Når borgere laver ændringer i TastSelv så har vi få dage før eventuelle overskydende skat skal være udbetalt, og det er altafgørende at få fundet snyd INDEN pengene udbetales ellers er det MEGET dyrt at kradse dem ind igen efterfølgende. Det hjælper modellen på. Og den er rigtig god til at opdage det, hvis der pludselig opstår et nyt mønster i snyderiet. Det ses ofte i forbindelse med bandekriminalitet, hvor de er ligeglade med om de efterfølgende bliver opdaget, hvis bare pengene er kommet. Der er modellen meget værdifuld og har sparet skatteyderne for MANGE penge.

I det hele taget har vi en lang række pisse dygtige data scientists, som i den grad ønsker at levere gode modeller. Og vores største problem er at de ofte ikke er så længe hos os, fordi det private erhvervsliv har stor mangel på komptente ML udviklere, som har erfaring med struktureret udvikling af ML modeller i et produktiossetup og ikke f.eks. "bare" universitetserfaring med machine learning modeller. Det er et ret stort issue for os, at vi ganske enkelt ikke er lønmæssigt konkurrencedygtige. Til gengæld uddanner vi super dygtige folk, som i den grad kan levere værdi efterfølgende i det private.

Spørg endelig, hvis man godt vil vide hvad vi render og laver. Meget lidt er hemmeligt, og mange af tingene er vi sådan set ganske stolte af.

Hvor er det skønt med fagligt input og uddybelse af hvorledes der arbejdes i praksis. Hands on experience slår alt.

Således forholder sagerne sig præcis, som man kunne forvente. Der arbejdes rationelt og med blik for at statistisk analyse kan forbedre sagsbehandlernes arbejde, i et felt hvor alle selvfølgelig er bekendt med automation bias standard indvendinger og reelle faldgrubber.

Forsker frygter glidebane

Så mangler vi blot dialogen fuldendt, så vi kan høre om forskeren, som er fyldt med frygt for glidebanen, ønsker at uddybe frygten konkret på baggrund af nøjagtig de statistiske metoder der benyttes, samt de konkrete data der samkøres.

Vi har i øvrigt et stort fokus på at forklare de enkelte scoringer - bl.a. fordi resultaterne skal benyttes af sagsbehandlere, som ikke kan bruge en black-box risk-score til noget.

Nu kan jeg af gode grunde kun tale for mig selv, men hvis jeg skulle liste de ting op, som bekymrer mig mest, så er det:

• ugennemskuelighed
• en deraf afledt overdreven tiltro til resultaterne
• en deraf afledt mangel på mulighed for at tale til sund fornuft eller påtale selv åbenlyse fejl

... og hvis man holder fokus på at altid kunne forklare (og ikke kun bortforklare eller efterrationalisere) og dobbeltchecke, som det lader til at I gør, så er man kommet rigtigt langt.

Her er en længere artikel, som også peger på, at en stigende erkendelse af behovet for at løbende kunne kontrollere og revidere automatiserede løsninger (besluttende eller beslutningsstøttende algoritmer og metoder, ML og AI, kært barn mange navne), og hvordan uafhængighed er et væsentligt element i at opbygge den nødvendige tillid: https://arstechnica.com/tech-policy/2021/12/the-movement-to-hold-ai-accountable-gains-more-steam/

Timnit Gebru har en "opinion" (kronik?) i The Guardian, som også peger på behovet for uafhængighed, og som bl.a. påpeger det problematiske i at kritisk forskning kan have svært ved at finde funding, fordi at funding i høj grad kommer fra dem, som kan komme under kritik: https://www.theguardian.com/commentisfree/2021/dec/06/google-silicon-valley-ai-timnit-gebru - hvis navnet forekommer bekendt, så er det måske fordi, at hun er den forsker i bl.a. algoritmisk bias, som forlod/blev fyret fra Google efter angiveligt at være kommet under pres for at trække en artikel tilbage: https://en.wikipedia.org/wiki/Timnit_Gebru

Spørg endelig, hvis man godt vil vide hvad vi render og laver. Meget lidt er hemmeligt, og mange af tingene er vi sådan set ganske stolte af.

Jeg tror, at der er meget at hente på dette område for os alle, hvis vi gør det rigtigt, og jeg vil elske at høre om nogle rigtigt gode eksempler ... for det trænger vi i den grad til efter at eksemplerne på det modsatte virker til bare at stå i kø. Så hold dig endelig ikke tilbage!

Tak for det indlæg. På høje tid med noget faglighed på området på disse debatsider :)

Jeg sidder som "Machine Learning Engineer", som det så smukt kaldes i SKATs Center for Avanceret Analyse. Jeg sidder og udvikler den tekniske platform og de tekniske principper for hvordan vi udvikler Machine Learning modeller i SKAT - som allerede benyttes i flere forskellige sammenhænge, men ALDRIG til automatiske afgørelser, men som støtteredskab til sagsbehandlere. Det betyder f.eks. hjælp til risiko-vurdering i forbindelse med udtagning af sager til kontrol.

Jeg vil bare smide et par ting ind, som ofte bliver misforstået: Der bliver ikke lavet black-box modeller overhovedet. Ingen neurale netværk eller deep-learning. Langt det meste er relativt simple regressions-modeller / random forest / gradient boost og lign. Altså noget mange nok mere ville kalde "statistisk analyse" end "machine learning". Men ML er blevet en catch-all term. Vi har i øvrigt et stort fokus på at forklare de enkelte scoringer - bl.a. fordi resultaterne skal benyttes af sagsbehandlere, som ikke kan bruge en black-box risk-score til noget. De skal netop have en grund til hvorfor der skal kigges på en borger/virksomhed og et forslag til hvor der skal checkes.

En del af det der laves er også ganske simple rebotter, der blot automatiserer simple opgaver, der koster sagsbehandlere meget tid:

• Oprette sager i et system på baggrund af nogle informationer, der så skal tastes ind
• Automatisk hente information ind fra flere kilder, så sagsbehandleren ikke skal gøre det selv.
• Slå en person op i CPR-registeret så data fra udlandet kan lægges i personens skattemappe.

Men lovgivningen og tolkningen er uklar - og det vil vi jo rigtig gerne have rådet bod på. Når vi spørger jurister, så vil de jo ikke udtale sig konkret fordi der netop IKKE er taget stilling og der ikke findes afgørelser man kan læne sig op ad - og det gør det svært.

Spørg endelig, hvis man godt vil vide hvad vi render og laver. Meget lidt er hemmeligt, og mange af tingene er vi sådan set ganske stolte af.

I bedste Ekstrablads-stil er Version2 her i gang med at appellere til læsernes frygt. Skat arbejder allerede med machine learning på et vist niveau og det skal de da i den grad forstærke brugen af. At et medie under Ingeniøren agerer maskinstormer er ret besynderligt. Som jeg forstår forslaget er der ikke tale om, at der ønskes adgang til flere data end medarbejderne i Skat allerede har mulighed for at få adgang til. De kan bruge dem til klassisk analyse allerede. Så ingen glidebane der. Det er "blot" et ønske om at få blåstemplet brugen af machine learning ovenpå disse data, formentlig forårsaget af at nogle jurister har sat spørgsmålstegn ved brugen af netop denne auto-analytiske metode. Ligesom jurister i relation til Skat har sikret, at vi nu får en hel banal model til beregning af den nye ejendomsvurdering, mens Skats avancerede machine learning (:ML) model så blot får lov at fungere som kvalitetsstempel. Den er naturligvis meget mere præcis, men må kun bruges til at checke hvorvidt den banale beregning afviger for meget fra ML-modellen. I så fald sendes vurderingen til manuel behandling. For naturligvis må vi ikke bruge ML modellen i stedet for den banale model (!) Men det er der, vi er lige nu. Dyrt og i bedste fald mærkeligt. Lad os nu komme i gang med at udnytte ML for alvor, så vi både kan få langt bedre kvalitet og hurtigere og mere individuel sagsbehandling. Og nej, jeg er ikke bange for at hverken en rød eller blå regering vil omdanne Danmark til en totalitær stat og kaste sig ud i ML-baseret hyperovervågning af hver eneste danskers digitale skridt. Glidebanen går i øjeblikket den modsatte vej. Medierne inklusiv Version 2 skubber til frygten for ML og vi ser gradvis nedlukning af ML overalt i offentlig sektor. Selv de bedste eksempler som fx hurtig detektering af hjertestop ved 112 via ML kommer næppe nogen vegne. Vi glider dybere og dybere ned pga. frygt for fejl og følelsesbaserede protester i stedet for at hjælpe vores medmennesker vha. den nye teknologi. Vi har en etisk fordring, som der desværre ikke bliver talt om. Etik og AI handler pt. kun om at sikre at vi IKKE gør noget. Det burde i lige så høj grad handle om at sikre, at vi gør noget. Kom nu Version 2.

Skattevæsenet/politikkerne skulle hellere bruge tanker på forenkling af reglerne - så kan skattebehandlere, machines og borgere gennemskue, hvad der foregår.

Og - hvis vi er heldige - endda også embedsmænd og politikere.

Skattevæsenet/politikkerne skulle hellere bruge tanker på forenkling af reglerne - så kan skattebehandlere, machines og borgere gennemskue, hvad der foregår.

Det er et faktum, at der er blevet afskediget et væld af skattemedarbejdere, som hver især har inddrevet sin egen løn gange 20 hver måned, og at dette ikke bare er vores fælles vælfærdsgrundlag som tærres, men også tilliden til SKAT.

Og Skattearbejdspladserne er blevet flyttet rundt i landet til stor skade for kompetencerne. Og det har ingenting at gøre med udflytning, at flytte folkene mellem Billund, Horsens, Lolland-Falster og Ringkøbing.

Det er elendig ledelse, ligesom det er et faktum at cheferne i Skat har ignoreret åbenlyse advarsler, hvilket har resulteret i manglende skatteinddrivning i mia.-klassen.

Uanset deres interesse, er der relevante bekymringer, som Danske Revisorer bringer til torvs, og selvfølgelig skal man ikke yderligere smide borgernes rettigheder under bussen, for noget der i høj grad kunne mindskes, ved rent faktisk at holde de chefer ansvarlige, som får penge for netop det.

totalovervågningen - for hvad skulle stoppe det?

1. Påstå først en absurd overdrevet konsekvens

Der er jo en grund til, at man udformer det på den uigennemskuelige måde

2. Lad som om at kritikpunktet der debateres allerede er både sandt og intenderet.

ganske som når tech-giganterne bruger store ressourcer på (og får lov til)

3. Sammenlign med en urelateret anden usandhed.

at udforme komplet uforståelige og uigennemskuelige cookie-deklarationer

4. Lyv om hvad GDPR rent faktisk giver virksomhederne lov til

Formålet er jo at skjule for befolkningen og Folketinget

5. Spred frygt, usikkerhed og misinformation.

Men nogen i regeringen/ministerierne bruger mange kræfter på at tilrane sig skjult magt.

6. Skift fuldstændig umotiveret angrebet til politikerne, selvom kritikpunktet er mindre politisk magt og mere magt til embedsfolk.

Det har vi jo også set på andre områder:

7. Afslut med en fuldstændig urelateret artikel, som om der er en sammenhæng.

Jeg formoder at alle sunde mennesker er enige i at SKAT skal have bedre mulighed for at finde snydere og snyltere, som ødelægger vores solidariske tillid til at også naboen betaler sin del, når man selv gør.

Det er et faktum, at der er blevet afskediget et væld af skattemedarbejdere, som hver især har inddrevet sin egen løn gange 20 hver måned, og at dette ikke bare er vores fælles vælfærdsgrundlag som tærres, men også tilliden til SKAT.

Danske Revisorer ved godt at hver eneste automatisering vil overflødiggøre revisorer. Derfor skal de per definition modarbejde al automatisering. Deres indvending er gyldig, men man skal have deres interesse i mente.

Uden at vide hvilke data der ønskes samkørt, kan ingen mene noget om tiltaget er angribeligt. Så den detalje kan v2 måske uddybe?

Der er allerede et væld af klassiske algoritmer, som udtrækker afvigende indberetninger til stikprøver. Og det er alle forhåbentlig glade for, for ellers kan enhver jo f.eks. bare printe falske faktura og modtage Momsrefusion i det uendelige.

Her kommer så et forslag om endnu en mulighed for automatisering, så lad os få detaljerne på bordet om hvad den skal, inden nogen på forhånd har en mening om sagen uden at være oplyst.

"...hvor det er svært at gennemskue, hvad det egentlig er for en teknologiudvikling og dataanvendelse, som der skabes plads til."

Så kan vi ganske roligt gå ud fra, at det bliver worst case-scenariet - totalovervågningen - for hvad skulle stoppe det?

Der er jo en grund til, at man udformer det på den uigennemskuelige måde - ganske som når tech-giganterne bruger store ressourcer på (og får lov til) at udforme komplet uforståelige og uigennemskuelige cookie-deklarationer og privatlivspolitikker. Formålet er jo at skjule for befolkningen og Folketinget, hvad det er, man har gang i - ellers ville man jo i stedet bruge krudtet på at skrive noget, folk kunne forstå.

Men nogen i regeringen/ministerierne bruger mange kræfter på at tilrane sig skjult magt. Det har vi jo også set på andre områder:https://politiken.dk/indland/art8508810/Minister-m%C3%A5-udskyde-lov-om-ulovlig-overv%C3%A5gning