Itelligence styrer AI med 80-punkts tjekliste og obligatoriske tests: »Få det med fra starten« 

Med kommende AI-regulering bliver ideen om dataetik som konkurrenceparameter meget konkret. Men det kræver mere end pæne ord på et stykke papir at få succes i praksis. 


Dette forår tager EU for alvor hul på at udmønte AI-regulering, som for mange AI-projekter vil betyde større krav til fairness, forklarlighed og dokumentation. 

Og frem for at vente på, at en endelig lovtekst bliver færdigforhandlet i Bruxelles, er der god grund til at gøre dataetik, governance og validering til en fast del af AI-projektets elementer, som man har gjort hos danske Itelligence. 

»Vi har hele tiden talt om, at data-etikken ville blive et konkurrenceparameter. Og det bliver det jo i særdeleshed, når det også bliver lovgivning, fordi man fra starten kan bevise, at man har erfaring med at arbejde på denne måde,« fortæller Thomas Nørmark, der er Global Head of AI & Robotics.

»Den her del er arbejdet er supervigtig, så det er klart mit råd, at man tager det her arbejde med fra starten. Især fordi der nu begynder at komme lovgivning på området.«

Workshops og kontrol-spørgsmål

For Itelligence selv har det været en løbende læringsproces at finde de rigtige processer og værktøjer, der skal til. Projekter som AI-understøttelse til Børnetelefonen, som DataTech tidligere har omtalt, har ifølge Thomas Nørmark tvunget Itelligence til at »slibe sværdet« og have skarpe principper inden for dataetik og styring af machine learning lifecycle. 

Læs også: AI-løsning til Børnetelefonen: Etisk AI er kritisk

»Vi har etisk tjekliste, som minder lidt om den, vi har set fra Dansk Standard. Det er en klassisk lifecycle-tankegang, hvor vi har en masse kontrolspørgsmål, vi kan stille os selv og kunden,« forklarer Thomas Nørmark. 

Tjeklisten er op i faser - forretningsmål, dataforståelse, dataforberedelse, modellering, validering, idriftsættelse og drift. Heri listes spørgsmål om, hvorvidt modellens resultater kan reproduceres, om forklaringen af modellen er baseret på slutbrugerne, og om der er udpeget en person, der har ansvar for at overvåge at modellens performance i drift. 

For hver fase hører der også en workshop, som kunden skal igennem som en del af det, Itelligence kalder data ethics journey. 

»Det tager vi med i vores projekter hele vejen. Det sikrer, at man hele tiden har det on top of mind, at man få stillet de rigtige spørgsmål og involveret de rigtige mennesker. Og det sikrer, at kunden får implementeret noget governance omkring dataetik og AI, inden vi forlader projektet,« siger Thomas Nørmark. 

Itelligence har designet en 6-faset metode til at udvikle AI med Ethics by Design.

Illustration: Itelligence

Illustration: Itelligence

Fra principper til workflow

Til trods for tjeklistens godt 80 punkter, så repræsenterer den kun den nemme del af arbejdet. Der skal også være en platform, der sørger for, at tjeklisten ikke kun er et stykke papir, siger Thomas Nørmark. 

»Vi har været ude i hele verden for at lede efter det rigtige værktøj. Vi har kigget på Data Robot, Dataiku og flere af de andre meget store data science- og AI-platforme.«

Valget endte på platformen fra danske 2021.ai. 

»De har et lag for governance, sikkerhed og styring af dataetik oven på deres data science-værktøjer, der fremragende i forhold til de andre platforme. Det var slet ikke noget, vi så i de andre løsninger.«

Med værktøjet har Itelligence kunne gøre de etiske principper til håndfaste krav ved at sætte workflow op der styrer, hvornår projekter kan gå videre i faser. 

»Eksempelvis kan vi bestemme, at du ikke kan deploye en model, før de her tre personer har testet for fairness, explainability osv. Det er et værktøj, der supporterer hele den governance, der ligger omkring vores etiske koncept,« siger Thomas Nørmark. 

Sikre sammenhæng

Selv med store dele af dataetikken sat i system, kan man ikke slå hovedet fra og klikke opgaver af. 

»Når vi f.eks. skal vurdere fairness, får vi typisk kundens domæneeksperter til at definere alle de tests, vi laver. Og det er jo, fordi vi prøver at replikere den virkelighed, som mennesket repræsenterer,« forklarer Thomas Nørmark. 

»Men hvis de principper, som domæneeksperter har, ikke stemmer overens med lovgivning, så vil vores fairness-test i løsningen heller ikke gøre det. Så der skal man sikre sig, at der er en sammenhæng.«

Kræver plads i budgettet

Ikke alle projekter kræver samme form for omtanke. Itelligence har f.eks. bygget en computer vision-model, der kan tælle hvor mange paller og kasser, der går ind og ud af et lager, og desuden scrambler alt, hvad der kunne minde om mennesker inden data går ind i platformen. Her er der ikke bygget en masse dataetiske processer op omkring det, siger Thomas Nørmark. 

»Men du skal have en proces for at lave den risikovurdering, allerede inden projektet starter. Det er ikke sikkert, at vores nyansatte data scientist kan sidde og vurdere det, så man har brug for en model for at vurdere, hvornår den store dataetiske hammer skal op af lommen.«

Når hammeren omvendt skal i brug, så må man regne med, at budgettet skal udvides derefter. Det er et vilkår, som også kunderne må lære, påpeger Thomas Nørmark og peger som eksempel på et AI-signaturprojekt fra en kommune omkring tildeling af hjemmehjælp.  

»I selve udbudsmaterialet var der skrevet en linje eller to om dataetik. Vi kunne ret tidligt se, at det beløb, som var afsat til projektet, slet ikke stod mål med alle de udgifter, der ville være til de dataetiske aktiviteter, der skulle være i projektet. Men det var ikke på radaren, for det er så nyt.«

Itelligence vurderede at budgettet lige præcis kunne strække til at bygge løsningen, men at der ville komme 20-30 procent oveni for at dække governance, fairness og hele systemet omkring det.

»På værktøjssiden skal man aktivere et governance-modul i platformen, og det koster jo en ekstra licens. Der skal penge til,« siger Thomas Nørmark. 

Don't blow stuff up

På samme måde kræver det også investeringer at have de grundlæggende redskaber på plads. For Itelligence har det været afgørende, at moderselskabet i Japan har ville investere penge i at få udviklet de systemer og processer, som nu danner bund for projekterne.  

Dertil kommer opgaven med at få etableret en kultur om at arbejde på denne måde - særligt i data science-teamet.

»Vi har opnået succes med at have en principal data scientist, der går meget op i det her område og nørder det helt vildt. Men man kan snildt forestille sig et data science-team, der bare vil ud og gå amok med at prøve de nyeste modeller af og i den forblindelse glemmer dataetikken. Det er en ledelsesopgave at sikre, at dine teams og din projektorganisation tager det her med ind og skaber en kultur omkring det,« siger Thomas Nørmark.

»Især de nyuddannede data scientist kommer med en 'move fast, blow stuff up'-tilgang, som ikke fungerer godt i denne her sammenhæng. Det er ikke noget, der har været fast integreret på uddannelserne hidtil, men jeg er overbevist om, det kommer til at ske.«

Tips og korrekturforslag til denne historie sendes til tip@version2.dk
Kommentarer (0)
sortSortér kommentarer
  • Ældste først
  • Nyeste først
  • Bedste først
Log ind eller Opret konto for at kommentere