Udkast til EU's AI-reglement lækket: Udvikling af forbudt AI skal give kæmpebøder

Reguleringen stiller både krav til transparens, præcision og sikkerhed, hvis applikationer lander i højrisiko-kategorien.

EU-Kommissionen er klar på at forbyde AI til masseovervågning og sætte begrænsninger på brugen ansigtsgenkendelse i det offentlige rum. 

Det fremgår af et lækket udkast af det længe ventede lovforslag til regulering af AI, som blandt andet er blevet delt på Twitter af Omer Tene, der er VP og Chief Knowledge Officer ved IAPP (International Association of Privacy Professionals).  

Det er uklart præcist, hvor gammel dette udkast er, og meget kan stadig ændre sig før det endelige forslag skal præsenteres i næste uge. Men ifølge det lækkede dokument, er kommission klar til foreslå deciderede forbud mod uønsket AI. 

Det gælder først og fremmest brugen af AI til at manipulere adfærd, holdninger og handlinger på en måde, der påvirker personen negativt. Dertil kommer AI, som baseret på information eller prædiktioner udnytter en person eller gruppes svagheder.  

Endelig skal det være forbudt at bruge AI til vilkårlig masseovervågning.

Men ingen af de ovennævnte forbud skal gælde for myndigheder »for the purpose of safeguarding public security,« lyder det i teksten. Der er således ikke tale om et forbud mod statslig masseovervågning med AI. 

Kommissionen ser dog gerne et forbud mod generelle social scoring-systemer, som vi kender fra Kina. 

Højrisiko-systemer til tjek

Som ventet kommer den væsentlige del af AI-reglementet til at fokusere på højrisiko-applikationer af AI. 

Kategorien dækker blandt andet systemer, som kan have finansielle konsekvenser - f.eks. AI til kreditvurderinger, adgang til uddannelse eller offentlig støtte såvel som til at afgøre om personer skal ansættes eller forfremmes. Det gælder også flere applikationer af AI i retsvæsenet, migration og lovhåndhævelse. 

Inden en sådan applikation kommer på markedet eller rulles ud, skal den evalueres - blandt andet med henblik på at afgøre om den er trænet på data uden problematisk bias, og om træning- og testdata er »relevant, representative, free of errors and complete.«

Alt dette kan selskaber selv stå for at evaluere med mindre systemet falder i en særlig høj-højrisiko-kategori, der dækker systemer til »remote biometric identification of persons« - aka. ansigtsgenkendelse - i det offentlige rum, samt alle AI-systemer, der udgør sikkerhedskomponenter i offentlig infrastruktur. I sådanne tilfælde skal systemet inspiceres af en tredjepart, lyder det i forslaget. 

Passende præcision

Reguleringen stiller både krav til transparens, præcision og sikkerhed, hvis applikationer lander i højrisiko-kategorien. 

Førstnævnte betyder blandt andet, at udviklere skal kunne forklare modellens grundlæggende logik og evt. beskrivelse af træningsdata. 

Systemerne skal være modstandsdygtige over for forsøg på snyd f.eks. i form af adversarial attacks. De skal være robuste over for fejl. Og de skal have høj præcision der er »appropriate for their intended purpose«.

Dertil kommer en række krav til et vælde af forskellige roller som kommissionen definerer i forbindelse med et AI-system - User, Distributer, Importer og Provider. Sidstnævnte har ansvar for den tekniske dokumentation, men brugeren har selv ansvar for at overvåge, at modellens output giver mening samt at holde styr på den data, systemet får ind. 

Alle højrisiko-systemer skal ifølge forslaget registreres i en central database, som EU-Kommissionen vil have oprettet til formålet. Den database bliver offentlig for alle, og skal være med til at sikre borgeres ret til information.  

Minder om GDPR

Udkastet til AI-reglementet bærer flere mindelse om GDPR.

Først og fremmest er der bødestørrelsen. Et selskab, der bryder reglerne - f.eks. udvikler forbudt AI eller lyver i forbindelse med en inspektion - kan se frem til bøder i GDPR-størrelsen - op til 4 procent af den globale omsætning eller 20 millioner euro, hvis det er højere. 

Ligesom GDPR gælder virksomheder uden for EU i fald de indsamler data på Europæere, vil AI-reglerne også gælde uanset om selskabet bag AI-systemet er baseret i EU eller andet steds, så længe AI-systemet påvirker person i EU. 

På nogle punkter vil forslaget være en lettelse ift. forskellige frygtscenarier. F.eks. rummer loven kun reelt et trin - højrisiko - og således ikke en lang række komplicerede kategorier. Desuden er risiko ikke afgjort på sektorplan, men på konsekvenserne for berørte mennesker.

Forslaget kan som nævnt ændre sig inden den officielle præsentation i næste uge. Og det vil også nå at ændre sig flere gange under parlamentets forhandlinger inden en lov bliver endeligt vedtaget.

Tips og korrekturforslag til denne historie sendes til tip@version2.dk
Følg forløbet
Kommentarer (0)
sortSortér kommentarer
  • Ældste først
  • Nyeste først
  • Bedste først
Log ind eller Opret konto for at kommentere