Overvæld af hvide mænd kan føre til uforsætlig diskrimination i AI-systemer

Grunden til at ansigtsgenkendelse ikke virker ligeså godt på sorte og asiater har altså ikke noget med white-male-dominance at gøre.

Det er bare et faktum man må løse på andre måder.

fx: så har det siden 1800 været et problem at tage billeder af sorte mennesker når det er mørkt FORDI DE ER SORTE/MØRKE .. betyder det at 'nat' og 'skygge' er racistisk - NEJ.

Læste en undersøgelse af deres ansigtsgenkendelse hvor man konkluderede at hvide mænd var nemmest at genkende - men med millioner af samples fra folk i alle farver og faconer - konklusionen var at der blandt hvide mænd er større variation i ansigtsfaconer end hos kvinder (fordi de typisk sminker sig til et ensartet udtryk) og at Sorte var svære at genkende fordi deres farve gjorde billedet sværere at læse.
Asiater ligner derimod hinanden enormt meget hvilket igen gjorde det svært for computeren at se forskel.

Man kunne udskifte alle disse hvide mænd med sorte kvindelige programmøre og nå frem til samme resultat.

Ønsker man at have sit eget perspektiv på "undersøgelser" , vil jeg anbefale at se de første 70 sekunder af denne video.

Efter 70sek. kan man hurtigt vurdere om man ønsker mere info.

K

Man kunne udskifte alle disse hvide mænd med sorte kvindelige programmøre og nå frem til samme resultat.

Du har muligvis en pointe, men det kunne også skyldes, at kameraer er lavet af hvide mænd, og at derfor er der givet særlig omhu til "korrekt" gengivning af hudtoner ... på hvide mænd. Og nej, det mener jeg faktisk ikke alvorligt :-).

Jeg mener derimod, at der er en pointe, som rækker ud over eksempelt. To faktisk:

1. Vi bliver nødt til at respektere Conways lov - som rækker ud over den formulering, som Conway har givet den: et system bliver formet af dem, som skaber det og deres forudsætninger - og det er nok det samme, som man ofte (mis-)bruger henvisninger til Gödels ufuldstændighedssætning til at sige noget om. Så du kan have ret: hvis det er samme system og man bare skifter hvide mænd ud med farvede kvinder, men i øvrigt giver dem præcis samme vilkår, så vil det næppe gøre nogen-som-helst forskel. For det er ikke dem, som bestemmer vilkårene, og det er vilkårene, som betyder noget.
2. Med ML/AI er det præcist som med mennesker: du bliver, hvad du spiser. Du får præcist det ud af det, som svarer til det, som du fordrer det med. Ja, faktisk er det måske mere som med katte - du skal virkelig passe på, hvad du starter med at give dem, for de bliver hurtigt kræsne, og vil nægte at anerkende noget, som ikke passer ind i deres etablerede verdensopfattelse.

Der er så også en skrøbelighed, som ikke rigtigt bliver nævnt. Boeings problem med 737 Max 8 viser, hvordan et system kan tage magten, specielt hvis man ikke ved det er der, og hvis konstruktørerne ikke helt har forstået den virkelighed, som systemet skal virke i. Måske, måske ikke, kunne det manipuleres til ikke at flyve flyet i jorden, men i så fald var det en ganske kontra-intuitiv måde at bruge systemet på.

Vi ser det også med de såkaldt "adaptive tests" i folkeskolen (hvorfor er det bare, at problemer har en tendens til at komme i flok - Trivselsundersøgelser var mildt sagt heller ikke en lykkelig ide, som var rundet af samme muld - måske Conways lov igen?) ... hvis man starter med at svare "forkert" i de indledende spørgsmål. så ender man med at blive låst fast i den forkerte ende af skalaen. Hvis man har dygtige og opmærksomme lærere, som tør stole på sig selv og egen dømmekraft og trodse systemerne, så kan det være, at det ikke gør skade (ligesom dygtige, selvstændige og opmærksomme piloter muligvis kunne have gjort en forskel).

Vi kan helt sikkert bruge AI/ML til mange gode ting, men vi skal passe på med den klondike-stemning, som hersker for tiden (jeg har f.eks. en dårlig fornemmelse her: https://www.version2.dk/artikel/sdu-vil-goere-sygeplejersker-historikere...). Det er et skarpt værktøj, og bruger man det ukritisk og gives det til ukyndige, så ryger der nemt en arm eller det, som er værre.

Asiater ligner derimod hinanden enormt meget hvilket igen gjorde det svært for computeren at se forskel.

En udtalelse som ovenstående fra din side er da netop et bevis på, at undersøgelsen har en pointe.

føler jeg mig på disses vegne stærkt krænket over, at man ikke kan se disse, vore medskabninger, på billeder taget uden blitz om natten med almindelige smartphonekamerarer.

DET ER FOR DÅRLIGT

og tyder på en utilstedelig disrespekt hos kameraudviklerne.

Guardian artiklen referer til en artikel i NY Times.

For det første handler den om teknik, som Amazon sælger til politi og føderale myndigheder i USA. Jeg ville så mene at det er hvide mænd, der bliver diskrimineret imod. Jeg ville i alt fald foretrække ikke at blive genkendt. Jeg er sikker på, at hvis politiet fik software, der var særlig egnet til at genkende sorte, så ville der også være nogen, der så noget forkert i det.

For det andet så handler NYT artiklen om at Amazon er dårligere end Microsoft og IBM til at genkende mørke ansigter. Der står ikke noget om at der skulle være flere hvide mænd ansat i Amazon end i Microsoft og IBM. Det kunne jo også tænkes at Microsoft og IBM bare er bedre til ansigtsgenkendelse.

Artiklen kritiserer dog også ansigtskendelse fra Microsoft og IBM.
Men også fra kinesiske Megvii, som jeg ikke kender, men jo ikke ville tro var fyldt med hvide mænd.

Nogle gange er sandheden bare ilde hørt...

Google ‘fixed’ its racist algorithm by removing gorillas from its image-labeling tech:
https://www.theverge.com/2018/1/12/16882408/google-racist-gorillas-photo...

'I was shocked it was so easy': ​meet the professor who says facial recognition ​​can tell if you're gay
https://www.theguardian.com/technology/2018/jul/07/artificial-intelligen...

New AI can guess whether you're gay or straight from a photograph
https://www.theguardian.com/technology/2017/sep/07/new-artificial-intell...

Din samling af tilfældige links beviser intet og styrker ikke dine "argumenter".

så har det siden 1800 været et problem at tage billeder af sorte mennesker når det er mørkt FORDI DE ER SORTE/MØRKE

Udviklingen af kamerateknologi i 1800-tallet var ikke drevet af mørkhudede menneskers købekraft.

Til sammenligning er det i dag globale teknologivirksomheder som Apple, der driver den teknologiske udvikling. Apple er blandt andet kendetegnet ved at have et stærkt sæt af mangfoldighedsværdier og et fokus på brugeroplevelser som en del af deres virksomhedskultur.

Apples beskrivelse af deres teknologi til ansigtsgenkendelse:

The TrueDepth camera captures accurate face data by projecting and analyzing over 30,000 invisible dots to create a depth map of your face **and also captures an infrared image of your face. **

https://www.wired.com/story/can-apples-iphone-x-beat-facial-recognitions...

QED.

Nu skrev jeg godt nok QED, men her er lidt uddybning:

In October 2017, Apple's vice president of public policy for the Americas, Cyntheia Hogan explained how they make the product accessible to people of different ethnicities.

'We worked with participants from around the world to include a representative group of people accounting for gender, age, ethnicity, and other factors', she said.

'We augmented the studies as needed to provide a high degree of accuracy for a diverse range of users', she said.

https://www.dailymail.co.uk/sciencetech/article-5382979/Study-finds-popu...

Apples beskrivelse af deres teknologi til ansigtsgenkendelse:

yes - det er netop et forsøg på at løse problemet med traditionel ansigtsgenkendelse - via 3D model og IR kamera som er pænt ligeglad med hudfarve.

Min pointe var også bare at traditionel ansigtsgenkendelses algoritmer er lavet på alminelige billeder, som historisk set altid har fungeret bedst med hvide mennesker fordi de er nemmere at fotografere.

De mænd (og kvinder) som har arbejde på algoritmerne har aldrig haft nogen intensioner om at algoritmen skulle fungere bedst på hvide/lyse mennesker men har bare arbejdet hen mod det bedst opnåelige resultat.

På et tidspunk har det måttet give op og benytte andre typer kamera (IR + 3D) for at løse problemet med hudfarve.

Color film was designed for a narrow range of skin tones, and it was notoriously difficult to include black and white faces in the same frame. This despite the complaints, for example, of photographers in the 1960s who, following the desegregation of U.S. schools, had trouble rendering the faces of African-American students in class photographs. Institutional memory at Kodak has it that it was only when manufacturers of wooden furniture and chocolate complained they could not adequately photograph their products that the corporation began work on a new range of films with which, internal descriptions assured, one could “photograph the details of a dark horse in low light.”
https://aperture.org/blog/adam-broomberg-oliver-chanarin-to-photograph-t...

Der er et fænomen som egentlig synes ret enkelt. Nemlig at hvis en hjerne primært er blevet eksponeret for grønne ansigter i dens levetid, så er den bedst trænet til at genkende detaljer/forskelle i grønne ansigter. Blå ansigter vil tilgengæld mere eller mindre "ligne hinanden" hvis man spørger den grønne hjerne. Udskift selv grøn og blå efter smag.

https://en.wikipedia.org/wiki/Cross-race_effect#Cross-race_identificatio...

Endnu et eksempel på "Clown World"

"Everything is racist, everything is sexist, everything is homophobic and you have to point it all out!"

Civilization died, not with a BANG, but with a whimper... Walking on egg shells.

White man - anything you say or do can and will be used against you. You are the ENEMY of the Cultural Marxists, hellbent on a Communist NWO as spelled out in "Imagine" by Beatles.

Man kan jo sige, at det at påstå at hvide mænd laver racistisk forskning, i sig selv er en racistisk udtalelse.
Jeg tror aldrig, at man helt opnår en fordeling der nøjagtigt afspejler befolkningens sammensætning, på alle felter.
Det vigtigste må og skal være at man ikke diskriminerer, hverken i sin ansættelse eller i sin forskning.
Når det kommer til ansættelser af forskere og fagfolk i både det private og offentlige, så må og skal det være fagligheden, der bestemmer ansættelsen, og ikke folks køn, etnicitet eller seksuelle orientering. Det er jo hele tanken bag ligestilling, så lad os da praktisere det.

Så er der problemet med ‘pipelinen’, og det er IMHO ikke et IT problem, men især et socialt, uddannelses politisk problem. Hvordan skaber vi et samfund og uddannelses system hvor alle har lige muligheder. Og der skal jeg hilse og sige at det ikke går den rigtige vej, efter min mening.
Men vi svinger fra den ene yderlighed tilden anden.

Mht. ‘Racistiske’ algoritmer etc. Så er de, når det kommer til erhvervslivet, jo især dikteret af markedet. Her er eksemplet med KODAK filmene jo et glimrende eksempel. Filmene var udviklet til det marked som havde købekraften.. nemlig hvide mellemklasse familier. Så derfor endte man op med et produkt som var ‘by design’ diskriminerende, jeg vil ikke bruge ordet racistisk, da jeg synes det implicit indikerer intent.

Det eneste tiltag jeg har set der måske kunne afhjælpe det var et it-etisk råd, som kunne komme op med guidelines og måske en smiley ordning for hvorledes man kunne sikre sig at man altid havde etikken med i baghovedet. Det har jeg set Rolf Bjerre slå på tromme for, og jeg må indrømme , at jeg er kommet til samme konklusion, efter at have grublet lidt over stoffet.
Se https://www.version2.dk/blog/den-digitale-revolution-skal-tages-serioest...

// Jesper

Tja, det er åbenbart svært at diskutere om der er særlige problemstillinger ifm. AI i forhold til diskriminering, uden også at skulle diskutere diskriminering som sådan.

Så er der problemet med ‘pipelinen’, og det er IMHO ikke et IT problem, men især et socialt, uddannelses politisk problem.

Der blev P1 Orientering diskuteret denne problemstilling ifm. den meget ulige kønsfordeling af professorater, og det med udgangspunkt i en egentlig undersøgelse. Den konkluderede præcist, hvad du peger på, nemlig at kvinderne af en eller anden grund falder fra undervejs (jeg tror faktisk de talte om en små hundrede forskellige faktorer), og dermed slet ikke er til rådighed i feltet af kvalificerede ansøgere.

Hvis vi antager at der er forskel på kvalifikationer, men at den ikke i væsentlighed kan forklares ud fra kønnet, så virker det fra et samfundsperspektiv fuldkommen tåbeligt, at man a priori på grund af systemiske forhold eliminerer ca. halvdelen af talentmassen.

Vi bør kunne indrette os på en måde, så alle talenter får mulighed for at blomstre. Eller som Jesper siger:

Hvordan skaber vi et samfund og uddannelses system hvor alle har lige muligheder.

Her bliver vi så nødt til at have en diskussion:

Efter min mening betyder lige muligheder ikke at alle skal behandles ens. Det bliver hurtigt til skolegården uden gårdvagt og fodbold uden dommere, og det fungerer kun godt ud fra de stærkestes synspunkt.

Men det betyder heller ikke, at alle skal ende op samme sted, og alle skal over den samme målstreg samtidigt. Der er ikke fællesleg i skolegården, og dommernes opgaver er ikke at sikre at alle kampe ender uafgjort.

Så, gys, lige muligheder kan betyder forskelbehandling. For det er forskelsbehandling at hjælpe ordblinde, men det kun rimeligt. Og igen, ud fra det store perspektiv, faktisk i fællesskabet interesse, for vi skal sikre den bredest mulige talentmasse - for alles skyld.

Og af samme grund skal vi være på vagt overfor urimelig forskelsbehandling. Der, hvor man holder grupper ude eller nede, i stedet for at forsøge at få dem med.

Vi skal række hånden ud, men folk må selv bestemme om de tager den.

Her lidt fakta, selv om det kan ødelægge en god diskution.

Man kan jo god sige det er lidt Sort/Hvid.

Som når det stof, som en gruppe misbruger, giver store forskelde i straf.

Brug/Salg/Distrubiton af Heroin som er brugt af sorte i USA giver typisk fængselstrafe på 5-15 år mens kokain som hvide unge har brugt, kun har givet mindre straffe eller advarsler.

Og til de uviden eller rasistiske idioter her i tråden, som tror at hvide er nemme at genkende, mens resten af verden ligner hinanden. Det passer ikke, kender mange asiater, de har svært ved at se forskeld på og huske os, ikke hinanden.

Og her er fakta, som jeg lovet. Kenn Nielsen får det nok ikke set, på grund af hans fake news software ;-) ?

https://www.version2.dk/artikel/usa-microsoft-naegter-at-levere-ansigtsg...

Kenn Nielsen får det nok ikke set, på grund af hans fake news software ;-) ?

Mjahh, jeg ville have taget mig tid til det, men så var det jeg kom i tanke om at det ikke er 'pænt' åbenlyst at frådse i en ressource som eksklusivt ejes mig og min privillegerede klasse.

Så i solidaritet med alle dem som ikke ejer tiden, har jeg valgt at lade være....

K ;-)

Man kan jo sige, at det at påstå at hvide mænd laver racistisk forskning, i sig selv er en racistisk udtalelse.

Men Jesper Frimann, hvem har påstået det?

De mænd (og kvinder) som har arbejde på algoritmerne har aldrig haft nogen intensioner om at algoritmen skulle fungere bedst på hvide/lyse mennesker men har bare arbejdet hen mod det bedst opnåelige resultat.

Men Martin Kirk, hvem har påstået det? Og hvornår har teknologi nogensinde været neutralt?

Pointen med at tale om racistiske strukturer er vel at opdage dem og eliminere dem... Martin, kan det være, at din pointe er at lukke samtalen ned? Eller præcis hvad har du gang i?

Jeg forstår ikke, at der er kommentarer på artiklen, der forklarer den hvide hudfarves overrepræsentation i billeder, som om, at der er nogen, som har argumenteret mod årsagen hertil. Det er der ikke.

Der konstateres i artiklen, at der er overrep. af hvide mænd i datasæt, og dette fører til diskrimination. Hvis sidstnævnte er en påstand, I ønsker at argumentere for eller imod, så gør det.

Hvis AI bliver anvendt på baggrund af u-repræsentative datasæt, og dette fører til diskrimination i den virkelige verden (hvilket det sikkert allerede gør), så er det ligegyldigt, om der er tekniske årsager til hvordan datasæt ser ud. Så handler det jo netop om, at datasæt ikke skal anvendes.

Martin Kirks indlæg med caps lock titlen "HOLD NU KÆFT" er et glimrende eksempel på at udtale sig meget hurtigt og meget klodset om et vigtigt og skrøbeligt emne. At påstå i samme omgang, at asiater ligner hinanden, er i øvrigt et fint eksempel på Cross-race effekten, men har intet at gøre med, at asiater ligner hinanden mere eller mindre end andre mennesker. Det er bare Martin, der er mere vant til at kigge på kaukasiere end asiater. Li'som algoritmerne.

Så i solidaritet med alle dem som ikke ejer tiden, har jeg valgt at lade være....

Kunne du ikke også bare bruge denne side i stedet ?

https://eufactcheck.eu/

Kunne du ikke også bare bruge denne side i stedet ?

https://eufactcheck.eu/

Joh, og tak, men..men...
Som fortaler for, at man selv skal finde dem, som man vil have til at fortælle hvad man skal mene om dette eller hint, så kan jeg jo ikke benytte mig af nævnte site.
Det ville ellers kunne spare mig for megen undren, hvis bare jeg kunne få nogen til at fortælle mig hvad jeg skal mene, uden at selvstændigt at skulle overveje alle mulige ubekvemme nyheder, halve sandheder osv.

Det er svært - for ikke at sige umuligt - at få alle til at 'lande' på samme konklusion, når der er forskel i beslutningsgrundlaget.

Men, når diktat er uspiseligt, så må det næstbedste være at vi alle kun får adgang til de rigtige udlægninger af de udvalgte facts.

Om ikke andet, så kan dét vel afholde de fleste fra at komme til uønskede konklusioner.

Men hvad véd jeg. - Jeg har jo ikke alle (de rigtige?) facts.

K ;-)

Den dag AI kan genkende alt, og der er overrepræsenteret statistik i en bestemt etnisk kriminalitet, så skal der nok også blive råbt op...

Den dag AI kan genkende alt, og der er overrepræsenteret statistik i en bestemt etnisk kriminalitet, så skal der nok også blive råbt op...

Ja men er det ikke også på tide at alle Bank Mændene som har kostet samfundet mange tusinde milliarder i udgifter, på grund af hvisvaskning, skatteundragelse og nako kriminalitet, kommer i fængsel, i stedet for at få gyldene håndtryk når de bliver opdaget.

Ja men er det ikke også på tide at alle Bank Mændene som har kostet samfundet mange tusinde milliarder i udgifter, på grund af hvisvaskning, skatteundragelse og nako kriminalitet, kommer i fængsel, i stedet for at få gyldene håndtryk når de bliver opdaget.

Det tror jeg slet ikke jeg vil stille et spørgsmål til, eller modsætte mit svar overfor, jeg har heller ikke nogen uenighed i det.

Min Hypotese var ud fra hvad jeg læste i artiklen, der ligger jo ikke kun sten på den ene side af vejen, som gør at dækket punktere. ;)

Hvis man med en given hudfarve har fordel af at en AI kan se alle hudfarver lige godt, så er det godt. Hvis ikke så er det det skidt.

Noget andet er, at det er alment kendt at rent optisk så giver motiver med høj kontrast bedre billeder end dem med lav kontrast. Lys hud med mørkere hår, øjenbryn og skygger fra næse m.v. vil derfor med almindelig teknologi give flere detaljer og dermed bedre identifikation end mørk på mørk - måske endda i mørke.

Hvis opløsningen i IR er god nok, vil det klart være en bedre vej at gå, for alle mennesker har nogenlunde de samme temperaturkontraster uanset hudfarve. Men IR kameraer af fornuftig kvalitet er stadig en del dyrere end almindelige kameraer.