Apple uddyber teknikken bag kritiseret billedscanning

Hmm - jeg ser lidt anderledes på det. For det første er jeg enig i at det her mest har symbolsk effekt. De som har noget at skjule har mange måder at gøre det på som ikke vil trigge det her system. Jeg tænker det primært er ikke "hårdkogte" typer der bruger iCloud til at gemme deres billeder. Som en måde at frame folk synes jeg det virker farligt at indføre et system der automatisk vil flag'e folk. Det er desværre ikke svært at finde et billede af en karakter der vil trigge systemet. Dem kan man finde på dark-web og at tilgå dark-web er bare at installere en browser-extension. Så bliver udfordringen at hacke din uvens iCloud. Hvis du er meget heldig kan det være at der allerede ligger et password i de store password leak databaser der også cirkulerer på dark-web. Folk har det med at genbruge deres passwords. Hvis det mislykkes er der andre måder det kan gøres på. Og hvis du ikke kan finde ud af det selv kan du sikkert betale en eller anden lyssky hacker på selvsamme darknet nogle bitcoins for at gøre det for dig.

… skaber det system ikke en risiko for at andre planter sådanne billeder for at skade folk de ikke kan lide - f.eks. politiske modstanderes for at få dem i fedtefadet. Se bare hvor mange kendte der har fået deres iCloud konto hacket. Det samme nummer kan jo bruges til at plante filer og den vej skabe en skandale omkring en person.

Det korte svar er: næppe.

Men hold fast for nu kommer der flere bolde i luften:

For det første skal der være tale om gammelkendt børneporno, for at man kommer forbi Apples "medarbejdere", som dagen lang sidder og kigger billederne igennem, som er blevet udtaget til kontrol - og hvis systemet virker, så er det hovedsageligt børneporno - stakkels folk! Så hvis ikke der er tale om børneporno, men bare "samme nummer", så kommer det ikke længere.

Apple insisterer på, at der skal være flere organisationer, som samstemmende siger, at det er snavs, som de allerede kender ... sikkert for at sikre sig imod at en af dem får fikse ideer, f.eks. om at det ligeså farligt at se på voksne mænd, som kysser hinanden. Så det skal ikke bare være kendt børneporno, det skal også være gammelkendt børneporno (og hvis Apples metode bliver udbredt, så har vi skabt et stærkt incitament til at alle pædofile i stedet for at dele, hver især bestiller deres eget originale materiale - og det er jo ikke ligefrem at passe på børnene). Derfor er det ikke nok, at finde noget børneporno, det er en lille delmængde af gammelkendte billeder, som skal til.

Så man skal have uvenner, som har adgang til 30+ stykker gammelkendt børneporno - og har man sådanne uvenner, så er der nok allerede meget andet, som de vil have adgang til. Store poser med narkotika, f.eks.

Og betingelsen for at lave noget med "samme nummer" er, at man i første omgang kender nummeret. Apple og de organisationer, som de samarbejder med holder forståeligt nok kortene tæt til kroppen - og så er vi tilbage ved folk, som ellers har adgang til en solid mængde gammelkendt børneporno, så de selv kan regne nummeret.

Næh, problemet ligger et andet sted - og det kan nemt blive Apples problem: det er alt for nemt at manipulere med børnepornobilleder, så de får et andet nummer. Som i virkeligt nemt.

For det første, så er det nærmest trivielt at modificere billeder, så de får et vilkårligt andet nummer. Og mon ikke det er det første som sker? Efter et stykke tid, og en solid omgang konventionelt politiarbejde, så vil disse kunne føje sig til listen af gammelkendt materiale - og da det er så nemt at manipulere, så vil der nemt kunne blive tale om eksplosion af materiale, og dermed en eksplosion af numre i databasen.

For det andet, så er det nemt at modificere billeder, så det får et bestemt andet nummer - jeg har set et eksempel, hvor et billede af en kat er blevet modificeret til at have samme nummer som et billede af en hund ... og der var stadig tale om en yderst genkendelig kat. Jeg har et eksempel, hvor et billede af en meget ung pige (et uskyldigt ungdomsbillede, som efter sigende blev brugt var med den nu voksne persons samtykke) var modificeret til at have samme nummer som hunden. Og jeg har set et billede af en kendt politiker (måske Tony Blair, jeg husker det ikke lige) blive modificeret til at have samme nummer, som et andet billede af en anden lige så kendt politiker. Og i den mere finurlige kategori, så havde nogen lavet at billede af billedets eget nummer.

Så jo, det er nemt at tage et stykke børneporno og manipulere det til at have samme nummer som et andet kendt og udbredt billede. Hvorved Apple potentielt bliver oversvømmet af falske positiver (jeg så et eksempel på et nøgenhedsfilter, som flagede billeder er sandklitter, som værende anstødelige - og ørkenbilleder bruges åbenbart ofte som desktop baggrunde ... doh!).

Derfor virker det ikke til, at Apple mener dette særligt alvorligt - at de tænker langt mere på signalværdien end på de stakkels børn. For det første, så skal man pt. over 30 eksempler, og det er en del. For det andet, så skal det være "gammelkendt" (for en ganske restriktiv definition af kendt). For det tredje, så er det supernemt at editere sig ud af at blive opdaget. For det fjerde, så har de fået lavet et setup, hvor de er i stor fare for at blive oversvømmet af falske positiver, hvad nok vil få dem til at sortere endnu mere fra (hvilket uværgeligt vil give flere falske negativer). Og endelig, så er det ikke sværere end bare at undgå Apple, og så har man ikk løst noget, men bare flyttet problemet.

Og det er jo trist, at det nærmest er et slag i luften, for der er så meget brug for effektive tiltag imod det her snavs - og ikke symbolske handlinger uden særlig værdi.

… skaber det system ikke en risiko for at andre planter sådanne billeder for at skade folk de ikke kan lide - f.eks. politiske modstanderes for at få dem i fedtefadet. Se bare hvor mange kendte der har fået deres iCloud konto hacket. Det samme nummer kan jo bruges til at plante filer og den vej skabe en skandale omkring en person.

Kernen i Apples nye børneporno-detektor, den såkaldte NeuralHash, er allerede reverse-engineered (og iOS 15 er ikke engang uden endnu): https://www.schneier.com/blog/archives/2021/08/apples-neuralhash-algorithm-has-been-reverse-engineered.html

Sporten kort:

• Algoritmen er reverse-engineered, og en udgave kan hentes på Github
• Algoritmen er meget lidt modstandsdygtig overfor simple manipulationer som cropping (eller f.eks. tilføjelse af en ramme af en ikke-triviel tykkelse).
• Man kan mao. selv regne NeuralHash for vilkårlige billeder (se dog nedenfor)
• De første eksempler på kollisioner (og måske preimages) er da også fundet: dvs. to vidt forskelligt udseende billeder, som giver samme "hash" (1)
• Der er allerede memes lavet over kollisionen (som er et billede af en sød hund, og et af noget gråligt krimskrams)
• Der er mao. åbent bal for pranks, hærværk og sabotage (f.eks. DOS af Apple), hvis en mindre mængde (pt. >30) af korrekte NeuralHash slipper ud (og givet at det næppe - endnu- er strafbart et distribuere hashes, så er det nok et spørgsmål om tid)
• Den databasen, som Apple distribuerer er dog - antageligvis - sikker nok: de hashes som Apple distributerer til iDevices er blinded.
• Udregningen af en NeuralHash involverer en større mængde floatingpoint operationer, og er derfor kun sammenlignelig, hvis man har præcist samme floatingpoint implementation - forskellig hardware vil kunne forskellige resultater (selvom afvigelserne næppe er mange bits fra hinanden aka. lav hamming distance).

Det er IMHO lettere til grin (og ville være morsomt, hvis ikke det hele var så alvorligt).

Ad (1): forskellen på en kollision og et preimage er, at en kollision bare er to forskellige eksempler med samme, men vilkårlige hash, mens preimage er et eksempel på et billede svarende til en bestemt hash. Det første er markant nemmere, jfr. fødselsdagsparadokset. Skal sømmet slås helt i, så skal det være plausible billeder som kollisioner eller preimage, og ikke bare "krimskrams".

Farlig ide! Lad os ikke håbe at DDR tilgangen (mistillid) til borgerne er den eneste gangbare vej for fremtiden. Må jeg sætte en mikrofon op ved dit spidebord så jeg kan videreformidle noget suspekt til “myndighederne” (eks. vis hvordan du taler til dine børn el. lign.)?

En klog mand sagde engang “ hvis en betjent følger dig over en strækning på 500 km. skal han nok finde noget at “knalde” dig for”.

Hvis vi tilstræber den form for borgerkontrol, bør man overveje at flytte til Shanghai og leve sin drøm ud om et kriminalitetsfrit samfund (det har sin pris).

Jeg er personligt ikke begejstret for at nogen holder øje med hvad jeg laver, selvom jeg holder mig inden for de rammer lovgivingen har fastsat. Men jeg ved også at ikke alle overholder lovene.

Der bliver derfor holdt øje med os ude i den virkelige verden: Kører du bil og snakker i mobil vil politiet stoppe dig når de kører rundt og 'overvåger'. I papirbilledernes tid ville foto-lab også have reageret på fotos af misbrug, hvis de opdagede det i deres 'overvågning'.

Ideen om at der absolut ikke må være overvågning af hvad folk foretager sig på mobil/computer er meget idealistisk og meget urealistisk.

Der er simpelthen grænser for hvad der er tilladt af ytringer, deling af billeder/film uden accept fra medvirkende, et.c.

Overordnet set, så er det noget rod: Apple startede ved samtidigt at lancerere to ret forskelligeartede initiativer, som overordnet set er nemme at forveklse, og det bliver ikke bedre af, at det slår ned lige midt imellem veletablerede skyttegrave, så vi ser også en parade af diverse mere eller mindre perifere kæpheste.

Apples ene initiativ handler (angiveligt og i hvertfald i første omgang) om børn og porno og det andet handler om børneporno. Det lyder ens (især hvis man siger det hurtigt), men det er i virkeligheden ret forskelligt.

Det ene initiativ handler om at beskytte børn imod at se porno. Eller, som de selv betegner det "sexually explicit" indhold.

Der er en del at diskutere...

• hvad er børn (og hvem definerer det)?
• hvad er porno (og hvem definerer det?
• hvorfor kun iMessage appen?
• hvorfor kun USA?
• hvorfor kun børn, hvis enheder at sat op som en del af en "family account"?
• hvorfor kun billeder, og ikke også beskeder?
• hvorfor AI/ML (når vi trods adskillige forsøg stadig ikke har set det virke på dette domæne)?
• hvorfor en angiveligt ugennemskuelig algoritme?
• hvad vil vores børn mon lære af dette?

Det andet initiativ handler angiveligt direkte om børneporno, eller som de betegner det Child Sexual Abuse Material (CSAM) - så de afgrænser sig eksplicit til materiale med seksuelt misbrug af børn (børneporno som begreb er betydeligt bredere.

Så det første spørgsmål man må stille sig er, om initiativet er virksomt i forhold til at imødegå misbrug af børn til porno:

• det er nemt at omgå (kun iCloud)
• det er geografisk afgrænset (kun USA)
• det er kun virkningsfuldt imod konkrete, gammelkendte og udbredte eksempler - det er som udgangspunkt virkningsløst i forhold til nyt misbrug.
• detektering er kun i mindre omfang robust overfor manipulation (den kan håndtere skalering og formatkonvertering, og angiveligt beskæring i mindre omfang, men næppe egentlig redigering).

Det er antageligt virkningsløst overfor dem, som helt bevidst opsøger børnemisbrug, og i sær, hvis der er tale om nyt misbrug. Til gengæld vil det kunne give en betydeligt bifangst i gråzonen af folk, som ikke ved bedre (selv professionelle har efter sigende svært ved at vurdere alder).

Så det er som at fiske med et net, som kun fanger de små fisk, men lader alle de store gå fri.

Der er også her en række spørgsmål, som f.eks. (men ikke begrænset til), hvem definerer, hvad der er CSAM, og hvorfor egentlig begrænse sig til CSAM og ikke børneporno som sådan?

Det andet store tema er Apples pervertering af begrebet end-to-end-encryption (E2EE) - kald det en bagdør, som Bruce Schneier, eller pak det ind i floromvundne bortforklaringer som Apple; effekten er at det nu er end-to-some-end-somewhat-encryption.

Her kan man anlægge flere synspunkter:

1. uundgåeligt, for E2EE er pest, som kun kan bruges af pædofile og andre terrorister (eller varianten: stater vil altid søge at beskytte sig imod deres borgere)
2. det er godt i den nuværende form, og Apple kan og vil formå effektivt at stå imod alle ønsker om udvidelser, uanset fra hvilket hold de kommer
3. Apple udhuler E2EE som begreb og åbner en glidebane (til tonerne af infocalypsen fire ryttere)

Hvis man er til 1 eller 2, så er det nok svært at se problemet. Eller hvis man bare generelt er ligeglad.

Hvis man er til 3, så vil man som udgangspunkt synes, at det er en rigtig dårlig ide, og især hvis initiativet ikke er særligt virkningsfuldt.

Hvis man skulle være i tvivl, som synes jeg at begge initiativer virker som underligt virkningsløse slag i luften. Og da jeg er til synspunkt 3, så synes jeg at det er godt dumt. Hvis vi skal ofre noget dyrebart, så vil vi i hvertfald have noget værdifuldt for det.

Bruce Schneier er begyndt at opsumme kritikken, og han lægger ikke fingerne imellem, ved bl.a. at kalde det for en bagdør: https://www.schneier.com/blog/archives/2021/08/apple-adds-a-backdoor-to-imesssage-and-icloud-storage.html - han opdaterer artiklen med nye gode links, så det er værd at holde øje med.

Jeg tror, at vi skal se det som resultatet af, at han ikke har tid til at svare fyldestgørende, men heller ikke vil tie længere, og så lader han andre tale.

... men detaljerne er vigtige her.

OK, så lad os se på detaljerne.

</p>
<ol><li>Apple scanner kun efter CP på telefoner som tilhører børn hvis forældre kontrollerer telefonen og hvor forældrene aktivt har slået denne scanning til.

Øh, nej (eller teknisk set jo, men det er en finurlig detalje, som gør, at dit udsagn princippielt kunne gælde iCloud scanningen - men så er det ikke isoleret til børn).

Jfr. Apple selv er det flg. som sker:

Messages uses on-device machine learning to analyze image attachments and determine if a photo is sexually explicit.

Bid mærke i, at formuleringen er "sexually explicit", hvilket svjv. er noget bredere end "CP".

Så kan vi så få en lang diskussion om, hvad der er "sexually explicit", hvem som definerer kriterierne (billeder af den lille havfrue i Kbh, og Neptunstatuen i Bologna er åbenbart for meget for Facebook).

Og om hvorvidt "machine learning" er den rette teknik at bruge her. ML brugt til at flage "sexually explicit" indhold er notorisk for tage fejl, hvad Tumblr fandt ud i 2018, da de prøvede at bruge teknikken til at flage "adult content", og bl.a. fik et billede af en rå kylling i nettet - det er vist at tage begrebet "hudbillede" lidt for bogstaveligt ... eller skal vi til at skåne vores mindreårige for rædslerne i frysediskene?

Algoritmen, ja, den har EFF flg. kommentar til:

It is also important to note that Apple has chosen to use the notoriously difficult-to-audit technology of machine learning classifiers to determine what constitutes a sexually explicit image.

Der er set mange eksempler på, hvordan AI/ML lækker ganske detaljerede dele af træningssættet, så det kan bestemt have været med i Apples overvejelser - de distribuerer jo "sexually explicit" materiale her. Men mon ikke det "bare" er risikoen for at blive kigget i kortene og blive stillet til ansvar, som her har vejet tungere end hensynet til at beskytte mindreårige bedst muligt.

Det er heller ikke telefonen som sådan, som bliver "skannet". Det er kun billeder, og kun når de sendes eller modtages i iMessage (så en tech-savvy preteen bruger bare noget andet - hvad de sandsynligvis gør alligevel). Og skanningen er, at de bliver udsat for en ML-klassifikation.

Iøvrigt er det med "børn" også upræcist. Det er potentielt alle under 18 i en såkaldt "family account". Hvis man - jfr. det, som er oplyst til Apple - er over 13, så får man kun advarsler - det er kun hvis man angiveligt er under 13, at ens forældre bliver involveret. Og så virker indtil videre kun i USA.

Hvad der ellers sker, bliver så at sige i familien (eller familierne, for forældre både på modtager og afsendersiden kan blive involveret - og hvis afsendersiden har farvalgt det, så bliver billedet afsendt uden videre, mens modtagerens forældre vil få en kopi, hvis det bliver vist). Apple holder sig angiveligt i uvidenhed.

Og er den mindre-årige gået i fælder, så skal forældrene ind over. For indtil da vil den mindre-åriges iDevice indeholde en kopi af billedet, som den mindre-årige ikke selv kan slette.

Detaljer, bevares, men detaljer er jo vigtige.

Så beskeder med explicit indhold til mindreårige er ikke omfattet, kun billeder. Og der benyttes en tvivlsom teknologi (ML) uden mulighed for indsigt. Det betyder, at der mere er tale om en symbolsk handling, men der er jo nok en pædagoisk effekt alligevel: vi lærer vores børn, at deres devices ikke er deres, men istedet bruges af andre til overvågning af dem, og vi lærer dem, at algoritmer kan virke arbitrære - og det er måske ikke så skidt, givet at verden er som den er i dag.

2) For alle andre scanner Apple "kun" fotos i ICloud Photo-libraries. Har man ikke sine fotos i ICloud (og det er jo ganske frivilligt) bliver de altså ikke scannet.

Heller ikke, hvis man er udenfor USA. Iøvrigt sker skanningen på devicet, selvom det angiveligt kun har effekt ifm. iCloud relateret aktivitet, hvilket betyder, at alle devices har en form for kopi af NCMEC CSAM databasen (angiveligt sikret, læs videre).

Her skal vi bide mærke i, at der er sket et markant teknologiskifte. Nu er der ikke længere tale om ML, nu er der tale om en eksplicit blacklist over gammelkendte eksempler.

Hvis man selv laver ny børne-pornografi eller hvis man får andre til det, så er man sikker. I hvertfald indtil at det er blevet delt nok til, at det er blevet opdaget af NCMEC og optaget på listen, og der er blevet distribueret en opdatering af Apple, og der er noget iCloud aktivitet på ens device, som gør at det trigger en genberegning.

Angiveligvis så er man også sikker, selv hvis alarmen skulle blive trigget ved en fejl, og der er tale om børneporno, men gammelkendt børneporno ... fra Apples FAQ:

Furthermore, Apple conducts human review before making a report to NCMEC. In a case where the system flags photos that do not match known CSAM images, the account would not be disabled and no report would be filed to NCMEC.

Jeg ville nok ikke stole så meget på den formulering; det er nok mere et spørgsmål om, at Apple desperat forsøger at afgrænse sig selv hårdest muligt, og undgå at blive trukket ind i gråzonen, hvor de skulle til at lave vurderinger - så hellere ignorere oplagt børneporno for at beskytte sig selv. Eller såmænd bare give sig selv maximal signalværdi mens egen arbejdsindsatsen minimeres til det absolut minimale.

3) Apple melder ikke nogen til politiet med mindre de a) finder et antal

Ah, ja, "private set intersection"-delen. Her er hvad der bl.a. skrives om det i en kommentar på crypto.stackexchange.com:

Your repetition of Apple's claim that it protects privacy, however, seems to be misguided. The cryptographic protocol here is absolutely not serving the purpose of the user's privacy.

Instead, the purpose of the private intersection then isn't to protect the user's privacy: it's to shield Apple from accountability by making it impossible for the users to learn or prove anything about the content of the database. It protects Apple's privacy against you and the public at large.

Hvilket nok er en forudsætning for at få lov til at distribuere den vidt og bredt. Det havde nok været mere sikkert, hvis de havde holdt det serverside - effekten for slutbrugeren er den samme (pånær at han kan prøve at undgå opdateringer), men så skulle de indrømme at E2EE ikke er "i juridisk forstand" (tak til Styrelsen for IT og Læring for begrebet "ikke anonym i juridisk forstand" efter ellers at have lovet anonymitet).

Og det havde nok haft en betydelig mere begrænsende effekt på udbredelsen af børneporno, hvis brugeren allerede første gang havde fået en advarsel om, at vi kan se, hvad han har gang i - i stedet for, at det først sker, når politiet banker på, med alle de konsekvenser det har for de uskyldige i den nære omgangskreds.

Men så ville Apple igen til at tage ansvar i stedet for at score billige point.

Så ja, detaljerne er vigtige.

1. Apple scanner kun efter CP på telefoner som tilhører børn hvis forældre kontrollerer telefonen og hvor forældrene aktivt har slået denne scanning til.
2. For alle andre scanner Apple "kun" fotos i ICloud Photo-libraries. Har man ikke sine fotos i ICloud (og det er jo ganske frivilligt) bliver de altså ikke scannet.
3. Apple melder ikke nogen til politiet med mindre de a) finder et antal (de siger ikke hvor mange - men mere end et i hvert fald) CP billeder, og b) billederne er blevet reviewet af et menneske (de kan KUN ses af et menneske hvis de er blevet matchet med databsen over CP billeder)

Jeg siger ikke at det Apple gør her ikke er potentielt problematisk, men detaljerne er vigtige her.

Hvis man vil vide mere om Apple's "børneporno" scanner er nedenstånende et kig værd:

https://www.hackerfactor.com/blog/index.php?/archives/929-One-Bad-Apple.html

Én kan være nok.

Desværre har vi i Danmark ikke en kultur for høje erstatninger, så rammer den falske positiv en dansker, så får vedkommende nok en bøjet 5 øre. I USA kan man sikkert får 100 mio. USD.

så siger vi det - i fase 1