Machine learning er sårbar overfor reverse engineering

3. oktober 2016 kl. 12:358
Et hold forskere har bevist, at de algoritmer og modeller, der bliver brugt til machine learning, er sårbare og kan manipuleres med.
Artiklen er ældre end 30 dage
Manglende links i teksten kan sandsynligvis findes i bunden af artiklen.

Amazon, Baidu, Facebook, Google og Microsoft er blandt virksomheder, der har investeret heftigt i kunstig intelligens og relaterede teknologier som machine learning, fordi teknologierne har et stort potentiale for at blive vigtige indtægtskilder. Det skriver The Register.

Rådgivningsfirmaet Accenture var tidligere på ugen ude med en begejstret forudsigelse om, at kunstig intelligens kan fordoble de årlige vækstrater i 2035 og samtidig højne arbejdseffektiviteten med 40 procent.

Dagen efter annoncerede Accenture, at de havde indgået et partnerskab med Google om at hjælpe andre virksomheder med at implementere Googles machine learning-teknologi.

Men machine learning-algoritmerne er tilsyneladende ikke sikre og kan manipuleres.

Artiklen fortsætter efter annoncen

I et dokument, der blev præsenteret i august på Usenix Security Symposiums 25-års jubilæum, fremgår det, at forskere fra École Polytechnique Fédérale de Lausanne, Cornell University samt University of North Carolina at Chapel Hill har vist, at modellerne i machine learning kan stjæles, samt at sikkerhedsmodellerne ikke er i stand til at afbøde angreb.

For eksempel kan machine learning fodres med billeddata for derefter at returnere svar på, hvad billedet indeholder. Og det med stigende præcision.

Men netop fordi modellerne tillader input, kan de også manipuleres. Ud over at manipulation af machine learning-systemerne kan bruges til krænkelse af privatlivet, fremgår det ikke tydeligt, hvad formålet ved at angribe systemerne kan være.

Denne manipulation kan ske ved hjælp af reverse engineering. Forskerne testede deres angreb på modellerne med succes på BigML og Amazons machine learning-systemer.

Svært at gøre noget ved

I en mail skriver Ari Juels, der er medforfatter på dokumentet, at det er meget vanskeligt at etablere barriere mod manipulation af modellerne. Måske er det muligt, men det stadig er et åbent forskningsspørgsmål.

Artiklen fortsætter efter annoncen

Han vurderer, at modellerne skal være langt mere komplekse, hvis ikke modellernes funktionalitet skal kunne nedbrydes med de løsninger, der er tilgængelige.

I løbet af de senere år er mange machine learning-modeller blevet frigivet som open source-software, fordi virksomhederne, der udvikler modellerne, gerne vil have brugerne til at hjælpe med at udvikle koden.

Omvendt er der mange modeller, der er baseret på fortrolighed. Firmaer som BigML og Google tillader eksempelvis modeldesignere at tage et gebyr for, at andre benytter sig af deres modeller, hvilket går ud over de firmaer, der sætter dagsordenen for kunstig intelligens.

8 kommentarer.  Hop til debatten
Denne artikel er gratis...

...men det er dyrt at lave god journalistik. Derfor beder vi dig overveje at tegne abonnement på Version2.

Digitaliseringen buldrer derudaf, og it-folkene tegner fremtidens Danmark. Derfor er det vigtigere end nogensinde med et kvalificeret bud på, hvordan it bedst kan være med til at udvikle det danske samfund og erhvervsliv.

Og der har aldrig været mere akut brug for en kritisk vagthund, der råber op, når der tages forkerte it-beslutninger.

Den rolle har Version2 indtaget siden 2006 - og det bliver vi ved med.

Debatten
Log ind eller opret en bruger for at deltage i debatten.
settingsDebatindstillinger
8
7. oktober 2016 kl. 08:59

EDIT: Vrøvl slettet.

K

7
7. oktober 2016 kl. 07:37

AI/Machine learning/deep learning er en strid om kejserens skæg. Det drejer sig om hvilken opgave softwaren skal løse for general purpose intelligens får en computer aldrig.

Præcis! Kunstig intelligens er allerede ved at støde hovedet mod den mur, som også bristede drømmene i sidste bølge. Basalt set har ingen været i stand til at løse garbage-in-garbage-out-problematikken, hvilket bliver hvad der frelser os fra fremtidige AI Overlords.

6
4. oktober 2016 kl. 22:09

Nu skal man holde tungen lige i munden.

AI/Machine learning/deep learning er en strid om kejserens skæg. Det drejer sig om hvilken opgave softwaren skal løse for general purpose intelligens får en computer aldrig.

Hvis ikke der er mulighed for at efterprøve korrektheden af et output står man ved et dilemma - vi er jo hinsides kausale forklaringsmodeller.

Der er et trade-off mellem forklaringskraft/holdbarhed og præcision mellem forskellige modeller, symbolske og sub-symbolske. Hvis ordsproget "A picture is worth a thousand words" holder vand, er der en tegning, som beskriver de forskellige modeller påhttp://nautil.us/issue/40/learning/is-artificial-intelligence-permanently-inscrutable

For mig må folk gerne bruge det grandiøse ord AI - bare de ekspliciterer hvad de mener med det

5
4. oktober 2016 kl. 11:25

Machine Learning er ikke AI.
ML er vel "bare" er statistik og sammenligning på meget data.
Der er intet intelligent over software, der 1000 gange får af vide, at pågældende opbygning af pixels skal kategoriseres med tagget "Vejskilt".

Ifølge almindelig kategorisering er machine learning kunstig intelligens. Og jeg vil da sige at den deep reinforcement learning man har set brugt til at spille Atari-spil har en eller anden form for "intelligens", - hvad det så er. https://deepmind.com/research/dqn/

4
4. oktober 2016 kl. 07:41

Mht. Watson Health så er det min forståelse, at den skal søge i diverse forskningsbaser i hele verden. Og der ligger godt nok meget bras.....

3
3. oktober 2016 kl. 23:09

" at det er meget vanskeligt at etablere barriere mod manipulation af modellerne. Måske er det muligt, men det stadig er et åbent forskningsspørgsmål."...

Ehh...hvad med kun at modtage input fra kilder man stoler på?

2
3. oktober 2016 kl. 15:39

Det kan godt være, at du har ret, Gert Larsen. Men betyder det, at disse forbehold og advarsler ikke er gældende for AI også?

1
3. oktober 2016 kl. 14:54

Machine Learning er ikke AI. ML er vel "bare" er statistik og sammenligning på meget data. Der er intet intelligent over software, der 1000 gange får af vide, at pågældende opbygning af pixels skal kategoriseres med tagget "Vejskilt".