Machine learning er sårbar overfor reverse engineering

Et hold forskere har bevist, at de algoritmer og modeller, der bliver brugt til machine learning, er sårbare og kan manipuleres med.

Amazon, Baidu, Facebook, Google og Microsoft er blandt virksomheder, der har investeret heftigt i kunstig intelligens og relaterede teknologier som machine learning, fordi teknologierne har et stort potentiale for at blive vigtige indtægtskilder. Det skriver The Register.

Rådgivningsfirmaet Accenture var tidligere på ugen ude med en begejstret forudsigelse om, at kunstig intelligens kan fordoble de årlige vækstrater i 2035 og samtidig højne arbejdseffektiviteten med 40 procent.

Dagen efter annoncerede Accenture, at de havde indgået et partnerskab med Google om at hjælpe andre virksomheder med at implementere Googles machine learning-teknologi.

Men machine learning-algoritmerne er tilsyneladende ikke sikre og kan manipuleres.

I et dokument, der blev præsenteret i august på Usenix Security Symposiums 25-års jubilæum, fremgår det, at forskere fra École Polytechnique Fédérale de Lausanne, Cornell University samt University of North Carolina at Chapel Hill har vist, at modellerne i machine learning kan stjæles, samt at sikkerhedsmodellerne ikke er i stand til at afbøde angreb.

For eksempel kan machine learning fodres med billeddata for derefter at returnere svar på, hvad billedet indeholder. Og det med stigende præcision.

Men netop fordi modellerne tillader input, kan de også manipuleres. Ud over at manipulation af machine learning-systemerne kan bruges til krænkelse af privatlivet, fremgår det ikke tydeligt, hvad formålet ved at angribe systemerne kan være.

Denne manipulation kan ske ved hjælp af reverse engineering. Forskerne testede deres angreb på modellerne med succes på BigML og Amazons machine learning-systemer.

Svært at gøre noget ved

I en mail skriver Ari Juels, der er medforfatter på dokumentet, at det er meget vanskeligt at etablere barriere mod manipulation af modellerne. Måske er det muligt, men det stadig er et åbent forskningsspørgsmål.

Han vurderer, at modellerne skal være langt mere komplekse, hvis ikke modellernes funktionalitet skal kunne nedbrydes med de løsninger, der er tilgængelige.

I løbet af de senere år er mange machine learning-modeller blevet frigivet som open source-software, fordi virksomhederne, der udvikler modellerne, gerne vil have brugerne til at hjælpe med at udvikle koden.

Omvendt er der mange modeller, der er baseret på fortrolighed. Firmaer som BigML og Google tillader eksempelvis modeldesignere at tage et gebyr for, at andre benytter sig af deres modeller, hvilket går ud over de firmaer, der sætter dagsordenen for kunstig intelligens.

Tips og korrekturforslag til denne historie sendes til tip@version2.dk
Kommentarer (8)
sortSortér kommentarer
  • Ældste først
  • Nyeste først
  • Bedste først
#1 Gert G. Larsen

Machine Learning er ikke AI. ML er vel "bare" er statistik og sammenligning på meget data. Der er intet intelligent over software, der 1000 gange får af vide, at pågældende opbygning af pixels skal kategoriseres med tagget "Vejskilt".

  • 1
  • 1
#5 Finn Aarup Nielsen

Machine Learning er ikke AI. ML er vel "bare" er statistik og sammenligning på meget data. Der er intet intelligent over software, der 1000 gange får af vide, at pågældende opbygning af pixels skal kategoriseres med tagget "Vejskilt".

Ifølge almindelig kategorisering er machine learning kunstig intelligens. Og jeg vil da sige at den deep reinforcement learning man har set brugt til at spille Atari-spil har en eller anden form for "intelligens", - hvad det så er. https://deepmind.com/research/dqn/

  • 0
  • 0
#6 Mogens Bluhme

Nu skal man holde tungen lige i munden.

AI/Machine learning/deep learning er en strid om kejserens skæg. Det drejer sig om hvilken opgave softwaren skal løse for general purpose intelligens får en computer aldrig.

Hvis ikke der er mulighed for at efterprøve korrektheden af et output står man ved et dilemma - vi er jo hinsides kausale forklaringsmodeller.

Der er et trade-off mellem forklaringskraft/holdbarhed og præcision mellem forskellige modeller, symbolske og sub-symbolske. Hvis ordsproget "A picture is worth a thousand words" holder vand, er der en tegning, som beskriver de forskellige modeller på http://nautil.us/issue/40/learning/is-artificial-intelligence-permanentl...

For mig må folk gerne bruge det grandiøse ord AI - bare de ekspliciterer hvad de mener med det

  • 2
  • 0
#7 Andy Fischer

AI/Machine learning/deep learning er en strid om kejserens skæg. Det drejer sig om hvilken opgave softwaren skal løse for general purpose intelligens får en computer aldrig.

Præcis! Kunstig intelligens er allerede ved at støde hovedet mod den mur, som også bristede drømmene i sidste bølge. Basalt set har ingen været i stand til at løse garbage-in-garbage-out-problematikken, hvilket bliver hvad der frelser os fra fremtidige AI Overlords.

  • 0
  • 0
Log ind eller Opret konto for at kommentere