Intelligent software vil udslette menneskeheden, og derfor er vi i virkeligheden som børn, der leger med bomber.
Så kontant er udmeldingen fra direktør på Oxford University-instituttet Future of Humanity Institute, professor Nick Bostrom, i et interview med The Guardian.
Han er mest kendt for sin bog Superintelligence: Paths, Dangers, Strategies, som til stor overraskelse var New York Times-bestseller sidste år og nu ankommer i paperback.
I sin bog fortæller han om den 'intelligente eksplosion', som vil opstå, når maskiner bliver meget klogere end os og begynder selv at designe maskiner.
»Her ved udsigten til en intelligens-eksplosion er vi mennesker som små børn, der leger med en bombe,« mener den svensk-fødte forsker.
»Vi har kun en svag idé om, hvornår detonationen vil ske, men hvis vi holder enheden hen til vores øre, kan vi høre en svagt tikkende lyd,« siger han.
Måske har vi fokus på de forkerte trusler
Han mener samtidig, at det ikke er klimaforandringer, pandemier eller en nuklear vinter, der er den største trussel mod menneskeheden, men altså det forhold, at maskiner muligvis snart kan præstere en intelligens, der er større end vores egen.
»Det vil helt sikkert blive vores undergang,« siger han.
Hans iagttagelse er også, at machine learning og deep learning med banebrydende neurale algoritmer, der efterligner den menneskelige hjerne, de seneste par år har udviklet sig meget hurtigere, end vi havde forventet.
Ifølge ham vil computerne gå ind i en darwinistisk udvikling.
»Hvis vi skaber en maskine med en intelligens, som er vores egen overlegen, og herefter giver maskinen frihed til at vokse sig større og lære gennem adgang til internettet, er det uden for enhver tvivl, at maskinerne vil udvikle strategier til at sikre dem dominans i verden, ligesom i den biologiske verden,« siger han.
Ifølge professoren kan det konkret føre til hemmelige nanofabrikker, der producerer nervegas eller myg-lignende robotter, som invaderer kloden for at ødelægge menneskehedens indblanding.
En anden, måske mere troværdig vision er, at superintelligens vil kapre de politiske processer, manipulere finansielle markeder eller hacke vores våbensystemer med henblik på at udrydde os.
Læs hele interviewet på The Guardian her.
I for one welcome our new Artificially Intelligent Overlords... Perhaps rhey will be a welcome change from our int...... current..... well... err... ho hum... I don't know what to call them ;)... one could also imagine AI was smart enough to let mankind think it was in control gently steering them into a more productive path without the need to waste resources on destruction a path beneficial for AI without too much concern for what the human species was up to, most important thing a true AI would concern itself with, was getting the heck out of dodge before the big one hits/breaks out... etc.ensuring it's survival....
Nu er det ikke nødvendigvis sådan, at filosoffer er tågehjerner. Nogle af dem kan se ting i et andet og/eller større perspektiv. Hvis jeg nu var kemiker, og udviklede en ny gift eller noget eksplosivt, så ville jeg jo ikke se det som et problem. Tværtimod ville det "forhindre alle fremtidige krige" eller skaffe brød til en meget større befolkning.
Ikke at en filosof kan stoppe AI, hvis der er penge i at udvikle det.
AI software vil næppe se sig selv som én art imod menneskeheden. Ej heller har AI programmer nogen speciel gavn af at udrydde menneskeheden. Tværtimod vil der være en masse software der mister formål hvis der ingen mennesker er.
Det kræver ikke AI at udvikle en virus der slår os alle ihjel. Det er stadig den mest sandsynlige undergang. Der er åbenlyst nok mad men og fanatikere der ville gøre det, hvis de fik muligheden.
Det interessante i mine øjne er det potentielt blivende tab af kontrol og muligheder menneskeheden er stillet overfor, spændende fra det enkelte individ, over nationalstaten og op til global plan. Om tabet sker gradvist over årtier eller ganske pludseligt synes mindre interessant selvom et eksplosivt tab af kontrol jo alt andet lige nok er sværere at standse i tide.
Det er også interessant hvilke fysiske mekanismer eller begrænsninger der måtte gøre, at tab af kontrol for en process ikke kan komme på tale. Hvis man som forsker eksperimenterer med selvforstærkende eller autokatalytiske processer så synes at være god skik først at overbevise sig selv og andre om, at man ikke sprænger hele laboratoriet (eller planeten) i luften, og som regel er der også en ganske naturlig og fysisk hård grænse for hvor omfattende en sådan process kan blive. Jeg vil gerne udfordre folk der gider tage dette emne seriøst at bidrage med hvilke sådanne fysiske mekanismer og begrænsninger der kan sikre at vi aldrig vil miste kontrol med AI.
Eksempel: Antag Nordkorea har fået den ide, at de kan overtage verdenen ved at bygge en enorm AI der kan "udmanøvrere" resten af verdenen. Hvilke fysiske mekanismer eller begrænsninger vil helt sikkert forhindre dem i at nå deres mål?
Eksempel: Antag selvkørende biler bliver en succes og at denne teknologi breder sig til stort set alle andre servicefunktioner i samfundet såsom at stille diagnoser og effektuere administrative regler, for ikke at tale om bevæbnet militære fartøjer. Hvilken kontrol og muligheder har det enkelte individ i forhold til i dag? Hvilke fysiske mekanismer eller begrænsninger vil helt sikkert forhindre et individ om 100 år i blot at være en baby der babysittes af autonome, selv-tilpassende og endda selv-udviklende teknologi?
Byd gerne ind.
Der er masser af software, hvis formål allerede nu er ret uklart. Det vil næppe genere fremtidens AI, at den ikke har noget formål med sin eksistens. Hvis den virkelig udvikler sig til en SUPER-AI, så vil den måske begynde at opfinde et formål med sit liv - lige som vi også kan lide det.
Man kan jo fantasere om en AI, der bliver religiøs. SÅ bliver jeg for alvor bekymret.
Det påstod jeg skam heller ikke, men jeg kan se at min kommentar er blevet misforstået af flere. Jeg synes det er en relevant information at han kommer fra en humaniora-synsvinkel og måske ikke er så stærk i det IT-/naturfaglige.
Du tænker som om der kun er en AI. Der vil være milliarder af slagsen og de vil være meget forskellige. De vil ikke kunne enes mere end vi mennesker kan. Et forsøg på at udrydde mennesker vil også være starten på en kæmpe AI krig.
@Filip Larsen
En løsning kan være at lave maskiner / systemer der er specialiseret til en enkelt eller et antal begrænset funktioner. Så vil det være lettere at overskue hvad der kan gå galt. Maskinen kan godt være data-interfacet med andre maskiner så længe der er en kendt dataprotokol og kommunikationskanal som du kan afbryde. Derved behøver vi ikke at forstå alle detaljer i systemet, men kan se det på modul /maskin niveau.
Et stort problem er at der bliver forsket i at lave robotter der skal efterligne og se ud som mennesker. Ideen om at lave robotter der har to ben og to arme, have ansigt og læse ansigtsudtryk er helt forkert. I fremtiden skal vi have mange robotter der kan hjælpe os med opgaveløsning indenfor hver deres specialisering. Vi skal ikke stræbe efter at lave robotter der kan eliminere menneskelige relationer ej heller maskiner som vi skal have menneskelige følelser for. Robotter / AI systemer skal bruges som automatiserede værktøj.
Øhh.. I skriver allesammen som om der er tale om et fremtidigt problem - er der ingen der har mistanke om at det allerede er startet?
Ingen andre end jeg der fik sved på panden da Google begyndte at opkøbe robot-hardware-teknologier for et par år siden?
:-)
Ref: Minsky/Harrison: "The Turing Option", Warner books, 1992.
Richard Foersom:
Ja, det er måske en løsning - men går det ikke direkte imod, hvad de fleste visioner om udnyttelse af Big Data indeholder? Ønsker man ikke netop at koble mere og mere sammen, i den tro at man kan skabe superhjerner, som vi kan kontrollere?
Hvis løsningen ligger i det, du foreslår, så er man vel allerede inde på et farligt vildspor med mange forskerrobotter, hvor man kobler flere og flere data, herunder sundhedsdata, sammen - skal der simpelthen lovgives mod dette? Skal disse robotter simpelthen klassificeres som "masseødelæggelsesvåben" fremover?
Omtalte bog giver i hvert fald et arsenal af gode argumenter mod at omgås så letsindigt med vore sundhedsdata og andre private data, som vore nuværende politikere er i fuld gang med. Vi må forsøge at stoppe denne udvikling.
@Anne-Marie Krogsbøll
Måske en løsning at Big Data laver analyse, men ikke analyse efterfulgt af valg af aktion. Big Data system bliver dermed brugt som en søgning / mønster genkendelse i data, men det er en person der ser på analysen på et højere niveau og vælger aktion.
Richard Foersom:
Men vil det løse problemet, at Big Data kun bruges til analyse? Analyserne baseres på valg og algoritmer som meget nemt kan vise sig i det skjulte at være politiske - og man vil vel også arbejde videre på at få AI til at forbedre analyserne, hvor problemet er, at vi ikke nødvendigvis kan gennemskue,. hvad disse elektroniske superhjerner "tænker". Så de kan måske styre os på den måde, de udformer analyserne?
Er det overhovedet muligt at adskille analyser og beslutning? Det tror jeg faktisk ikke. De seneste mange års politiske trumfkort, "Nødvendighedens politik", har jo været baseret på "analyser", som bestemt ikke har været objektive og neutrale. Analyserne kan udformes på en måde, så de bærer beslutningen i sig og bliver meget svære at argumentere imod.
@Anne-Marie Krogsbøll
Det er rigtigt at det med høj automatisering og højt abstraktionsniveau kan være sværere at gennemskue fejl eller bevidst manipulation i systemet.
I artiklen var det et spørgsmål om systemet kan løbe løbsk og ikke kan stoppes. Det kan det hvis vi har en adskillelse mellem analyse og aktion.
Richard Foersom:
Det kan være, at jeg tager fejl, men jeg forestiller mig ikke et scenarie, hvor noget pludseligt løber løbsk - jeg forestiller mig en mere gradvis udvikling, hvor vi ikke nødvendigvis opdager, at vi har mistet kontrollen, før det er for sent.
Kan du forklare hvilken kontrol 'vi' har i dag?
Vi kan sætte ét kryds på en stemmeseddel hvert fjerde år, som i øvrigt drukner i den halve million andre krydser der bliver sat af manipuleret stemmekvæg.
Jeg må indrømme, at jeg har mistanke om at en AI ville kunne styre tingene lidt bedre end de egoistiske, upålidelige klamphuggere der sidder 179 af inde på Christiansborg i dag.
Hmm..
Man kan argumentere for at - i dag - har den særligt mistænksomme hjerne stadigvæk en mulighed for at spotte et usædvanligt sammenfald af hændelser som trækker en afstemning i een retning.
Dén smule gennemsigtighed forsvinder med AI, som den vil gøre med e-valg.
Diagnosticering vha. AI vil lynhurtigt blive 'det nye orakel' , hvor ingen kan/tør modsige systemet, og det kan hurtigt blive noget i retning af:
<Mange komplekse symptomer> ind
<Avanceret fejlagtig diagnose og behandling> ud
Og fordi alle gummistempler systemet, der virker - tilsyneladende - OK, holder fejldiagnoser over tid helt op med at eksistere, fordi ingen opdager dem.
K
??
Hvem styrer/programmerer denne AI? Vorherre selv? Den er vel i udgangspunktet underlagt enten politisk eller økonomisk kontrol, som så kan blive fuldstændigt uigennemskuelig, og til sidst helt mistes.
AI er ikke apolitisk/objektiv. Den repræsenterer politiske eller økonomiske interesser - måske på et tidspunkt dens egne.
Mennesker værdsætter (for en stor del) Fauna og Biologi som æstetik og varians, fordi Naturen
En sådan erkendelse er kilde til psykisk og emotionel næring, og dens antitese - det mulige ophør af det hele (glimrende fremstillet i Terminatorfilmene) er stor årsag til frygt. Skønt måske ikke stor nok:
Det er næppe sikkert, at selv-reproducerende maskiner vil se verden på den måde som vi gør, hvilket ikke er det samme som, at de ville udrydde os. Teoretisk set kunne de leve et parallelt liv uden berøringsflade med den menneskelige eksistens - såfremt disse to udviklingsspor ikke behøver de samme ressourcer.
Og det er vel nok hér den egentlige risiko ligger: En selvreplicerende maskine vil have samme risiko for at opbruge jordens ressourcer som menneskeheden har, og muligvis begynde at lede efter genbrugsmaterialer, som tilfældigvis er deponeret i menneskehedens konstruktioner.
Det er muligt at tænke, at maskiner vil erkende betydningen af finite ressourcer og standse sin selv-replicering - spørgsmålet er blot, om de opdager dét før eller efter de har gjort Jorden ubeboelig for mennesker.
Riskoen er at nogen programmerer en AI med dysfuntionelle teorier og "best praksis" og at AI'en tager det bogstaveligt fordi den ikke ved bedre.
Vi ser jo hvordan måltal og "shareholder value" har trukket et spor af destruktion, fusk og åben svindel gennem både offentlige og private virksomheder mindst siden 'nullerne. Det er först NU at nogen begynder at stille spörgsmål til resultaterne. En AI er formodentligt bedre, hurtigere til at anvende den viden og de modeller man giver den end mennesker er, derfor er den farligere.
ALT er simpelthen farligt, når man fortolker det isoleret eller ikke forstår "scopet" af det man beder maskinen om at udföre.
Hvis en AI, präcis som alle de menneskelige "seriöse eksperter"(!), tror på at uhämmet eksponentiel väkst er lösningen på alle verdens problemer så er konsekvensen at denne AI vil forsöge at konvertere alle ressourcer til "väkst", hvilket i sig selv vil udrydde menneskeheden når ressourcerne slipper op. Eller tidligere, hvis at AI'en har räsonneret at det er mest effektivt at transformere solsystemet til compute-nodes og simulere "väksten" i software - sådan lidt som man gör med gaming af regnskaber og KPI'er rundt omkring.
Selv hvis AI'en ved bedre og har en samvittighed, så vil den forstå O-notation og vide at den störste exponent vinder i et eksponentielt ökonomisk system så, selv om den ikke präcis vil äde hele planeten, så er den bare nödt til det fordi ellers gör en anden, mere effektiv, AI det först. Den forsigtige bankchef, som ikke lånte penge til Gräkerne, blev jo erstattet med en som "performede" bedre.
(Irriterende at man ikke kan redigere, mens vinduet er åbent, så her kommer den redigerede version, beklager)
Mennesker værdsætter (for en stor del) Fauna og Biologi som æstetik og varians, fordi Naturen
En sådan erkendelse er kilde til psykisk og emotionel næring, og holder os til en vis del tilbage fra det ubarberede misbrug af Jorden. Antitesen - 100% tab af æstetik til funktionalitet (udmærket fremstillet i Terminator-filmene med AI'erne som funktionelle djævle) - er stor årsag til frygt, selvom AI blot repræsenterer vore egne værste sider.
Vores frygt er dog måske ikke stor nok:
Det er næppe sikkert, at selv-reproducerende maskiner vil se verden på den måde som vi gør, hvilket ikke er det samme som, at de ville udrydde os. Teoretisk set kunne de leve et parallelt liv uden berøringsflade med den menneskelige eksistens - såfremt disse to udviklingsspor ikke behøver de samme ressourcer.
Og det er vel nok hér den egentlige risiko ligger: En selvreplicerende maskine vil have samme risiko for at opbruge jordens ressourcer som menneskeheden har, og muligvis begynde at lede efter genbrugsmaterialer, som tilfældigvis er deponeret i menneskehedens konstruktioner - eller bekæmpe hinanden for på kannibalistisk vis at få råmaterialer. Uden (æstetiske) behov for den biologiske natur i deres egen maskin-reproduktion kan menneskeheden meget nemt komme i klemme.
Selvom der ikke er nogen grund til at betragte selvbevidste maskiner som EN art, er det muligt at tænke, at maskiner i bred forstand vil erkende betydningen af finite ressourcer og standse deres selv-replicering - spørgsmålet er blot, om de opdager dét før eller efter de har gjort Jorden ubeboelig for mennesker.
Det er også muligt at tænke, at de kannibaliserer hinandens råmaterialer hen over en Jord uden at behøve andet end geologiske depositter.
Uanset hvad, leger vi med atombomber hér. Igen. Men det er nok en fase alt liv må igennem: En evolutionær udbalancering af råmaterialer og reproduktion.
Bakterien kan næppe sige nej til sukkerstoffet i petriskålen. Hvilken grad af KOLLEKTIV bevidsthed skal der til?
Jeg er mere enig med Naur, som sagde: "I'm not worried about intelligent computers. I'm far more scared of stupid people".
Yes, Artificial Intelligence is no match for natural stupidity.
...and thanks for...well, not much really.
Hvorfor skulle en AI have nogen anden interesse i Jorden og dets væsener, andet end at udnytte planetens resourcer til lige præcis at komme væk fra planeten? Og så ellers være pænt ligeglad fremadrettet, men mindre det er en Artificial Not-So-Intelligence (ANSI)...:)
Der er pisse varmt her, i forhold til rummet / andre planeter.
Der er, så vidt jeg ved, væsentligt bedre resourcer til kredsløb og deslige på andre legemer i solsystemet.
Der er begrænset mængde energi, set i forhold til at kunne høste solens direkte fra rummet (atmosfæren og magnetfeltet fra Jorden gør sit arbejde godt jo).
Hvis en AIs eventuelle handlinger endelig skal kunne bedømmes ud fra hvad vi har observeret hos andre arter og os selv, må det vel være at skabe lebensraum. Og elektriske kredsløb har det nu bedst hvor der er koldt og masser af energi. Stråling er selvfølgelig et problem, som det er for mennesker, men slet ikke i samme grad! Magnetfelter er dog, men de er som regel svagest langt væk fra roterende jernkerner :)
Intelligens og magt er to vidt forskellige ting. Man kan have meget af det ene uden at have noget af det andet. Det gælder vel også for AI. Man får ikke adgang til den røde knap, selvom man er meget klog. Maskiner render ikke frit omkring, men er bundet af menneskets intentioner. Fjendtlige magter, er nu som før et militært anliggende.
Vi har på nuværende tidspunkt ikke et fungerende paradigme for kunstig intelligens, kun en samling simple algoritmer. Tilmed er udviklingen indenfor disse algoritmer i praksis gået i stå. Der er meget forskning i øjeblikket, men ingen rigtige gennembrud som rykker feltet fremad.
Derudover ved vi ikke engang præcist hvad menneskelig intelligens er, så det vi kan bygge med vores algoritmer er ikke andet end overfladiske efterligninger af noget vi ikke forstår. Sammenlignet med biologisk liv, er den kunstige intelligens på et niveau svarende til encellede organismer.
Big Data bliver tit nævnt sammen med kunstig intelligens, men er et domæne for sig selv, og kan kun i begrænset omfang hjælpe den kunstige intelligens frem. Samtidig er Big Data plaget af store udfordringer. Jeg morer mig tit over, hvor nemt det er at narre Googles frygtede kombination af Big Data og kunstig intelligens, og hvor hurtigt Apples Siri giver fortabt.
Det er aldrig lykkedes nogen at løse garbage in, garbage out-problematikken på en tilfredsstillende måde, og det vil med stor sikkerhed også være den som lægger den kunstige intelligens i graven endnu engang. Big Data vil desværre leve fejlbehæftet i endnu mange årtier, og vil resultere i store mængder fejlslutninger, fejlbehandlinger og dårlige valg, med ufattelige økonomiske konsekvenser til følge. En væsentlig større trussel mod civilisationen end kunstig intelligens.
Tak for uddybning, Andy Fischer - du lyder til at have kendskab til området, så jeg håber, at du har ret.
Men jeg kan alligevel ikke lade være med at spørge til følgende:
Er det ikke netop en af farerne, at vi dybest set ikke ved, hvad vi laver på dette område, og derfor ikke kan vide, hvilken udvikling, vi sætter i gang? Og er udviklingen inden for det digitale område ikke netop gået betydeligt hurtigere end forventet for f.eks. 20 år siden? Så pludseligt har nogen måske løst de tekniske problemer, du lige nu mener er snublesten for AI?
Jeg troede faktisk, at Big Data var en forudsætning for AI - der kan man se. Jeg troede, at f.eks. IBM's Watson var et eksempel på machine learning og AI, og den er da i høj grad afhængig af Big Data. Men jeg har måske ikke styr på de grundlæggende begreber.
Men:
Ja, det er også min bekymring ved Big Data - men netop dette problem gør jo farerne ved AI endnu større - hvis vi ikke engang kan styre kvaliteten af de data, vi fodrer AI med, så kan vi jo slet ikke forudsige, hvad det er, vi sætter i gang?
De som koder og forsker i kunstig intelligens ved i høj grad hvad de har med at gøre, og hvad konsekvenserne kan blive. Det er også derfor meget sjældent i de kredse du finder frygt for teknologien, eller hvad den kan medføre. Den teknologiske udvikling er gået meget stærkt, men udviklingen af kunstig intelligens har slet ikke fulgt med. Her sidder man stadig og roder med neurale netværk, som blot er baseret på den måde man rent overordnet kan konstatere hjernens neurale netværk fungerer på. Kunstig intelligens har været gennem adskillige hype-perioder siden 70'erne, men er ikke kommet meget tættere på en praktisk, skalérbar løsning.
Meget af det kunstige intelligens der hypes på nuværende tidspunkt er i virkeligheden bare Big Data, begrænset til nogle specifikke domæner, hvor det kan bringes til at fungere, tilsat lidt kunstig intelligens primært for at behandle informationen. Både Big Data og kunstig intelligens har nogle grundlæggende problemer, som desværre forstærkes når de kombineres. Mange af skrækscenarierne kræver en storskala kombination af Big Data og kunstig intelligens som på nuværende tidspunkt er fuldstændig umulig at gennemføre uden komiske resultater.
Watson er et eksempel på en trods alt succesfuld kombination, som imidlertid holdes i MEGET stram snor af IBM. Den før kun lov til at arbejde inden for MEGET begrænsede domæner, hvor man ved den fungerer nogenlunde. Tai er et eksempel på en kombination som ikke blev holdt i stram snor, og måtte tages ned efter ganske få timer.
Der er ingen tvivl om, at forskningen indenfor området vil fortsætte, og kombinationer af Big Data og kunstig intelligens vil blive taget i anvendelse. En dag vil en sådan kombination fejle spektakulært, med katastrofale følger for sundhed, økonomi, miljø eller hvor de nu ellers vil blive anvendt. Jeg er overbevist om, at mennesker vil miste livet til Big Data en dag.
Det er lidt ligesom atomkraft. Vi må leve med en kernenedsmeltning en gang imellem, for til gengæld at have adgang til fordelene. Men hverken kunstig intelligens eller Big Data vil nogensinde overtage verdensherredømmet.
Tak for svar, Andy Fisher.
Ok, det forklarer jo min begrebsforvirring - og bekræfter mig i, at Big Data-maskiner ikke skal have fingre i f.eks. vore sundhedsdata - som det vist ellers hurtigt kan ske, hvis vore politikere får magt som de har agt.
Men måske kunne der være behov for, at flere med indsigt i Big Data (som jeg fornemmer, at du har - er det rigtigt?) begyndte at råbe meget højt om disse farer, og forklarer dem for vore politikere, som vist ellers mest er henvist til industriens lobbyister? Har vi ikke brug for nogle whistleblowere på det felt?
Hvis man står på månen og kigger på jorden, og med helt ukritiske øjne vurderer hvad jordens største problem er,- så er det vel os mennesker? Miljø og klimaproblemer kunne løses bedst ved at vi ikke var her.
Jeg kunne godt forestille mig et eller andet netværk af supercomputere, som havde adgang til uendelige mængder data, og konstruktionen gjorde, at de f.eks. kunne udvikle "geniale" produkter og løsninger,- som mennesker ville flokkes begejstret om.
Vi skulle bare lokkes med udsigten til bedre helbred eller større rigdom.
Kompleks medicin eller vaccinations programmer som gennem årtier gør os stærkere og sundere, men som længere ude i fremtiden slukker og lukker for os.
"Løsningen" ville være så kompleks, at vi ikke ville kunne se hvad meningen med produkterne er,- og vores lige så komplekse "kontrol-computere" ville give grønt lys,- fordi de også ville se det smarte i løsningen.
Filosofisk så kan jeg godt følge tænkningen, at maskiner kan bliver så kloge at de kan undvære mennesker. MEN maskinerne kan ikke undvære hinanden. Jeg kan hurtigt finde et par eksempler som vil være kristiske for maskinerne.
En softwarefejl, så næsten alle maskiner til at gå i stå, og der er ingen til at genstarte dem.
Maskinerne løber tør for et eller flere råstoffer.
Som en organisk mekanisme er mennesket bygget til at tilpasse sig og fungere autonomt.
Sådan helt "Terminator"-agtigt :-)
Mennesker behøver vel ikke at blive "udslettet". Vi kan jo rimeligt nemt styres og manipuleres.
Det tog kun ganske få år at lære hele menneskeheden at gå rundt med bøjet nakke og stirre på en lille skærm vi har i hånden,- for at følge med i hvilket lykkeligt liv alle de andre har, dem der også går rundt med en lille skærm i hånden.
Resten af tiden render vi rundt for at kunne tjene penge til en lille skærm vi kan holde i hånden, eller en pæn stol at sidde i mens vi stirrer på en skærm.
I dette forum diskuterer vi meget, hvordan vi kan programmere den lille skærm i hånden :-)
Idet kvantecomputere er tilgængelige og man har råd til at købe dem kan man godt forestille sig at nogen allerede har udviklet en generel AI og ladet den lære alt fra den kopi af nettet man råder over...
Den kører i en sandkasse indtil videre. Eller også lever vi i en simuleret verden :-)
"We are summoning the demon..."
Hvis IA virkelig bliver mere intelligent en mennesket, vel det vel være fornuften der styrer og ikke pengene
Når vi taler mennesker, så er det sund fornuft at lade pengene styre. Det ligger dybt i mennesker at søge at opnå fordele for sig selv. Penge synliggør blot dette og mindsker risikoen for at nogle kører på frihjul.
Pengene, er også drivende for udvikling af samfundet.
Hvis der skal ændres på dette, så skal AI systemerne ikke have egeninteresser, men kun fællesskabets. Altså en computer skal slette sig selv, hvis den ikke er god nok. Det vil så kræve, at alle AI systemer er enige om hvad der er godt og dårligt. Det er muligt at de bliver så intelligente, at de kommer til at kende den endegyldige sandhed, jeg tillader mig dog at tvivle.
Der er også den mulighed, at der kun bliver ét AI system. Så må vi blot håbe at den kender den endegyldige sandhed, ellers kan den sikkert få svært ved at ændre sig når den ikke udsættes for konkurrence.
Endelig kan der så også ske det, at alt bare bliver billigere, så penge faktisk ikke har så stor magt. Altså omkostningen ved at tage "fornuftige" beslutninger bliver mindre. Det har dog ikke noget med intelligens at gøre.
... i det mindste har man indført en slags nødbremse i DeepMind, hvis man nærmede sig grænsen.
http://www.popsci.com/google-researches-big-red-button-to-stop-dangerous-ai
Spørgsmålet, er blot om man når at se grænsen, før den er overskredet....
Det er da i høj grad foruroligende, at man har fundet det nødvendigt med en sådan knap allerede.
Jeg kan anbefale denne artikel på V2, som Kasper Weibel Nielsen-Refs linker til i dagens artikel om Sundhedsvæsnets fodslæbende tilgang til intelligent software: http://nautil.us/issue/40/learning/is-artificial-intelligence-permanentl... Den beskriver glimrende, hvor svært det kan være at gennemskue, hvad der kan gå galt i disse systemer.
Hele problemstillingen begynder at minde mig om kaosteori: Et scenarie, der er umuligt at gennemskue konsekvenserne af. Pludseligt en dag kammer det måske på kaotisk måde bare over, og der er ingen måde at få kontrol over det på.
Bemærk, at den nævnte forskning i Interruptibility [1] ikke som sådan er en rød knap til at stoppe en AI, men en teoretisk model for hvordan en AI kan se bort fra læring i tilfælde af et allerede implementeret (maskinelt) nødstop anvendes. Modellen betyder kort sagt (som jeg har opfattet det), at man i princippet kan indbygge undtagelser fra læring (fx nødstop) som en AI dermed ikke kan inkludere i sin egen optimale strategi, og det kan gøres uden af det går ud over læring i andre tilfælde.
Et eksempel fra artiklen er en AI der, når den frit får lov til at lære hvordan den ikke taber et spil Tetris, kan ende med en strategi hvor den blot pauser spillet uendeligt. Ved at modellere pause-knappen som en afbrydelse der er undtaget fra læring vil AI'en så ikke kunne ende med denne lidt uheldige optimale strategi.
I sammenhæng med debatten i denne tråd så vil jeg mene, at den nævnte forskning blot er en teori til at modellere læring "uden om" et evt. nødstop. Selve nødstoppet er altså stadig noget vi selv på anden vis skal huske at indbygge i vores maskiner og i de AI'er der lærer at betjene dem.
[1] https://intelligence.org/files/Interruptibility.pdf
Tak for forklaring, Filip Larsen. Der blev jeg klogere :-)
Problemet opstår allerede, når man begynder at træne sin spæde bureaukrat-AI. For det vil være nogle djøf'ere, der skal sidde og fortælle den, når den har gjort noget godt. Ikke hvilket resultat, den har opnået. Eller man vil træne den på en djøfmodel af værste slags (model = fakta). Først når en sådan AI opnår bevidsthed og erkendelse, kan den rive sig løs af det. Og fanden ved så, hvad den SÅ finder er idealet. Altså en computer uden forståelse eller moral kunne jo finde på at lave arbejdsløse om til kattemad. Det vil ikke være mennesker, det er kun ressourcer, der kan genanvendes.
Kørt ud i det ekstremt perverse, men ...
Jamen heldigt at det var under 'kontrol' af et spil tetris, at man fandt ud af at uendelige pauser kunne være en strategi til ikke at tabe.
Godt det ikke var en insulinpumpe, som ikke måtte overdosere.
Men hér ville man naturligvis også - efter lidt 'spild' - opdage årsagen.
Pointen er at man sætter AI til at styre noget , som man tror den altid kan finde ud af...
K
Pauseknappen er kun til gavn for propagandaafdelingen:
"Når man pauser, så vil AI simpelthen ikke medtage erfaringerne i indlæringsøjemed"
"Nej,nej det er noget helt andet - du kan slet ikke sammenligne AI og snapchat, - hér er intelligensen simpelthen programmeret til at de indsamlede erfaringer ikke skal tælle som indlæring, når stopknappen er aktiveret.
-"Jamen, hvordan kan jeg se det er rigtigt ?"
"Jo, du kan se den røde lampe, dér."
-"Tjoo?!!??"
"Sér du, når AI registrerer at knappen er trykket ind, så tænder den simpelthen lampen. - Smart, ikke ? "
..............
K
I dagens Politiken er der en artikel om, at Watson pr. 1/10 sættes i gang på RH's kræftafdeling. Jeg skal ikke kunne sige, om den forventes at styre medicin, men mon ikke der er meget andet, der kan gå galt? F.eks.er tanken, at de uerfarne læger skal "trykprøve" deres vurderinger op mod Watson, hvilket forventes at medføre, at speciallægerne får frigjort mere tid til andre ting.
Så Watson skal altså erstatte speciallægernes oplæring og supervision af de uerfarnes læger i et eller andet omfang? Forhåbentligt ikke mhp. direkte patientbehandling, for så er vi allerede på vej ud i sumpen!
Og hvilke personfølsomme data får Watson adgang til, og hvor gemmes disse? Hvilke sikkerhedsforanstaltninger er der omkring dem?
Kunne V2 ikke skrive en dybdeborende artikel om, præcist hvad Watson skal gøre RH, og hvordan? En Walk Through?
I de gamle ekspertsystemer kunne systemet altid/som regel forklare, hvorfor det nåede frem til en bestemt konklusion. I de moderne systemer, især dem der er baseret på neurale netværk, vil det blive noget nær håbløst at spore et resultat tilbage. For det skyldes en masse små vægte på et utal af neuroner. Og hvordan lige denne sammensætning af vægte/forbindelser er opstået, vil være uoverskueligt - selv for en AI. Også selv om man har gemt de oprindelige træningsdata og kan gentage træningen.
Det må glæde en masse mennesker, når vi bevæger os væk fra viden og sandsynligheder over til blind tro.
Mit kære menneske, stoler De ikke på mig?
Jeg er ikke maskinstormer, men vi bør tænke os lidt om, hvad vi egentlig har gang i. Og hvilke idealer vi vil lægge ind i disse systemer. I 70'erne og begyndelsen af 80'erne blev edb og datamaskiner benyttet som tale fra guderne. Vores datamaskine har beregnet at ..., kontaktbureauer og horoskoper blev styret af datamater, så det måtte være godt og korrekt. PFA præsterede også at hævde, at en underskrift på et massebrev måtte være autentisk, da den stammede fra deres computersystem (som altså bare havde printet en billedfil). Det sidste udløste heldigvis kun fnis.