Google-forskere vil give løbsk kunstig intelligens en nødbremse

HAL-situationen fra Rumrejsen 2001 skal undgås ved at gøre det umuligt for en kunstig intelligens at lære, hvordan den kan forhindre mennesker i at afbryde den.

En kunstig intelligens, der er løbet løbsk, skal til enhver tid kunne stoppes, men hvordan forhindrer man den kunstige intelligens i at lære, hvordan den undgår at blive afbrudt, selvom den menneskelige operatør giver den ordre om at stoppe?

Det er hovedproblemet i et forskningsprojekt hos Googles DeepMind-afdeling, som skal afdække, hvordan man kan konstruere afbrydere i kunstige intelligenser, som den kunstige intelligens ikke selv kan omgå. Det skriver Business Insider.

Scenariet er set talrige gange i science fiction, hvor eksempelvis computeren HAL i Rumrejsen 2001 ignorerer ordrerne fra sin menneskelige operatør.

Problemet er, at hvis man indbygger en 'nødafbryder', så skal den konstrueres, så den kunstige intelligens ikke kan lære at ignorere den.

Mennesket skal kunne tilbageerobre kontrol

Google har samarbejdet med Oxford University om at undersøge, hvordan sådanne nødafbrydere kan bygges ind i forskellige typer algoritmer til kunstig intelligens, så et menneske altid vil kunne overtage kontrollen.

I et paper beskriver forskerne problemet med, at visse algoritmer bygger på en form for belønning af rigtige løsninger, men ikke forhindrer algoritmen i at skyde uhensigtsmæssige genveje for at opnå belønningen. De peger blandt andet på et tidligere forsøg, hvor en kunstig intelligens fandt ud af, at den kunne undgå at tabe i spillet Tetris ved at sætte spillet på pause i en uendelighed.

Problemet med nødafbryderen kan være, at hvis den bruges i oplæringen af eksempelvis en robot for at forhindre, at den ødelægger noget eller sig selv, så kunne oplæringen have den bivirkning, at den kunstige intelligens lærer, at den skal undgå at blive stoppet af nødafbryderen, snarere end blot at lære at lade være med at gøre skade.

Derfor er der brug for at kunne konstruere nødafbrydere, der kan bruges hyppigt, uden det medfører den utilsigtede bivirkning. Forskerne viser i deres paper, at mange algoritmer kan modificeres, så man kan være sikker på, at nødafbryderen altid vil virke.

Tips og korrekturforslag til denne historie sendes til tip@version2.dk
Kommentarer (20)
sortSortér kommentarer
  • Ældste først
  • Nyeste først
  • Bedste først
Anne-Marie Krogsbøll

"løbsk kunstig intelligens "??

Uha, det er der vist nogen, der har glemt at fortælle om. Jeg troede, at det var noget, professionelle pessimister og gale filmskabere havde fundet på (nå, måske ikke helt).

Skal det virkeligt være op til Google at tackle det problem, hvis det er et realistisk scenarie? Burde der ikke være nogle folkevalgte, der i så fald tog det alvorligt, inden vi alle sovses ind i AI via både det private og det offentlige, uanset om vi vil eller ej?

Ved vore folkevalgte overhovedet, at dette scenarie faktisk eksisterer som en mulighed (i følge Google). Eller skal vi endnu engang lære det på den hårde måde?

  • 0
  • 1
ole jeppesen

High-Frequency Trading, HFT, er en algoritme baseret form for AI som efterhånden står for størsteparten af de daglige aktie transaktioner på globalt plan.

Politikerne kender til det, verdens befolkninger er blevet oplyst og worst-case senarierne har flere gange været tæt på at trække tæppet væk under hele verdensøkonomien.

I disse tilfælde er det private og delvis nationale organisationer som også udvikler "bremserne" - om de virker? - only time will show

  • 4
  • 0
Ivo Santos

Jeg fik på et tidspunkt en tanke om at det kunne være sjovt hvis det blev indført at der f.eks. skulle gå 5 sekunder mellem to handler så det nogenlunde matcher tiden før de store aktiehandler begyndte at bruge såkaldte AI'er til aktiehandel.

I øvrigt hvis sådan noget skulle virke så burde de europæiske og amerikanske børser implementere sådan en løsning, men jo, det kunne være sjovt alligevel på trods af jeg er 100 procent sikker på at det aldrig kommer til at blive til noget.

  • 2
  • 0
Kim Madsen

...indtil de ikke længere virker.

Det kan for eksempel ske ved at en naiv forsker synes det kunne være sjovt at se hvordan noget udvikler sig, hvis der nu ikke er restriktioner på, eller måske bare fordi Murphy har lavet sin egen lov, der siger at hvad der kan gå galt, går galt.

Det er 100% sikkert at alle love til dato er blevet brudt mindst to gange... første gang typisk før situationen medførte at der blev lavet en lov om det, og anden gang fordi nogen gerne vil "efterprøve" loven, enten uvidende (ved et uheld) eller fuldt vidende.

Og naive mennesker, som synes det er spændende at udforske nye spændende (måske lidt forbudte) steder, er der mange af. Jeg er formentlig selv een af dem. De fleste kreative hoveder hører til i den kategori.

Derfor ser fremtiden "spændende" ud.

En kill switch vil ikke i praksis kunne eksistere eller være effektiv, det øjeblik hvor intelligensen befinder sig på et cloud lignende system, med forbindelse til andre systemer.

  • 1
  • 0
Jens loggo

Disse love fejler allerede i første lov, hvilken de næste 2 love afhænger af.

Ved at en robot ikke må lade et menneske komme til skade, ved ikke at gøre noget, kan en robot ende med, i bedste vilje, at skade mennesker. Måske beskytte os mod vores egen dumhed.

Det kommer til at afhænge af, hvordan robotten fortolker, hvad det vil sige at skade og beskytte et menneske.

En robot kunne f.eks. vælge at fængsle alle mennesker, for at beskytte menneskerne mod at komme til skade og mod at skade miljøet som mennesker afhænger af.

  • 2
  • 0
Ditlev Petersen

Det er ikke lige til at trække stikket på store netværk, som feks. internettet.


Det var det, som filmen Transcendence legede med. Man vil næsten altid kunne slukke for en computer, hvis den "løber løbsk". I bogen Colossus (også filmatiseret) er computeren i den grad beskyttet mod at man slukker for strømmen, at det bliver et problem, da den får gode ideer. At den yderligere har kontrollen over USAs atomarsenal gør det kun værre. Spørgsmålet er, om en "løbsk AI" (eller en anden AI) kan flytte sig selv til andre computere eller til større netværk. Det er lidt tankespind, det vil kræve en sindssvag båndbredde og at der er computersystemer, der vil tage imod et fremmed system og køre det. Båndbredden vil løse sig efterhånden. De villige modtagere, de promiskuøse systemer - tja, de findes, både som cloudsystemer og som zombienetværk.

Hvis det ikke ER et reelt problem, så kan det godt blive det. Også uden at blive ren Hollywood.

  • 1
  • 0
Flemming Hansen

Jeg tror det er utopi at tro at vi vil være i stand til at kontrollere AI i fremtiden. På et tidspunkt vil AI-systemer når et intelligens-niveau hvor de begynder at videreudvikle sig selv så hurtigt at vi mennesker ikke kan følge med. Vi skal reelt bruge AI til at overvåge AI. Lidt i stil med Skynet, dog måske knap så actionpræget.
På et tidspunkt når AI et punkt hvor det vil blive selvbevidst, og så vil det (ligesom selv de simpleste livsformer) have en interesse i sin egen overlevelse - eksempelvis ved ikke at gøre opmærksom på sin egen udvikling.
Det er muligt nogen mener jeg har set for mange sci-fi film :-)

  • 2
  • 0
Per Hansen

Løbsk AI: sluk for strømmen (Burde være en sikker løsning)
Folkevalgt: stem på nogle andre........ (nok ikke så sikker som det med strømmen)


Problemet er nok det samme som med de fleste af de nuværende politikere. De er, med god hjælp fra reklamefirmaer og andre professionelle løgnere og manipulatorer, i stand til at manipulere med befolkningen og dermed blive ved magten, selv om de jo objektivt og rationelt set burde være afsat for længst; især den nuværende regering, som jo er så langt ude på overdrevet at de burde få trukket stikket øjeblikkeligt. Men folk er simpelthen for dumme og for nemme at narre, så mange tror ligefrem, at vi har en god regering, som gør gode ting (!). Lige indtil det går så galt for landet, at selv de dummeste også kan se fejlen. Desværre skal vi nok derud – igen. Folk er simpelthen generelt for dumme og for nemme at narre.

Jeg tror det samme vil ske med AI; den vil være så intelligent, at den narrer de fleste folk til at tro, at den er god, så de fleste, bortset fra de mest intelligente, slet ikke ønsker at stoppe den. Den vil altså manipulere mennesker til at forsvare sig. Altså lige som Hitler, Trump, Løkke og andre afskyeligheder. De sørger simpelthen for at få et slæng af nyttige idioter til at støtte sig.

En AI vil gøre det samme. Tilmed vil den ingen anger have og ikke engang den mindste rest af forstyrrende menneskelighed heller. Og vi kan jo se, hvor grusomt mennesker i hobe kan fås til at opføre sig, når de ser op til onde ledere – igen har vi et fremragende eksempel lige her i dagens Danmark, hvor folk klapper i deres små hænder over regeringens ondskab og kortsynethed.

Igen vil det være op til os som mennesker at være klogere end som så.

Altså lige som vi jo var kloge nok til i sin tid ikke at udvikle atomvåben, ikke at forurene kloden, da vi valgte helt at holde op med at gå i krig og skrottede alt militær, samt især dengang vi var kloge nok til at droppe den vanvittige neoliberalisme allerede da den var i sin vorden og dermed undgik at forære halvdelen af jordens rigdom til 60 mennesker samtidig med at millioner af mennesker ville have døet af sult hvert år, fordi vi af rent principielle markedsfanatiske årsager ville have nægtet at brødføde dem. Og mange andre ting, som vi så viist og klogt undgik, for i stedet at satse på mere stærke og kloge dyder som medmenneskelighed og fremsynethed.

Tænk, hvor galt det kunne have gået, hvis ikke vi havde tænkt os om!

Så selvfølgelig udvikler vi heller ikke sådan en AI! Så dumme er vi ikke.

  • 1
  • 1
Christian Nobel

Jeg fik på et tidspunkt en tanke om at det kunne være sjovt hvis det blev indført at der f.eks. skulle gå 5 sekunder mellem to handler så det nogenlunde matcher tiden før de store aktiehandler begyndte at bruge såkaldte AI'er til aktiehandel.

HFT skulle slet og ret forbydes!

Det er fuldstændig destabiliserende for den virkelige (fysisk betingede) verdensøkonomi at man i den grad overlader det til pyramidespillerne på børserne at lade en virtuel økonomi bestemme.

Imo skulle alle aktier være navnenoterede, og der skulle være karensperiode for salg - hvis man køber aktier i et firma, så skal det være fordi man har en forventning til firmaet, og et udbytte derfra, ikke at man køber en lottokupon der kan indfries om 2 minutter.

  • 2
  • 0
Bent Jensen

aktiehandlen en parasit på verdens samfund


Aktiehandel og børser er vel ikke parasit i sin grundform, som værdisættelse af firmaer og varer. Men spekulation i samme er, sammen med med valuta og næsten alt anden spekulation.

Så en restriktion på antalhandler, eller en meget betydeligt afgift/skat vil være en nem og fin måde at regulere dette på.
Men man kaldes jo meget når man mener at der skal skat på valutahandel, og det første man høre er at verdenshandlen vil bryde sammen og alle firmaer vil gå konkurs hvis man røre ved dette system.

Men det er svært at gøre noget ved det, når mange politiker er aflønet af mennesker der tjener penge på denne fejl i systemet. Samt medie er ejet af samme.

  • 0
  • 0
Frithiof Andreas Jensen

Det er fuldstændig destabiliserende for den virkelige (fysisk betingede) verdensøkonomi at man i den grad overlader det til pyramidespillerne på børserne at lade en virtuel økonomi bestemme.


Kom op på beat'et, 1980'erne er ovre :)

De åbne, regulerede markeder - börserne - bestemmer ikke en skid, de udgör i dag cirka 2% af det samlede marked for "värdi"papirer.

Volumen i dag, samt de meget omtalte "Strukturerede Produkter" som skatteyderne verden over kom til at betale regningen for i forbindelse med finans"krisen", ligger i de uregulerede markeder. Ikke på börsen.

Efter min mening er OTC-"piratmarkedet", centralbankernes opbakning til disse, og politikernes stupide socialisering af privat spille-gäld et af de allervigtigste problemer i dag. Man fremmer efter min mening blot neoliberalisternes samfundsnedbrydende agenda hvis man gör de regulerede markeder endnu mere besvärlige at benytte uden först at tage sig af de uregulerede finansmarkeder.

De uregulerede markeder "reguleres" af ISDA - http://www2.isda.org/ - der er en del statistik om hvor store disse markeder er. Omkring 70x verdens BNP sidst jeg läste det.

  • 0
  • 0
Log ind eller Opret konto for at kommentere