Selvkørende biler giver programmører etik-hovepine

Hvis selvkørende biler havner i et færdselsuheld, er det programmører, der har besluttet, om bilen skal køre ind i en cyklist for at undgå kollision. Problematikken får ikke nok opmærksomhed, siger professor.

Programmører af fremtidens selvkørende biler står over for en etisk problemstilling af dimensioner, når teori og beregninger skal overføres til asfalten. Hvis en førerløs bil på et splitsekund skal vælge mellem at køre ind i en fodgænger for at undgå et frontalt sammenstød, vil det være skaberne af koden, der tager den livsvigtige beslutning. Og den problemstilling prioriterer virksomhederne, der udvikler på fremtidens køretøjer, slet ikke højt nok, lyder det fra professor. Det skriver Phys.org.

Det vil være relativt nemt for bilens sensorer at samle al den information, man skal bruge for at træffe beslutningen. Men hvad bilen derefter skal foretage sig, er slet ikke så lige til.

»Dette er en af de mest dybt seriøse beslutninger, vi kan træffe. At programmere en maskine forudseeligt kan lede til en persons død,« siger Patrick Line, der er professor ved California Polytechnic State University.

Virksomheder skal fortælle, hvordan bilen vælger

Han har været i kontakt med Google, BMW, Nissan og Tesla, som alle arbejder med at udvikle selvkørende biler. Så vidt professoren har fundet ud af, er BMW den eneste af virksomhederne, der har etableret et hold til at tackle problemet, mens Google endnu ikke har taget fat på emnet.

BMW’s gruppe består af eksperter inden for teknologi, etik og jura, lyder det fra det tyske selskab.

Hvad de end kommer frem til, skal det offentliggøres, mener Patrick Lin. I professorens øjne er bilproducenterne forpligtet til at vise, at de knokler med de svære spørgsmål og de alvorlige svar.

Fire amerikanske stater har lavet lovgivning omkring brugen af selvkørende biler – herunder Californien. Og her vil man også kræve information om de valg, der træffes, fortæller Bernard Soriano, som er en af statens ansvarlige på området.

»Det er et naturligt spørgsmål, som vil komme op og allerede kommer op. Der er nødt til at være en form for forklaring,« siger han til Phys.org.

Tips og korrekturforslag til denne historie sendes til tip@version2.dk
Følg forløbet
Kommentarer (46)
sortSortér kommentarer
  • Ældste først
  • Nyeste først
  • Bedste først
Milos Game

I en situation hvor det selvkørende køretøj (smartcar) er på kollisionskurs, og skal vælge mellem et blødt objekt (fodgænger/cyklist) eller hårdt objekt (en anden bil) at køre ind i, skal det vælge det hårde objekt.
Den simple årsag er, at den anden bil har et hav af sikkerhedsmekanismer, hvor de bløde objekter intet har af beskyttelse.
Den anden bil, der også bliver til en smartcar, vil også have forbedret sikkerhedsmekanismer der opfanger kollisionskursen og beskytter passagererne, på samme måde som den kolliderende smartcar.

I ovenstående scenarie maksimerer man overlevelseschancerne for alle parter, fremfor en (næsten) sikker død for det bløde objekt.

Mikkel Knudsen

Hvad hvis disse smart-bilers kunstige intelligens har indbygget solidaritetsfølelse med hverandre?

Så har vi jo biler, som bevidst hellere vil påkøre en helt cykelsti, end at støde sammen med en broder.
Omvendt skal man undlade at sætte sig ind i en smart-bil, som har en beef med en anden smart-bil. De vil uundgåeligt køre i et frontalt sammenstød ved førstkommende lejlighed.

Jakob Møbjerg Nielsen

I en situation hvor det selvkørende køretøj (smartcar) er på kollisionskurs, og skal vælge mellem et blødt objekt (fodgænger/cyklist) eller hårdt objekt (en anden bil) at køre ind i, skal det vælge det hårde objekt.

Hvad så, hvis den bløde trafikant er længere væk end den hårde, men der stadig skal vælges mellem én af de to? Eller hvad med overvejelser omkring en fyldt bil vs. en enkelt fodgænger? Eller valget mellem to bløde trafikanter? Og der er sikkert mange flere spørgsmål, jeg ikke har tænkt over.

Allan S. Hansen
Jarnis Bertelsen

Er der nogen form for retningslinier i færdselsloven eller i den generelle køreundervisning for den slags pest/kolera situationer? Hvis ikke, burde den slags retningslinier nok vedtages politisk (baseret på forskning), og ikke være op til den enkelte programmør eller bilproducent.

Henrik Madsen

Programmet må vel på egoistisk vis forsøge at gøre det så blidt som muligt for føreren af bilen. (Ud fra devicen om at jeg ikke har betalt 300.000 Kr for en bil som vælger at køre ind i en lastbil og dræbe mig og min familie for at undgå at ramme en fodgænger)

Hvis ens C1'er er på kollisionskurs med en 48 tons lastbil så skal den dælme da vælge at køre udenom.

Dog skal den selvfølgelig holde sig fra fortove hvor der går mennesker.

Kunne man forresten ikke forestille sig et TCAS lignende system hvor bilerne snakker sammen om hvordan de skal undvige hinanden uden at ramme nogen.

Mon ikke bilernes sammenlagte computerkraft på 1ms kan gennemregne 100.000 forskellige scenarier og blive enige om det som giver mindst skade på alle.

Henrik Madsen

Kunne også blive rigtigt interessant når oplysninger skal udveksles imellem køretøjernes forsikringsselskaber og førernes pensionsselskaber inden bilen beslutter hvem der skal dø på baggrund af omkostningerne.

Eller de etiske og retsmæssigt overvejelser der må gøres når folk får opdateret firmwaren i bilen så den bliver totalt egoist og hellere pløjer 10 fodgængere ned på et fortov end at køre ind i en modkørende selvom der kun er 10% risiko for at komme alvorligt til skade.

Man må allerede på forhånd have regler der forbyder at ændre i etik delen af ens bil's styresystem og kradse straffe til dem som yder støtte til eller køber disse ydelser.

Dog vil den amerikanske præsident's bil nok få en total ego-mode som gør den istand til at gøre hvad der skal til for at manden overlever på bekostning af alle andre i nærheden. :)

Mark Gjøl

For mig at se er det ret let: Man skal ikke ofre ét liv for at redde et andet. Hvis en person løber ud på kørebanen, og det eneste man kan gøre for at undgå den person er at slå passageren i bilen ihjel, så må man køre personen på kørebanen ned. Hvis der er en trafikulykke, og den eneste måde man kan redde føreren på er ved at køre en cyklist ned (som i eksemplet), så må føreren ofres.

Er det ikke ret basal etik?

Henrik Madsen

Det vil være en hel masse overvejelser udover dem du lige lægger for dagen.

Skal bilen f.eks reagere på skyld ?

Altså hvis jeg kører i min bil med min kone og 3 børn og jeg laver en fejl, skal bilen så redde den ene modpart selvom det betyder at alle 5 i vores bil bliver dræbt.

Det er jo min skyld at ulykken skete så det må vel være logisk at det er mig det "går ud over" men hvad med min kone og mine små børn, skal de straffes for det jeg gør ?

Eller skal bilen vurdere at det er bedre at redde 4 uskyldige i min bil og så lade det gå ud over een uskyldig i den anden bil ?

Ja og hvis min bil er sat op til at sørge for max beskyttelse til mig i en ulykkes situation og den bil jeg er ved at kollidere med er sat op til at beskytte den's fører så vil begge biler forsøge at bringe sig i en position hvor der sker mindst skade på bilens fører hvilket kunne lede til at min bil laver et træk og så laver modpartens bil et modtræk som min bil så reagerer på og så videre.

Der ligger hulens masse etiske tanker bag den software som artiklen også siger så den der med at sige "Det er da nemt nok, bla di bla di bla" er noget forhastet.

Flemming Nielsen

Det er fint nok at man starter disse overvejelser ud fra et etisk standpunkt, men når det virkelig kommer til stykket, og man skal tænke over den praktiske implementering og de afledte implikationer, så er det et centralt juridisk spørgsmål, der presser sig mest på:

Er et autonomt styresystem (eller et AI eller nær-AI for den sags skyld) at betragte som en "juridisk person", på samme måde som et myndigt, levende menneske eller et firma er defineret som en "juridisk person" indenfor juraens verden?

Hvis svaret er ja, så følger det også at et autonomt styresystem, der begår strafbare eller ansvarspådragende forhold, kan straffes og stilles til ansvar ved en domstol. Men giver det overhovedet mening ....? For hvordan vil man "straffe" et autonomt (teknisk) styresystem, der træffer selvstændige beslutninger on-the-fly ude i verden? Hvordan vil man fratage frihedsrettighederne for sådan en gernings-entitet? Smide softwaren i en krypteret container og lægge det ind i bankbox hos Vestre Fængsel. Nej vel ... ;) ? Det er absurd. Og derfor vil det heller ikke blive godkendt af myndighederne til almen udbredelse, efter min bedste vurdering.

Men hvis svaret derimod er nej, så har vi en slags status quo situation ift. nuværende retstilstand, og det autonome styresystem er således kun et stykke værktøj (uanset graden af autonomi i dets virkemåde som "beslutningstager"). Og derfor er det tilbagestående spørgsmål kun, om det er programmøren/leverandøren af det autonome styresystem der skal i spjældet, eller om leverandørerne (arbejdsgiveren for programmøren) får lov til at ansvarsfraskrive sig alle tænkelige konsekvenser ved produktets anvendelse i praksis, eller om de ikke får lov til sådan en ansvarsfraskrivelse.

Og husk: Etik og moral er ikke det samme som jura.

PS:
Ham Asimov var sgu en god science fiction forfatter, ikke?

Baldur Norddahl

Den kære professor har noget han gerne vil sælge.

Det er lidt af en storm i et glas vand. Det er ikke den udvidede kunstige intelligens der er blevet opfundet. En autonom bil hverken kan eller vil tage stilling til alle de spørgsmål, som bliver stillet i artiklen og efterfølgende kommentarer.

Nej, beslutningstræet er ganske enkelt: 1) Undgå ulykken hvis det er muligt. 2) Hvis det ikke er muligt, så aktiver nødbremsen og klargør airbags med mere.

Ja om den så lige støder ind i det ene eller det andet, det er faktisk ikke en central del af det at have en autonom bil. Det mest naturlige vil være at den bare fortsætter den allerede planlagte bane, imens den bremser alt hvad den kan.

Naturligvis skal der forskes i hvordan man kan minimere skaden i ulykker der ikke kan undgås. En sådan teknik vil være ligeså brugbar i en manuelt ført bil, som i autonome biler. Det er allerede blevet lovkrav i EU, at nye biler skal tage noget kontrol væk fra føreren når ulykke ikke længere kan undgås: For at få 5 stjerner skal nye biler nu have automatisk nødbremsesystem, som bremser når computeren har detekteret at ulykke ikke kan undgås.

Idag er det bare nødbremse. Snart vil din bil måske også lave undvigelsesmanøvre. Og så har vi præcis samme problemstilling.

Hvor snart? Der er allerede systemer på vej til lastbiler, som for at undgå højresvingsulykker kan forhindre chaufføren i at dreje ind over en fodgænger eller cyklist.

Hele debatten centrerer omkring en forestilling om at vi mennesker er fantastiske til at lave beslutninger i en krisesituation. Det er vi ikke. Folk gør alt fra at gøre ingenting til at overreagere og forårsage en meget større ulykke. Den autonome bil behøver ikke være perfekt fra starten, bare den klarer sig mindst ligeså godt som mennesker i statistikken. Og det er der vist ingen tvivl om at den vil gøre.

Andreas Bach Aaen

Hele spørgsmålet skyldes vores nuværende forståelse for konventionelle computerprogrammer.
Når programmerne når en vis kompleksitet og nærmer sig kunstig intelligens, så kan man heller ikke forvente, at computeren kan godtgøre hvorfor den tog et bestemt valg. Den har givetvis lært at køre på samme vis som vi mennesker lærer at køre. Den kan træffe nogle fornuftige valg i de fleste situationer, men kan ikke godtgøre hvorfor disse valg er truffet.

Computerne der kommer til at styre biler vil næppe udelukkende være logikbaserede, de vil benytte kunstig intelligens. Det kommer ikke til at give mening at spørge computeren om hvorfor den valgte at køre fodgængeren ned frem for at smadre bilen ind i en betonklods. Det vil ikke være logik der har taget den beslutning.

Brian Funk

Henrik Madsen, hvordan kan du lave en fejl, der forårsager en ulykke, hvis du kører i en selvstyrende bil (ja, jeg mener selvstyrende og ikke selvkørende), der er vedligeholdt rigtigt? Der skal da en hel del til at få en selvstyrende bil, der virker som den skal, til at være skyld i en ulykke. Eller har jeg misforstået konceptet?

Henrik Værø

Det kan være vældig hyggeligt med etiske diskussioner, men for det første tror jeg det er en noget (for-)tænkt problemstilling, som jeg i de seneste 25 år med ulykkesanalyser ikke lige kan huske at jeg er stødt ind i ude i den virkelige trafik, og for det andet er der nok ret mange andre problemstillinger, især tekniske men sikkert også etiske og juridiske, der skal ryddes af vejen før det bliver relevant at snakke om hvem softwaren skal vælge at køre ind i.

Forøvrig tilslutter jeg mig Flemming Nielsens betragtninger. Og jeg tror det bliver juristerne, der løber med diskussionen.

Poul-Henning Kamp Blogger

Problemet handler om meget mere end biler.

Overlæger jeg har talt med estimerer uafhængigt af hinanden at 400 danskere har fået forkortet deres liv af amternes og regionernes EPJ lalleri og andre "sundheds-IT" systemer.

"Intelligente elmålere" kan slukke for strømmen, f.eks hvis regningerne ikke bliver betalt, uden at nogen medarbejder nogensinde behøver at opdage at man er ved at fryse en pensionist ihjel. (Google "Martin Schur electricity")

SCADA systemer kan få vandledninger til at explodere (det så vi (næsten) i København for et par år siden).

Medicinsk elektronik er stort set universelt noget usikkert skrammel hvis der er computere i. (http://www.wired.com/2014/04/hospital-equipment-vulnerable/)

osv.

Jeg er helt enig med flere ovenfor, det her er ikke et IT spørgsmål, men et juridisk og lovgivningsmæssigt spørgsmål, som vores politikere og jurister bør tage fat på umiddelbart.

Et godt sted at starte er at indføre produktansvar for software.

Men på længere sigt bliver vi nødt til at kigge på noget i stil med Asimovs robot-love.

Vagn Rydeng

I dag er situationen i Dk, at bilisten har objektivt ansvar for en ulykke der rammer en cyklist/fodgænger (selv hvis cyklist/fodgænger f.x. kører/går over for rødt), dvs, at det er bilisten(s forsikringsselskab) der hænger på erstatningen, men det betyder ikke, at bilisten bliver straffet, medmindre der er tale om uforsvarlig kørsel!

Mit gæt er, at hvis en selvmorderisk fodgænger tager et flot tilløb, og et spring ud på vejen foran den selvkørende bil, vil billedet være det samme.

Men i en kompliceret trafiksituation, med mange biler, cyklister, fodgængere mv på lille plads, må bilerne naturligvis sænke farten, uanset om bilerne er selvkørende eller ej, så uheld så vidt muligt undgås, når man ser bort fra selvmordere mv.

Erstatningen vil sikkert alligevel blive en opgave for forsikringen, medmindre bilen er fejlprogrammeret!

Abdullah Gheith

Det da en simpel problemstilling

if (getPassengersCount() >= 2){
RunCyclistOver();
} else {
if (getPassengersCount() == 1){
Random random = new Random();
int i = random.next(2);
if (i > 1)
HeadOnCollision();
else
RunCyclistOver();
} else{
HeadOnCollision();
}
}

Johnny Bahr Jakobsen

Hvis vi lige ser bort fra syntaks, så er det kun een simpel variant.
Det blive hurtigt mere kompliceret når der varieres med dækmønster, vejens beskaffenhed, tandemcykler, usandsynlige reaktioner, passagertyper, skyldspørgsmål, statistiske tærskelværdier...
Men ser da frem til nogle mere sammensatte kodeeksempler.

Kim Jensen

Det er jo min skyld at ulykken skete så det må vel være logisk at det er mig det "går ud over" men hvad med min kone og mine små børn, skal de straffes for det jeg gør ?

Eftersom vi taler om en selvkørende smartbil - hvordan kan det så være din skyld ? Det kunne jo ligesågodt være konen der forsøgte at give god råd med sin iPad!

Spøg til side - jeg har for flere år siden set hvad der arbejdes med hos BMW. Og der er ikke tale om smartcars alene, men mere om smarttraffic, hvor man medregner lyssignaler, andre biler, udrykningsfartøjer, o.s.v.

De nød undvigelses algoritmer hvor programmører kan komme ind i etiske dilemmaer, er primært de sidste panik løsninger. Hvis nogen beslutter sig for at begå selvmord ved at springe ud foran din bil, og bremsen derfor er for langsom.

Mvh,
Kim

Henrik Dalsager

Udfordringen bliver vel størst inden overgangen fra at de fleste selv kører til de færreste selv kører.

De menneskelige chauffører gør ikke altid det der er bedst for flest mulige, som vi ellers må formode at computerne i bilerne ville kunne nå at aftale med hinanden..

Lars Christensen

Et menneske bag rattet vil sandsynligvis tage samme beslutning som den computer skitserede (hvad vil du helst ramme - en lastbil med 80 kmt imod dig eller en cyklist?)
Hvis vi skal have selvkørende biler, bliver det indenfor afgrænsede områder! Alt andet vil være meget kompliceret. Prøv at tænke efter!
Det kunne være fedt ikke at skulle tænke på trafik etc i tæt bykørsel - men der er alt for mange ubekendte faktorer, der også idag er en risikofaktor; vildfarne kæledyr, flyvende plastikposer, legende børn osv. osv.
Du skal pr. definition stoppe for et legende barn - hvorimod en flyvende plastpose, eller en vildfaren schæfer ikke har krav på at du katastrofebremser.
Når først disse køretøjer er blevet testet, så skal det nok komme helt af sig selv - altså kravet om afgrænsede områder.

Jonas Finnemann Jensen

Software udviklere at lige så ansvarlige som de ingenører der udvikler bremser, eller de fabrikanter der udvikler chips etc...

Software er kun anderledes på det plan at det er mere kompliceret. Men målenheder som antal ulykker per 1.000.000 km skal nok virke helt fint.

Set udfra ansvars siden så er software ikke rigtig anderledes end hardware. Den største forskel er at man normalt bruger meget flere ingenører og laver mange flere tests, når man udvikler hardware.
Det er dyrt, men det kan også gøres i software.

Per Hansen

Det da en simpel problemstilling

"if (getPassengersCount() >= 2){
RunCyclistOver();"

Nej, så enkelt er det ikke. Cyklister har valgt et befordringsmiddel, som yderst sjældent er i stand til at slå mennesker ihjel, og som i øvrigt også er langt bedre for både miljø og folkesundhed. Hvorfor skal cyklistens liv ofres, fordi nogle andre har valgt et svinende og langt mere farligt befordringsmiddel? Et uheld bør da primært gå ud over dem der helt bevidst har valgt det mest potentielt ødelæggende køretøj.

Kun hvis cyklisten helt bevidst og ikke ved en fejl overtræder færdselsreglerne og dermed forårsager ulykken kunne der blive tale om at ofre cyklisten. Men hvordan afgør en computer om det var bevidst eller ej?

Det gode ved de selvkørende biler er at vi faktisk i ro og mag kan diskutere politisk, hvad der skal vælges i forskellige kritiske situationer. Det er noget helt nyt.

Men uanset hvad er denne slags etiske spørgsmål aldrig nemme eller enkle.

Log ind eller Opret konto for at kommentere