Når en selvkørende bil skal vælge mellem at ramme et barn eller to pensionister: Hvad er programmørens ansvar?

Programmører har i stigende grad menneskeliv mellem hænderne. Det rejser spørgsmålet om, hvorvidt programmørerne har brug for et datalogisk lægeløfte, mener it- og etikeksperter.

Hvis et barn løber ud foran en selvkørende bil, skal bilen så undvige ved at dreje over i den modkørende trafik eller op på fortovet, hvor der går to pensionister? Det er ét af de etiske problemer, som er blevet rejst i forbindelse med debatten om selvkørende biler, og det illustrerer en ny udfordring for programmører.

I takt med at vi bliver mere afhængige af avanceret software, vokser programmørens etiske ansvar nemlig også. Det gælder ikke kun for den selvkørende bil, men også for eksempelvis udviklere med ansvar for it-sikkerheden i patientjournalsystemer eller for udviklere, der skal sørge for, at et system til håndtering af recepter fungerer korrekt.

Det sidste har vi i Danmark haft et eksempel på med det Fælles Medicinkort, hvor en fejl i kommunikationen mellem Region Hovedstadens eget medicineringssystem og Fælles Medicinkort førte til fejl i doseringen af medicin.

»Det er et godt eksempel på et stykke software, som, når det fejlfungerer, kan have alvorlige konsekvenser for mennesker, fordi de bliver fejlmedicineret. Det er vigtigt, at man har fokus på, at sådan nogle systemer skal være godt gennemtestede. Og hvis man skal sikre sig det, så har softwareudviklere også et ansvar,« siger professor med speciale i anvendt etik Thomas Ploug fra Aalborg Universitet.

Lægeløfte for programmører

Softwareudviklere arbejder under mange organisatoriske krav til tidsplaner og kvalitet, men det gør for eksempel læger på sygehusene også. Den enkelte læge er dog også underlagt lægeløftet, men der findes ikke noget tilsvarende for programmører. Det burde it-branchen imidlertid overveje, lyder det fra softwareudvikler Kate Heddles­ton, som har taget emnet op i sine oplæg på udviklerkonferencer:

»Min far, der er læge, påvirker ét liv ad gangen. De ting, jeg arbejder på som programmør, har mulighed for at påvirke tusinder eller millioner af menneskers liv. Jeg mener, der burde følge en stærk etisk forpligtigelse med evnen til at påvirke så mange mennesker med den software, vi skaber,« siger hun.

Programmøren, som skal sammensætte algoritmerne, der gør en selvkørende bil i stand til at træffe beslutningen om, hvordan den skal undvige en person på kørebanen, er formentlig klar over, hvilke konsekvenser en fejl i koden kan få. Men programmøren, der arbejder med sikkerheden i et journalsystem, skal også være klar over sit ansvar og vurdere konsekvenserne af en fejl.

»Hvor stor er risikoen, og hvis det ikke fungerer efter hensigten, hvad er det for en skadelig virkning, det kan få? Eller med hvor stor sikkerhed kan man sige, at det her ikke har skadelige virkninger for mennesker?« siger Thomas Ploug.

Han sammenligner med blandt andet medicinalbranchen, som er underlagt meget præcise regler for test af ny medicin, og hvis it-branchen vil følge samme eksempel, så bør test af it-systemer også stemme overens med en risikovurdering. I den sammenhæng er det vigtigt, at selvom sandsynligheden for en fejl er meget lille, så skal omfanget af test og sikkerhedsforanstaltninger også opvejes i forhold til, hvad der kan ske, hvis der skulle være en fejl stik mod alle odds.

Mere end en håndværker

Programmøren er altså mere end en håndværker, som leverer et produkt, andre skal bruge. Programmøren er også den eneste, der har mulighed for at gennemskue, hvordan softwaren fungerer, og det medfører et ansvar, mener Kate Heddleston:

»Der er ting, udviklerne har ansvaret for at fortælle brugerne af deres system. Brugerne er nødt til at forstå, hvad der sker med data i systemet i forhold til sikkerhed samt beskyttelse af private oplysninger og ytringsfrihed. Brugerne bør også få klar vejledning i, hvad der sker, når de sletter data,« siger hun.

Sletning af oplysninger i et it-­system betyder nemlig ikke nødvendigvis, at data er væk. Alt efter hvordan systemet er designet, kan en sletning blot betyde, at henvisningen til dataene fjernes, eller dataene blot forsynes med en markør, som indikerer, at brugeren har slettet dem. For systemets grundlæggende funktionalitet gør slettemetoden ikke nødvendigvis nogen forskel, men det kan være vigtigt for brugeren at vide, om den information, brugeren overlader til systemet, kan fjernes igen. Hvis det eksempelvis er muligt for e-mail-leverandøren at tilvejebringe en fortrolig e-mail-samtale, som brugeren førte i den tro, at samtalen kunne slettes, kan det få konsekvenser for brugeren, og det er det, programmøren skal være opmærksom på i designet af systemet, mener hun.

Tips og korrekturforslag til denne historie sendes til tip@version2.dk
Kommentarer (56)
sortSortér kommentarer
  • Ældste først
  • Nyeste først
  • Bedste først
Simon Mikkelsen

Jeg synes ikke der er mangel på folk der gerne vil gøre det rigtigt og levere den rigtige kvallitet. Problemet er mere, at man ikke altid får tid til at gøre det rigtigt eller man sparer andre steder end på udviklingen.

Hvis en opgave er solgt til fast pris, vil firmaet jo nødigt tabe penge. Er der tale om et produkt, er der måske ikke penge til at skrive den del om, alle godt ved er noget skidt. Som menig udvikler kan man ofte ikke gøre mere end at gøre opmærksom på problemer.

Andre problemer skyldes slet ikke udviklere. Et firma kan fx ignorere henvendelser om sikkerhedsfejl, spare så meget på sikkerhedsprocedurer at en enkelt menneskelig fejl lækker en masse CPR-numre eller have så ringe sikkerhed at fortrolige data kan blive solgt til ugeblade i årevis.

I disse tilfælde er det virksomheden eller en højtstående leder der bør holdes ansvarlig, men det er desværre næsten gratis for dem.

  • 11
  • 0
Anonym

Et andet eksempel, som man kan tænke over er:

Du sidder som udvikler, enten internt, eller som konsulent, og laver en software løsning, som du kan se kan spare en medarbejder væk.
Eller du laver en løsning til et support center, hvor alle dem der er under en rød streg bliver fyret dagen efter, kunne være antallet af opkald, besvarede emails, eller en anden parameter der bliver målt efter.

Skal man som udvikler påtage sig at lave sådan en løsning? Vel vidende at det vil gå ud over folk?

IT området mangler meget den etiske debat, som der er i andre fag.

  • 3
  • 1
Poul-Henning Kamp Blogger

Jeg synes ikke der er mangel på folk der gerne vil gøre det rigtigt [...]

Certificeringsordninger er en god måde at rydde op i betændte brancher.

Det er derfor du skal være autoriseret for at rode med blindtarme, retssager, vandrør, HPFI afbrydere og bygningsstabilitet.

Hvis Programmørene tog sig sammen og lavede en etisk minimumsgrænse, samt intern justits hvis den ikke blev overholdt, så var der måske en chance for at overbevise Folketinget om at store ansamlinger af persondata kun må programmeres af folk med bogen i orden.

  • 18
  • 0
Mikkel Bruun

For 15 år siden havde jeg faget Computers and Ethics på min uddannelse. Dengang syntes jeg bare det var en fis i en hornlygte. En intellektuel diskussion.

Idag, er det vanvittigt aktuelt, og ja...Et etisk løfte og samt konsekvenser ved brud på dette er en virkelig god ide!

  • 6
  • 0
Peter Christiansen

Bare ikke det bliver sådan at
det at tage certificeringen bliver så dyr at kun de store
spillere har råd til det.

En glimrende måde at forhindre konkurrence på området,
og ville være fantastisk at lobbyere på det område.

Selvfølgelig skal der være orden på sikkerheden og
web programmører skal uddannes bedre i hvordan de systemer
de arbejder med virker, så man ikke får noob fejl som
Sql injections,zero byte vuln,xxs, cookiestealing,
bufferowerflows (ikke særlig udbredt i web sammenhæng)
som alle stammer fra den forkerte antagelse at data
som brugeren eller dennes browser kommer med er
troværdige.

  • 2
  • 0
Peter Christiansen

Du sidder som udvikler, enten internt, eller som konsulent, og laver en software løsning, som du kan se kan spare en medarbejder væk.
Eller du laver en løsning til et support center, hvor alle dem der er under en rød streg bliver fyret dagen efter, kunne være antallet af opkald, besvarede emails, eller en anden parameter der bliver målt efter.

Skal man som udvikler påtage sig at lave sådan en løsning? Vel vidende at det vil gå ud over folk?

Den passer præcis på mig
og havde godt nok tænkt lidt over det, men jeg mener ikke det er konsulentens opgave at blande sig i hvordan de firmaer man arbejder for har tænkt sig at bruge den besparelse programmellet medfører.

Jeg er til for at spare kunderne tid og penge ved at automatisere arbejdsgange, hvis de vælger at skære i personalet som resultat af dette, fint.

Hvis vi sagde stop hver gang noget skulle kodes, der kunne spare
tid og arbejdskraft tror jeg ikke det ville være særligt
engagerende at arbejde i branchen.

  • 4
  • 0
Torben Mogensen Blogger

Det kan ikke være programmørens opgave at beslutte prioritering af børn, modkørende bilister eller pensionister. Disse prioriteringer bør besluttes af etikere, og godkendes af jurister, sådan, at hvis det kan dokumenteres, at prioriteringen rent faktisk er fulgt i en konkret situation, så kan bilens software ikke pålægges ansvar. I givet fald kan den forurettede lægge sag an på dem, der har lavet og godkendt prioriteringen.

Det er derimod programmørens opgave at implementere den udefra fastlagte og godkendte prioritering. Hvis det viser sig, at denne ikke er implementeret korrekt, så kan man overveje at drage programmøren til ansvar.

Det svarer lidt til en situation, hvor en bro bryder sammen: Hvis fejlen skyldes en forkert beregning hos ingeniørfirmaet, så er det dem, der er ansvarlige. Bygningsarbejderne kan kun tillægges ansvar, hvis de ikke har fulgt anvisningerne fra ingeniørfirmaet.

Etisk set er det dog problematisk i det hele taget at lave en prioritering, så i sager om uheld, der involverer selvkørende biler, bør bilen frikendes med mindre det kan påvises, at en gennemsnitlig menneskelig bilist helt ville have kunnet undgå personskade i samme situation. Det vil være urimeligt at stille større krav til en selvkørende bil end til en menneskelig chauffør. Faktisk bør man ikke stille større krav om køreteknik, reaktionsevner og situationsoverblik end en person, der lige har fået kørekort. For disse er jo netop godkendte til at køre bil, og med mindre man kan påvise grov uagtsomhed, overtrædelse af færdselsregler eller lignende, kan en sådan bilist ikke drages til ansvar overfor ulykker, f.eks. hvis et barn løber over vejen.

  • 12
  • 0
Christian Nobel

Et krav kunne være, at al software, hvor der bare var den mindste risiko for at det kunne medføre tab af liv, skulle være Open Source og umiddelbart tilgængelig for alle.

Hvis ikke man vil acceptere det krav, så kan man bare ikke få lov til at levere til f.eks. sygehusvæsenet.

  • 9
  • 2
Jakob Bjerg-Heise

Hej Torben,

Fin kommentar, enig i at det er opdragsgiverens ansvar og ikke programmørens.

Det særlige ved bilisme er at man skal tage stilling til placeringen af det objektive ansvar for ulykker, som i Danmark i hvertfald, altid påhviler den ansvarlige for køretøjet. Se mere her http://www.advokatgaarden.com/100/. Ville du eller jeg købe en selvkørende bil, og stå med dette ansvar? Vi ville sikkert stille nogle krav til kvalitet og hermed også interessere os for de valg, der var truffet i designet af softwaren. Dette ansvar ville jeg personligt gerne sende tilbage til producenten. Hvor meget af dette ville han kunne bære selv, og hvor meget ville han sende videre til sine underleverandører. Der vil nok komme længere disclaimere, som jeg tror i den sidste ende også vil ende i programmørernes leverance-kontrakter. Jeg tror dog ikke at det vil være lægeløfter, men mere almindelig 'CMA' (Cover-My-xxx).

  • 0
  • 0
Jakob Bjerg-Heise

Hej Torben,

Fin kommentar, enig i at det er opdragsgiverens ansvar og ikke programmørens.

Det særlige ved bilisme er at man skal tage stilling til placeringen af det objektive ansvar for ulykker, som i Danmark i hvertfald, altid påhviler den ansvarlige for køretøjet. Se mere her http://www.advokatgaarden.com/100/. Ville du eller jeg købe en selvkørende bil, og stå med dette ansvar? Vi ville sikkert stille nogle krav til kvalitet og hermed også interessere os for de valg, der var truffet i designet af softwaren. Dette ansvar ville jeg personligt gerne sende tilbage til producenten. Hvor meget af dette ville han kunne bære selv, og hvor meget ville han sende videre til sine underleverandører. Der vil nok komme længere disclaimere, som jeg tror i den sidste ende også vil ende i programmørernes leverance-kontrakter. Jeg tror dog ikke at det vil være lægeløfter, men mere almindelig 'CMA' (Cover-My-xxx).

  • 0
  • 0
Peter Christiansen

Hej op,
jeg tror ikke at programmet / programmøren ser på problemet som
valget mellem at undgå at ramme et barn eller to pensionister.

Men mere en beregning på, udfra diverse sensor data, at undgå mest
mulig skade på køretøjet og de objekter der måtte være i nærheden,
her under mennesker.

Man kan heller ikke lægge mennesker involveret i uheld til last,
at de ramte ham den unge, i stedet for at ramme ham den gamle der
haltede og alligevel snart skulle dø.

Hvis man skulle ud i de beregninger for autonome køretøjer, er
det jo det samme som dødshjælp på hjul.

Udskrift fra log (humaniseret):

  • Beton element falder ned på vejbanen lidt foran bilen.

  • Hvis vi ikke styrer udenom dør passageren i vores bil. 100%

  • Passageren i vores bil er på vej til lægen, hvor vi kan se via registre
    at han har fået uhelbredelig kræft. 100% risiko for dødsfald, dog senere.

  • Vi kan undvige til højre ind i en barnevogn og en cyklist. 78,9% risiko
    for dødsfald ved påkørsel

  • Vi kan undvige til venstre ind i en ellert, med nummerplade GD43433,
    det er præcidenten. 84,4% risiko for dødsfald ved påkørsel.

  • Vi har beregnet udfra data opsamlet at det bedst kan betale sig at
    sætte farten op og fortsætte lige ud ind i cement blokken,
    så dør vores fører hurtigtst.

  • Desuden har føreren af bilen ikke betalt licens og har ikke betalt
    ret meget i skat, gennem livet.

Lidt sat på spidsen ok, men det illustrerer blot at vi ikke bør
udstyre vores teknologi med flere muligheder for at træffe valg,
end aller højest nødvendigt, sensor data burde være nok i dette tilfælde
og så må vi efterfølgende efter et uheld gennemgå den sorte boks og se om det
giver anledning til ændringer i programmellet.

Er det så programmørens skyld?
Er det guds skyld hvis du kører galt?
Er det din egen hvis du ikke tror på gud?

Svære spørgsmål!

  • 1
  • 0
Henrik Dalsager

Er jeg den eneste der ikke kan overskue min egen kode efter nogle måneder?

Hvis jeg har lavet et omfattende software, og vil lave en lille ændring er jeg nødt til at køre voldsomt mange tests, da jeg simpelthen ikke altid kan overskue konsekvenserne.

For den selvkørende bil er det helt håbløs at finde skylden.

Sensorerne giver ikke pæne data, så der skal filtreres på dem.
De filtrede data skal bruges til navigation, hvilket kræver sandsynlighedsregning -> vægtede beregninger på bilens position på vejen, og da kort materialet altid er outdatet, eller upålidelig, skal der også fra samme data beregnes hvordan vejen ser ud. så objekt genkendelse, SLAM, og en hel masse andet.

hvis alt det går godt, er dilemmaet selvfølgelig reelt nok, men måske valgte vi moren med barnevognen fordi vores genkendelses kode synes det lignede en bænk fra en bestemt vinkel..

og hvad nu hvis vi har købt objektgenkendelseskoden fra et firma der lever af at lave objektgenkendelse, er det så deres skyld?
og hvad nu hvis deres målgruppe er playstation 4, og en fejltagelse af den art normalt er ligegyldig, er det så din fordi du brugte den til noget andet end den var tænkt til?

Hvad nu hvis der er en ejer af genkendelses firmaet som er begyndt at sælge til et nyt marked, men ikke har fortalt deres programmører om det?
så var alle programmørerne i god tro...

Nogen gange er det nemt at snakke etik, men nogen gange bliver det sindsygt svært. Især fra det perspektiv som ham der laver objektgenkendelseskoden har, for hvem ved hvad andre kan bruge det til?

Jeg er i tvivl om hvad jeg synes. Der er den kæmpe forskel på læger og programmører at læger ikke skaber noget nyt, de reparerer på ting der er gået i stykker. De kan altså kun drages til ansvar for at pille ved ting der findes i forvejen. Vi kan i princippet drages til ansvar for hvad der sker med ting som ikke findes endnu, men som kan skabes ved hjælp af de ting vi laver..

  • 5
  • 0
Rune Jensen

Den passer præcis på mig
og havde godt nok tænkt lidt over det, men jeg mener ikke det er konsulentens opgave at blande sig i hvordan de firmaer man arbejder for har tænkt sig at bruge den besparelse programmellet medfører.

Det er det heller ikke.

Hvis jobs bliver forældet, fordi ny teknik gør dem forældede så må man uddanne bedre. Det er ikke konsulenten eller programmørens skyld, at jobs uddør og folk bliver arbejdsløse. Det er politikerne som ikke har været forudseende med hvor udviklingen går hen, og har justeret uddannelserne i tide.

Alene derfor er uddannelsespolitik og det at hinte børnene til hele tiden at lære nyt, at trigge deres nysgerrighed, også så vigtig. Vi skulle gerne uddanne til en nutid hvor fremtiden er tænkt ind.

Og ellers så må vi efteruddanne.

Man er aldrig for gammel til at lære.

Jeg mindes på min læreplads, de gamle svende sagde netop "Man bliver aldrig færdiguddanet". Det er jo helt korrekt set. Verden er netop ikke statisk den udvikler sig hele tiden.

  • 0
  • 0
Jan Nøhr Pedersen

ende med at blive

?

IT har længe været en kombination af babelstårn og Pandoras åbne værktøjskasse.

Et babelstårn af sprog og teknologier i konstant accelererende vækst og forandring.

En åben Pandoras værktøjskasse af stadig mere kraftfulde IT værktøjer, som på lige fod med andre værktøjer kan anvendes som våben.

Og der er ikke nogen realistisk måde hvorpå udviklingen kan bremses.

Men IT er slet ikke det mest skræmmende sted denne udvikling pågår.

Tænk blot på den udvikling som på samme måde foregår indenfor bioteknologi.

Det er en sand Pandoras æske, som der kan komme ægte mikroskopiske monstre ud af.

  • 2
  • 0
Henrik Dalsager

For en ikke-programmør rejser sig efterhånden det spørgsmål, hvordan vi forhindrer udviklingen indenfor IT i at ende med at blive mellemting mellem et Babelstårn og en Pandoras æske?

Det er faktisk et rigtig godt spørgsmål.
Det eneste programmører gør er at lave opskrifter til en computer, så den kan løse veldefinerede problemer.

Udfordringen er nok at det koden gør hele tiden bliver mere avanceret, men at selve koden også bliver mere simpel.

Du kan tænke på det som at bage en kage.

Første gang i dit liv du skal bage, er det helt vildt svært at lave opskriften detaljeret nok. Hvor lang tid skal du piske æg og sukker sammen?
Hvordan pisker man overhovedet? ske eller piskeris? håndmixer?
- det fortsætter med hvordan skærer man nødder over uden de smutter, osv.

men når du har bagt nok kager, og har lært de små tricks, kan opskriften sådanset bare være:

Lav en pund til pund kage, og bland 1/3 marcipan i passende stykker i. pynt med ½ flødeskum / ½ kagecreme og halverede jordbær..

vi ved godt det betyder:
hent opskriften på pund til pund kage, vej mel og sukker, bland de tørre ingredienser, bland de våde, vælt det sammen, bag ved ?grader i ca ?minutter, og så videre...

Det er det samme med programmering.
I "gamle" dage skulle programmøren beskrive alt, (svarende til hvordan man samler et piskeris op og holder det så man pisker effektivt)

I dag, er det mere som opskriften på 2 linjer.

men de 2 linjer med opskrift får computeren til at gøre en pokkers masse ting. Ting der for nogle år siden ville have fyldt mange tusinder linjer kode.
Det kan lade sig gøre fordi andre har lavet koden for "pund til pund kage" på forhånd, og gjort det muligt for os at bruge den.
Pund til pund kage bruger desuden kode som andre har lavet, f.eks. "piske sukker og æg", eller "smelt smør og hæl i skålen når den har passende temperatur"

Da det er kode som andre har lavet, og kode som vi måske aldrig har tid til at læse og forstå, hvem har så skylden når nogen bager en kage med gift i?

  • 3
  • 0
Carsten Poulsen

Jeg sekunderer Torben.
Jeg anser ikke en eller flere programmører som værende i stand til at omsætte samtlige krav til at kunne fremføre en bil eller lignende. Dertil skal der alt for megen anden domæneviden til.
Så simpelt som hvor styrer man en motor; jo der er allerede en motorstyring, men den er lavet som et samarbejde mellem programmører, som ved en masse om indlejrede systemer og folk, som ved noget om motorer.
Så med mindre man anser programmører som værende særdeles alvidende, så tror jeg at nogen med juridisk og moralsk (oxymoron :-) ) viden skal sætte sig sammen og specificere overfor programmøren, hvordan bilen skal reagere i situationen.

  • 0
  • 0
Anne-Marie Krogsbøll

Henrik Dalsager: Netop. Men er der ikke det yderligere problem (for at blive i Babelstårnsbilledet), at der efterhånden er uendeligt mange "systemer" og "sprog", der skal kommunikere, og at ingen til fulde kan få overblik over, hvad det indebærer af problemer og fælder?

Lidt ligesom hvis man skal lave en lagkage med voldsomt mange lag, der skal smage godt. Hvis ingredienslisten og fremgangsmåden til hvert enkelt lag er udformet på forskellige sprog,hvoraf man måske kun forstår nogle få, så vil det være meget svært at forudse, om kagen kommer til at smage godt.

Det er nok en rigtigt svær opgave at udforme retningslinier, der på den ene side får programmører og it-branche til lige at overveje det etiske aspekt, på den anden side ikke lægger umenneskeligt tunge ansvarsbyrder på de pågældende. Og man vil hele tiden løbe ind i de samme dilemmaer, som man gør i sundhedsvæsnet (som min baggrund er i) - men man kan vel ikke komme uden om, at behovet er der?

  • 0
  • 0
Kristian Sørensen

Du sidder som udvikler, enten internt, eller som konsulent, og laver en software løsning, som du kan se kan spare en medarbejder væk.
Eller du laver en løsning til et support center, hvor alle dem der er under en rød streg bliver fyret dagen efter, kunne være antallet af opkald, besvarede emails, eller en anden parameter der bliver målt efter.

Skal man som udvikler påtage sig at lave sådan en løsning? Vel vidende at det vil gå ud over folk?

Underligt dilemma.

Du spørger om man skal arbejde for at effektivisere samfundet/firmaet så det klarer sig bedre fremover til gavn for både de forblivende ansatte og de kunder mv. der så kan nyde godt af firmaets fortsatte eksistens,

eller

man skal arbejde for at bevare unødvendigt fedt i organisationen, så firmaets produkter bliver det dyrere og det senere færdige, og dermed øge prisen og forlænge leveringstiden for kunderne og øge sandsynligheden for at firmaet må lukke

  • 0
  • 0
Kristian Sørensen

Et krav kunne være, at al software, hvor der bare var den mindste risiko for at det kunne medføre tab af liv, skulle være Open Source og umiddelbart tilgængelig for alle.

Hvis ikke man vil acceptere det krav, så kan man bare ikke få lov til at levere til f.eks. sygehusvæsenet.

Nu er der virkeligt meget software der potentielt kan dræbe.

F.eks. software i rigtigt meget processtekniske udstyr til industrien, der har potentialet til enten at dræbe folk der arbejder omkring maskinen, forårsage en større skade på maskineriet der leder til f.eks. et udslip af giftige stoffer, eller gøre skade på de produkter der fremstilles, som så fejler og skader der hvor de bruges af slutkunden.

Det er nok urealistisk at få alle leverandørerne til at lægge deres dyrebart udviklede software ud som open source, det vil i mange tilfælde være softwaren der er den egentlige kerne i deres forretning.

Men man kunne som virksomhedsejer kræve at softwaren til et produkt man købte fulgte med - under NDA, så man kunne sætte kyndige mennesker til at kigge softwaren igennem for fejl.

Et sådant krav burde f.eks. sygehussektoren stille til leverandørerne af de maskiner der kobles til mennesker, håndterer medicin, autoklaver osv. Det behøver ikke ligge frit tilgængeligt på github eller sourceforge, det ville være en klar forbedring hvis sygehusene kunne hyre et hold kvikke software folk til at udøve review på softwaren til produkter man påtænkte at købe.

  • 0
  • 0
Ivan Skytte Jørgensen

Som menig udvikler kan man ofte ikke gøre mere end at gøre opmærksom på problemer.

Her er der en ting, som jeg godt ville have mere viden om:
Hvis en programmør kan se at et stykke logik / et krav / en kombination, vil ende med at bilen vil forsøge at minimere skader på bilen selv ved at køre ind i bløde mennesker fremfor en hård betonpille, hvad så?

  • Pådrager programmøren sig ansvar ved kode det alligevel?
  • Er det nok at "gøre opmærksom" på det?
  • Hvis projektlederen begraver den kommentar, pådrager han sig så ansvar?
  • Hvis firmaets chef begraver kommentaren, pådrager han sig så ansvar?
  • 3
  • 0
Jesper Lund

Hvis et barn løber ud foran en selvkørende bil, skal bilen så undvige ved at dreje over i den modkørende trafik eller op på fortovet, hvor der går to pensionister? Det er ét af de etiske problemer, som er blevet rejst i forbindelse med debatten om selvkørende biler, og det illustrerer en ny udfordring for programmører.

Inden vi diskuterer om dette dette ansvar skal lægges på programmører, er der et "lille" problem som skal løses først: hvis en computer skal have mulighed for at lave den type valg, skal der være et datainput, og det må kræve at alle som bevæger som i trafikken (i bil, på cyjel, eller til fods) skal overvåges.

Hvis selvkørende biler kun kan fungere ved overvågning af andre trafikanter, skal de ikke accepteres på vejene. Det udelukker ikke at man kan bruge en selvkørende funktion andre steder, for eksempel parkering på et lukket område hvis hastigheden begrænses til 10-20 km/timen (så evt personskade begrænses).

I øvrigt kan jeg ikke se noget behov for at lovgivningen skal ændres på grund af selvkørende biler. I dag har føreren af bilen et objektivt ansvar for de skader som bilen forvolder, og det bør føreren af bilen fortsat have. Hvis føreren af bilen vælger at overlade kontrollen i visse situationer til en computer, skal føreren stadig have dette ansvar. Det vil give føreren af bilen det rette incitament til at tage kontrollen tilbage i de situationer, hvor føreren ikke bør stole på en computer, for eksempel at afværge en ulykke.

  • 1
  • 0
Ivan Skytte Jørgensen

Jeg mener at en begrænset licensering af programmører vil være på sin plads.
Det skal ikke dække alle programmører. Der er mange opgaver som potentielt indirekte kan skade mennesker fysisk, men ikke bør licenseres. F.eks.:
- GPS/maps kunne have den forkerte adresse på et hospital, og et menneske kunne dø hvis man brugte tid på at køre forkert.
- en online pizza-bestilling kunne komme ekstra ost og æg på Hr. Jensens pizzaer, hvorved han vil få et kolesterolproblem.
- et energistyringssystem kunne skabe en overbelastning som fik sikringerne til at ryge, og en person med ilt-generator kunne dø.

Jeg mener ikke at sådanne applikationer skal kræve licens til at arbejde på. (Perfektionist-hylekoret mener nok noget andet).

Det, som jeg mener bør kræve licens, er applikationer, som direkte kan skade personer. F.eks.:
- firmware på ilt-generatorer, pacemakere, mm.
- selvkørende biler
- CNC-maskiner mm.
- nogle typer robotter

Licenseringen skal være simpel, og give både krav og beskyttelse:
Krav:
Hvis man ved eller burde vide at en applikation unødvendig vil hæve risikoen for personskade, er man forpligtet til:
- at ikke arbejde på på det
- at gøre opmærksom på det, både til opgavegiveren/chefen/projektledere, samt en offentlig whistleblower-agtig myndighed
Beskyttelse:
- at nægte at arbejde på opgaven er ikke lovlig fyringsgrund

Licensen skal også omfatte firmaer og importører.
Mht. outsourcing og genbrug af komponenter, så vil det fortsat være muligt, men den lokale importør/firma skal være licenseret, og har ansvar for produktet, uanset hvor delkomponenterne måtte komme fra.

Mht. licensen til firmaer, så ved jeg ikke hvordan man kringler det, når firmaet har begrænset ansvar (ApS/AS/..).

Jeg tror ikke at en sådan licensordning vil væsentligt fordyre ting. Men det vil måske forsinke selvkørende biler i DK med et par år.

  • 1
  • 0
Ivan Skytte Jørgensen

Jeg var i øvrigt ikke klar over, at programmører sidder med den slags dilemmaer. Interessant.

Jeg sidder ikke og arbejder på applikationer, som direkte kan lave personskade. Men pt. jeg laver energistyring, som kan lave fysiske skader på udstyr (f.eks. ødelægge en kompressor i et køleanlæg). Tidligere har jeg arbejdet med systemer, som til sidst mest blev brugt til at hive penge op af lommen på fattige afrikanere. Så jeg har haft mine overvejelser, om hvilke negative effekter mit arbejde kunne have.

  • 1
  • 0
Anne-Marie Krogsbøll

Tak for uddybningen, Ivan Skytte Jørgensen. Det du beskriver, er jo svært, fordi det kan være svært på forhånd at forestille sig, hvordan ens applikationer og øvrige arbejde kan blive misbrugt mod den hensigt, man troede, der var.

Jeg er i øvrigt kommet i tanker om en god "test" til at afgøre etiske spørgsmål: "Snowden- testen". Hvad ville Snowden gøre? Ofte ved man det jo godt (selv om man ikke har lyst til at vide det).

Måske er det at sætte barren lidt for højt - men det kan være en hjælp til at se evt. moralske dilemmaer lidt klarere. Og når der direkte er menneskeliv på spil, så må barren vist helt derop.

  • 1
  • 0
Bent Jensen

I disse tilfælde er det virksomheden eller en højtstående leder der bør holdes ansvarlig, men det er desværre næsten gratis for dem.


Så der for burde der være regler, som lægeløftet, som man kan holdes ansvarligt over for. Samt både som firma og person, mulighed for at miste retten til at sælge og levere løsninger.
Men det sker ikke for denne regel, vil også dække indkøber op til minister, der lige pludselig kan blive draget til ansvar for deres beslutninger.

  • 1
  • 0
Jn Madsen

Der er jo flere vinkler på det.

Hvad hvis bilen foretager en undvige manøvre til højre,- men slår nogle fodgængere ihjel, men vidner/kameraer afslører, at der var masser af plads til en undvige manøvre til venstre.

Så har bilen vurderet forkert,- produktet er ikke optimalt, og det åbner en ladeport for retssager og søgsmål.

Man skal godt nok være modig for at smide sådan noget i produktion, og politikerne skal nok sørge for at stå sidst i rækken når der skal udpeges ansvarlige.

Jeg tror ikke på, at de kommer i den form vi tror i dag. De kommer til at køre på "udvalgte strækninger". Med autoværn i midten og ingen fodgængere/cyklister.

  • 0
  • 0
Jn Madsen

Programmøren kan aldrig tildeles et ansvar? Hvad hvis han er død?

Det kan kun blive virksomheden der kan stilles ansvarlig,- og straks vil vi se nogle firmakonstruktioner, der kan erklæres konkurs på 0,1 sekund, når en selvkørende bil har høvlet 10 fodgængere ned,- eller når softwaren er gået i hegnet og bilen har jagtet en børnehaveklasse rundt på legepladsen.

  • 1
  • 0
Jakob Damkjær

Nem måde at løse mange af de her problemstillinger er at gøre politikerne juridisk ansvarlige for konsekvenser af deres budgetter...

Og kræve en formel juridisk bindende ed som læger har nu.,.

Lidt mindre sandsynligt at it systemet bliver underbudgeteret eller den billige bulgarske entreprenør bliver valgt til mortorvejen hvis vi havdet det system... Men det vil ingen politiker nogensinde stemme ja til at indføre....

  • 3
  • 0
Thomas Jørgensen

Programmører er ikke de eneste med ansvar for om den selvkørende bil kører et barn eller to pensionister ned. Ofte vil programmøren heller ikke være ansvarlig for beslutningsalgoritmens principper, kun dens implementering.

Hvis en mekaniker ikke har repareret bilen ordentlig kan den måske ikke styre uden om barnet (eller pensionisterne). Så mekanikere sidder også med folks liv i hænderne og skal derfor have et mekanikerløfte. Eller hvad med dem som har lavet dækkene der sikrer den nødvendige styreevne? Eller dem som laver sensorerne som fortæller bilen at der er et barn?

Laver man noget der kan have afgørende betydning for andre mennesker bør der følge kvalitetskontrol med. Jo større betydning, jo mere kontrol. Selv en stjerneudvikler med et væld af certificeringer kan have en dårlig dag, være stresset, eller bare lave en tanketorsk. Stil gerne krav til hans faglighed og professionalisme. Men er det afgørende, så følg op med kontrol.

  • 3
  • 0
Morten Kjeldgaard

Noget af det et menneske kan er at forudsige farlige situationer, uden at de nødvendigvis passer ind i et mønster. Når en menneskelig chauffør ser et barn der går på fortovet og triller med en bold, vil man bremse ned i fart, fordi man ved at børn gør overraskende ting i trafikken. En autopilot næppe nogensinde kunne programmeres til at forudsige de millioner af situationer, som mennesker kan forudse i kraft af vi selv er mennesker, og ved hvordan andre tænker (eller ikke tænker). Jeg tror det altid vil være nødvendigt med en menneskelig chauffør som i sidste ende styrer bilen, mens autopiloten kommer til klare rutinesituationer som at parkere eller køre på motorvej.

  • 2
  • 0
Bent Jensen

Hvis det endelig skulle indgå hvilken slags mennesker det er, burde det nærmere være hvem der bedst kan holde til at blive ramt.


Se det her er meget svært, og bare det det finde et fælles regelsæt for hvad det er bedst. Inden nogen drages til ansvar.

Dem der op sendte Challenger rumfærge have ikke i sinde at slå nogen ihjel, og stoppe programmet. Men de ansvarlige for løfteraketterne, levere stadig og har ikke mindste kontrakter eller betalt erstatning. Selv om de kunne og burde have stoppet opsendelsen, men det var djøferne og ikke teknikerne der tog den beslutning.
Så NASA der trodet at det var en teknisk beslutning fra leverandøren, fik en forretningsmæssig beslutning, at den skulle op, da den var forsinket så mange gange og i så lang tid.

Jeg mener at man skal forhindre at så få sandsynligvis bliver dræbt, incl samtlige personer i bilen. Men er en død, bedre end 5 grønsager ?

  • 0
  • 0
Baldur Norddahl

Man finder altid på umulige eksempler, som f.eks. etiske overvejelser en selvkørende bil umuligt kan lave. Selvfølgelig kan en selvkørende bil ikke kende forskel på gamle og unge - og det kan du hellere ikke i situationen. Det er der simpelthen ikke tid til at overveje. Mennesket kører bare på instinkt og automatisk reaktion i sådanne situationer.

I virkligheden er det slet ikke så svært. Reglen for automatiske biler er at de skal undgå ulykker. Og det vil de sandsynligvis være langt bedre til end os.

En selvkørende bil må aldrig køre ind i noget med vilje. Hvis ulykke ikke kan undgås, så stands ulykken, dvs. bring køretøjet til standsning. Den vil ikke undvige ind i modkørende biler. Vi skal ikke derhen. Sikkerheden i selvkørende biler skal forbedres ved at bilerne bliver bedre til at undgå ulykker - ikke ved at de skal lære at vurdere imellem to onder.

Det er muligt at man på et tidspunkt vil udvikle sikkerhedssystemer til at minimere omfanget af en ulykke. Så bliver det noget med at bilen kommunikerer med de andre biler, og via en protokol beregnes det at hvis vi støder sammen på måde A i forhold til alternativet B, så minimeres den samlede kollisionsenergi. Et sådant system er slet ikke nødvendigt for første generation selvkørende biler. Det er ikke noget mennesker kan og det er ikke noget vi kommer til at se lige med det samme i selvkørende biler. Hvis systemet bliver udviklet, så vil det sandsynligvis også blive installeret i manuelle førte biler, så at systemet tager kontrollen fra dig i en ulykkessituation.

Husk at det allerede er vedtaget i EU at nye biler skal tage kontrollen fra føreren, når computeren detektere at kollision er nært foranstående eller uundgåelig.

En anden ting er at forsikringsspørgsmålet altid bringes op. Men helt ærlig - det er jo overhovedet ikke et problem. Det hedder blot produktansvar. Og ja, man kan sagtens have en lov der kræver at producenten er forsikret, så der også er dækning i tilfælde af konkurs eller lignende.

  • 5
  • 0
Bent Jensen

Noget af det et menneske kan er at forudsige farlige situationer, uden at de nødvendigvis passer ind i et mønster.


Så vil bolden nok ikke være et godt eksempel, da det er et mønster som vi kan lære en Selvkørende bil at passe på. Desuden vil den måske kunne se barnet selv om vi ikke kan, måske via kommunikation fra en en bil der kom kørende i den anden retning. Desuden vil en selvkørende bil være langt bedre, til bare at køre der ud af,
ikke kommer over i den forkerte side af vejen,
ikke køre over for rødt,
ikke spirituskørsel eller bliver træt.
ikke ..

Så når bilerne er klar, vil de være langt bedre bilister end vi nogen sinde bliver, og når uheld bliver programmeret end, stadig blive bedre, hvor vi står stille.

Problemet er når der sker noget uforudset som - at et dæk eksplodere, og bilen ikke kan holdes i vejbanen, men hvor den kan vælge at køre til højere eller venstre.
Til Venstre- Kommer der en anden selvkørende bil.
Skal den så prøve at komme over i modsattevejbanen, mod en anden bil hvor bilister er beskyttet af bilens sikkerhedssystem, og måske kan nå at undgå den ulykkeramte bil.
Til Højere- Et måske frit foretov.
Eller prøve et måske fri fortovet, hvor den måske kan ramme en.
Se det er et dilemma :-)

  • 1
  • 0
Per Andersen

En selvkørende bil vil have en reaktionstid, der er mange gange hurtigere end et menneskes.
Den bliver ikke træt.
Den bliver ikke distraheret af passagererne (eller skal nyse)

Det der diskuteres her er situationer, hvor heller ikke en person altid vil træffe det rigtige valg.

F.eks. vil glatføreulykker blive sjældnere, fordi en førerløs bil altid vil tilpasse hastigheden til forholdene.

  • 2
  • 2
Anne-Marie Krogsbøll

En af farerne ved en selvkørende bil vil jo være, at det giver en falsk tryghed, hvor chaufføren ikke længere følger med i trafikken - i stedet læser sms, skriver indlæg i online-fora, måske endda (frivilligt eller ufrivilligt) ligefrem tager sig en lille lur?

  • 1
  • 0
Gert Agerholm

Man finder altid på umulige eksempler, som f.eks. etiske overvejelser en selvkørende bil umuligt kan lave. Selvfølgelig kan en selvkørende bil ikke kende forskel på gamle og unge - og det kan du hellere ikke i situationen. Det er der simpelthen ikke tid til at overveje. Mennesket kører bare på instinkt og automatisk reaktion i sådanne situationer.


Jeg er ikke sikker på at det er så dårligt et eksempel. Du kan være 100% sikker på at der i nogle lande vil komme retssager mod bilproducenten med krav om erstatning i min. 3-ciftet mio. beløb hvis dette skulle ske, hvilket ikke er urealistisk.

Det er korrekt at fjerne man alle menneskelige faktorer er sandsynligheden for uheld mindre, men det er utopi. Barnet der leger på fortover ere ikke en maskine men et menneske med menneskelige handlinger, eller den der falder på fortovet og lander på vejen, så eksemplet er ikke helt urealistisk. Derfor er det vigtig at beskrive og tage stilling til disse problemstillinger FØR de sker.

  • 1
  • 0
Bent Jensen

En af farerne ved en selvkørende bil vil jo være, at det giver en falsk tryghed, hvor chaufføren ikke længere følger med i trafikken - i stedet læser sms, skriver indlæg i online-fora, måske endda (frivilligt eller ufrivilligt) ligefrem tager sig en lille lur?


Er du sarkastisk ?
Du ved godt at det med rigtige selvkørende biler, ikke er nødvendigt at følge trafikken. Der er til den tid, sikkert ikke et rat eller andet manuel styring, selv om det stadig er påbudt. Det er lidt mere som en taxa eller tog, bare uden skinner :-)

  • 0
  • 1
Anne-Marie Krogsbøll

Nej, det vidste jeg ikke - derfor ikke sarkastisk ment :-) Det var en reaktion på, at der var kommenaterer, der argumenterede, at det er førerens pligt at gribe ind, hvis der er sket ved at ske en ulykke.

"Jeg tror nu ikke softwaren kan se forskel på et barn og en pensionist så spørgsmålet er ikke rigtig aktuel Hvis en uventet situation skulle ske skal føreren træde til og tage bestik af situationen."

Jeg opfattede, måske fejlagtigt, dette som en form for forsvar for selvkørende biler. For mig at se ikke et gyldigt forsvar, hvilket jeg prøvede at argumentere for.

Hvis man tillader biler som de beskrevne, kan man ikke forlade sig på, at føreren skal gribe ind i tilfælde af problemer, for det vil ikke virke.

  • 0
  • 0
Steen Larsen

Mit gæt er at programmører slet ikke bliver involveret i beslutningen om hvorvidt en selvkørende bil skal vælge mellem at ramme et barn eller to pensionister. Jeg arbejder pt med advanced drivers assistance systems, dvs den nuværende generation af intelligente systemer til biler som kun kan styre bilen under nogle få meget veldefinerede forhold. Min erfaring er at programmører typisk slet ikke har dette overblik og at de ofte arbejer med nogle detaljer dybt nede i en algoritme. Algoritmerne er ofte generelle og kan tunes ved at configurere en hel masse parametre.

Hvem bliver det så der bestemmer? Jeg tror det vil være en functional safety ekspert eller en algoritme ekspert der konfigurer hvordan de mange forskellige input skal vægtes. Konfigurationen vil sikkert ikke fokusere på en bestemt use case men snarere på at opnå det bedste statistiske resultat blandt flere tusinde optagede test cases.

Mvh
Steen

  • 0
  • 0
Michael Schade

Sjovt nok er der ikke nogen der har spurgt til hvor bilen kører i den situation. Om bilen kan nå at bremse er jo i høj grad et spørgsmål om fart og høj fart kører man ikke med i tæt beboede områder, hvor risikoen for at personer eller 'ting' kommer ud på kørebanen er noget højere end på f.eks. motorvej, motorvejen er også typisk omkranset af hegn/gærder.
Vejene kan derfor placeres i forskellige kategorier såsom motorvej, landevej, bykørsel og små-veje og kørslen tilpasses derefter, dvs. holder der biler parkeret tæt på begge sider i en small gade så køres der kun 10-30 km/t, hvilket gør det muligt at bremse hårdt op på et meget kort stykke og med fornuftigt design af bilen kan man helt undgå at køre nogen over (undgå at de kommer under bilen), dvs. det etiske problem bliver et spørgsmål om fornuftig kørsel også i en selvkørende bil. Hertil skal lægges at vejene skal kommunikere med bilerne om færdsel af både biler, cykler, mennesker og andet på vejene, ligesom bilerne også kommunikerer indbyrdes om trafikken og her ligger der en stor udfordring.

  • 0
  • 0
Log ind eller Opret konto for at kommentere