Programmør: Dårlig software slår folk ihjel

Illustration: Nvidia Fermi Architecture Cuda Nouvelle Ration
Indirekte er det programmørerne, der reelt styrer verden, mener en berømt programmør. For at undgå katastrofer med døden til følge skal der fokus på etik.

I sidste uge skrev programmøren Bill Sourour en blogpost 'Code I'm Still Ashamed Of' om de etiske aspekter, man nogle gange står over for som programmør.

Han tager udgangspunkt i sin egen grufulde historie, hvor han blev ansat til at bygge en hjemmeside for en farmavirksomhed - hvilket i sig selv ikke er opsigtsvækkende.

Hvad han ikke vidste var, at han blev narret til at hjælpe virksomheden med at omgå reklamelovene for medicinering, og derved var han med til at overtale unge kvinder til at benytte sig af et bestemt lægemiddel.

Senere fandt han ud af, at det lægemiddel, han indirekte havde været med til at reklamere for, forstærkede depressioner hos kvinder, og mindst én kvinde begik selvmord, mens hun tog det. Det beretter han om til Business Insider.

Årtier senere føler han stadig skyld. Og efter at have set en tale af programmøren Robert Martin, blev han inspireret til at skrive sin blogpost.

Programmører skal regulere sig selv

Robert Martin begynder sin tale - The Future Of Programming - med at fortælle, at softwareudviklere bør finde ud af at regulere sig selv, og det bør ske hurtigt.

»Lad os beslutte, hvad det egentlig betyder at være programmør. Civilisationen afhænger af os, men det ved civilisationen ikke endnu,« siger Robert Martin.

Hans pointe er, at i dagens verden er alle vores handlinger mere eller mindre styret af software, og dårlig software dræber mennesker.

»Vi slår folk ihjel. Vi gik ikke ind i branchen for at blive mordere, men det bliver kun værre,« forklarer Robert Martin, der fremhæver, at snesevis af mennesker er døde af dårlig software i biler og fly.

Robert Martin forklarer videre, at udviklere i de kommende år vil opleve at stå over for en lang række beskyldninger, og bruger VW-skandalen som eksempel, hvor CEO Michael Horn i første omgang prøvede at tørre skandalen af på en række udviklere, han mente havde handlet på egen hånd.

Og det er faktisk en påstand, som Robert Martin til dels er enig i, for som han selv siger:

»Det er jo softwareudviklere, der skrev koden. Det var os. Nogle programmører skrev en 'snydekode'. Tror du ikke, at de var klar over det? Det tror jeg, at de var.«

Martin slutter talen med at sige, at det kun er et spørgsmål om tid, før udviklere gør noget i 'blindhed', som vil skabe en katastrofe, der vil slå tusindvis af folk ihjel.

Bill Sourour påpeger, at det ikke kun handler om at dræbe folk ved et uheld. Software bliver allerede brugt af firmaer på Wall Street til at manipulere aktiekurser.

Programmører kryber til korset

Bill Sourours blogpost gik viralt, og det fik åbenbart en masse programmører til at krybe til korset og fortælle deres egne historier, hvor de både har handlet uetisk og nogle gange direkte imod loven.

Der er blandt andet en, der skriver, at han blev hyret til at udvikle software til en radioenhed, og derefter blev han bedt om, at radioenheden skulle køre på en kanal, der var reserveret til beredsskabstjenester, fordi det ville få enheden til at operere hurtigere.

En anden skriver, at han skulle lave en kode, der var målrettet børn i et gambling-spil forklædt som et ressource management-strategispil.

En fællesnævner for de mange historier, der blev delt, var, at hvis en ingeniør sagde nej, ville firmaet bag bare finde en anden til at udføre opgaven.

Robert Martin mener, at det er en falliterklæring.

»Vi styrer verden. Vi ved det bare ikke endnu. Der er andre, der mener, at det er dem, der styrer verden, men alt, de gør, er at skrive reglerne ned og give dem til os,« fortæller Martin og tilføjer;

»Herefter skriver vi reglerne ind i de maskiner, der eksekverer alt, hvad der sker omkring os.«

Videre fortæller Robert Martin, at hvis ikke programmørerne begynder at styre sig selv, vil lovgiverne på et tidspunkt gøre det for dem.

Brug for et fællesskab

Bill Sourour mener, at den åbenlyse løsning er at undervise i etik, hvilket også bliver gjort på rigtig mange universiteter.

»Desværre er mange af nutidens udviklere autodidakte,« konstaterer Bill Sourour.

Både Robert Martin og Bill Sourour er enige om, at hvad der virkelig mangler er en fælles brancheorganisation, der sætter fokus på etik.

Tips og korrekturforslag til denne historie sendes til tip@version2.dk
Følg forløbet
Kommentarer (24)
sortSortér kommentarer
  • Ældste først
  • Nyeste først
  • Bedste først
Peter Christiansen

Senere fandt han ud af, at det lægemiddel han indirekte havde været med til at reklamere for, forstærkede depressioner hos kvinder, og mindst én kvinde begik selvmord mens hun tog det. Det beretter han om til Business Insider.

Lidt overdreven skyldfølelse synes jeg nok, hvis man tager ansvar for hvad arbejdsgiveren
beslutter at bruge eens software til.

Det er jo ikke fordi han har skrevet en målsøger algoritme til et krydsermisil.

Langt ude af han føler personlig skyld for det.

Ulrik Rasmussen

Men er det nu virkelig også det? Ligegyldigt hvilken profession du tilhører, så er det vel meget sundt at stille sig selv etiske spørgsmål om hvilke kunder man vælger sig. Hvis man ikke selv ville have det godt med at udføre de handlinger som kunden bruger ens produkt til, så synes jeg klart at man har et etisk ansvar.

I det her tilfælde har han jo (formodentlig) været med til indirekte at forårsage at en ung kvinde har mistet livet. Hvad ville der være sket hvis han i stedet havde nægtet at tage jobbet, og måske endda efterfølgende havde rejst opmærksomhed om virksomheden?

Benjamin Bach

Både Robert Martin og Bill Sourour er enige om, at hvad der virkeligt mangler er en fælles brancheorganisation, der sætter fokus på etik.

Svaret på dette fællesskab synes jeg i højere grad er fagforeningen, som vil tage medarbejderens (programmørens) position og hensyn til samfundsetik -- uden at behøve at være presset af virksomhedens øvrige hensyn.

Man kan allerede i dag søge (anonym) rådgivning, støtte og uddannelse ifm. etiske spørgsmål. Det gør man f.eks. hos Prosa, hvor arbejdsudvalget It og Samfund står til rådighed.

Der er åbenlyst plads til forbedringer, men en rigtig god start ville være, om alle med etiske overvejelser og bekymringer ifm. sine arbejdsopgaver alene pga. dette forhold blev medlem af fagforeningen.

Peter Christiansen

Men er det nu virkelig også det?

Jeg mener ikke man kan forventes at have viden om hele medicinal
industrien og lovgivningen der vedrører denne, ved et simpelt job
der går ud på at lave som i eksemplet en simpel clickbait quizz.

Det er efter min mening et totalt søgt og dårligt eksempel han kommer
frem med.

I dette tilfælde er det 100% medicinal firmaets ansvar og det kan ikke
tilskrives programmøren af en helt simpel ting som en quizz.

Hvis han havde et eksempel som kunne tages seriøst, ville jeg lytte
og ville kunne forstå at han tog et hvis etisk ansvar
som f.eks.

  • SCADA til styring af a-kraftværker
  • autopilot til styring af fly
  • programmering af abs bremsesystem.

find selv på flere.

Men at tage ansvar for selvmord relateret til en clickbait quiz,
hvor han har forsømt, ved ikke at granske den gældende lovgivning
på medicinal området, det er for latterligt.

Lad os komme op på et niveau, lidt over børnehave niveau for
programmering, før vi begynder at tage ansvar for dette og hint.

Anne-Marie Krogsbøll

Jeg mener ikke man kan forventes at have viden om hele medicinal
industrien og lovgivningen der vedrører denne, ved et simpelt job
der går ud på at lave som i eksemplet en simpel clickbait quizz.


Hvis man følger linket og læser historien, så synes jeg, at det fremgår, at han faktisk godt kan gennemskue, at der er tale om en "snyde"-test, som giver samme resultat, uanset hvad man svarer (dvs. "køb dette antidepressiva") - han får bare ikke lige taget stilling til det etisk uforsvarlige i dette. Derfor får han det skidt efterfølgende, da han bliver opmærksom på konsekvenserne.

Så det er et eksempel på samvittighedsmæssigt "efterslæb" ift. den kognitive forståelse - og det taler til hans forsvar, at han faktisk får dårlig samvittighed, da han får tænkt det igennem - det burde medicinalfirmaet jo også have fået. Og det er også flot, at han nu går offentligt ud og gør opmærksom på den type problemer, så andre har mulighed for at tænke igennem på forhånd, om de kan sove godt om natten, hvis de vælger at overhøre samvittigheden i den slags sager.

Efter min mening et eksempel, som ville være særdeles velegnet til en modig whistleblower - men det sker nok sjældent.

Anne-Marie Krogsbøll

baggrundschecke juraen, bivirkninger mv. på et eftermiddags
projekt


Når det handler om medicin, burde det være nok at konstatere, at der er tale om en snyde-test, som helt entydigt går ud på at lokke personen til at tage et bestemt præparat. Der behøver man hverken medicinsk forståelse eller juridisk indsigt for at gennemskue, at man er ude i noget snavs. Så skal man så vælge imellem, om man vil blæse på det - eller tage konsekvensen og sige nej. Det ansvar kan man ikke fralægge sig.

Peter Christiansen

Så hvis man bliver hyret til et job hvor arbejdsgiveren er kreativ mht. salgs processen skal man sige nej?

Og efterfølgende hvis der opstår dødsfald (hvis man siger ja til opgaven) skal man føle sig ansvarlig for det produkt der sælges

Du er godt klar over at det er en simpel quiz det drejer sig om ikke?

Det er lidt derfor jeg synes hans eksempel er søgt.

Pauli Østerø

Hvad der i dag kan virke som en simpel og ligegyldig test i det uendelige ocean af crap og spam og clickbaits var det bare ikke dengang.

Vi snakker om året 2000! 16 år siden - hvad lavede du på internettet for 16 år siden? Jeg er sikker på at et spørgeskema vedr. hvilket præperat der anbefales blev taget noget mere seriøst for 16 år siden end det ville i dag.

Og ja - med mindre man er et kynisk røvhul, så bør man i den grad sige fra som progammør hvis de er ugler i mosen og etik'en er rådden som en potkäse. Jeg har personligt sat farvel og tak til flere kunder på den konto.

Kristian Sørensen

Enhver må, uanset profession, tage stilling til konsekvensen af sit arbejde.

Der er jobs og opgaver man bør sige nej til at udføre, fordi det trækker verden i en forkert retning.

Det er kun en selv der kan træffe den beslutning. Man udfører handlingen eller lader være og det er derfor en selv der bærer ansvaret for den beslutning.

Man kan ikke skyde ansvaret fra sig ved at deponere sin selvstændighed hos en fagforening, hos arbejdsgiverens juridiske afdeling, hos "ledelsen", hos "etisk råd", i folketinget/lovgivningen etc.

Det er den der udfører handlingen der har ansvaret. Det er den der udfører handlingen der har muligheden for at vælge at undlade at udføre den.

Jeg har sagt nej til opgaver og jobs, også nogle der havde været økonomisk fordelagtige for mig, fordi jeg ikke ønskede at bidrage til det jobbet eller opgaven gik ud på.

Det kan koste penge at tage den slags beslutninger, men det må man leve med.

Det kan ikke bruges som undskyldning for at gøre noget forkert, at man ville tabe penge på at undlade at gøre det forkerte.

Anne-Marie Krogsbøll

hvilket præperat der anbefales blev taget noget mere seriøst for 16 år siden end det ville i dag.


Jeg håber sandeligt ikke, at en test (for det er efter min mening en diagnostisk test - ikke en quizz - da den ender ud i at rekommandere et specifikt medicinsk præparat) af denne type ville slippe igennem programmørers shit-detector nu om dage. Men det er nok ikke altid tilfældet.

Den slags test bruges stadig ( i mere camoufleret form) til at lokke "kunder i butikken" - nu er slutfacit bare en anbefaling om, at man i en eller anden grad er i farezonen, og bør tage testresultatet med til egen læge, som så kan udskrive en recept. Knap så "tykt", men stadig med til at lokke kunder i medicinal-"butikken" på usaglig basis, da disse "tests" ofte har nogle meget vide diagnostiske rammer for at sætte et behandlingskrævende stempel på folk.

Ofte har medicinalfirmaet samtidig gang i charmekampagner overfor praktiserende læger, som derfor tilfældigvis netop (og i god tro) har firmaets produkter liggende klar i hukommelsen, hvorfra vejen til receptblokken er kort.

Test som den, jeg beskriver, kan nok være sværere at gennemskue for en programmør - men man må gøre op med sig selv, om man vil medvirke til den slags, hvis man bliver klar over, hvor det bærer hen.

Det er nok menneskeligt ikke at have modet og principfastheden til at sige fra - men man skal ikke bilde sig selv ind, at man af den grund bliver ansvarsfri.

Lars Skovlund

Jeg håber sandeligt ikke, at en test (for det er efter min mening en diagnostisk test - ikke en quizz - da den ender ud i at rekommandere et specifikt medicinsk præparat) af denne type ville slippe igennem programmørers shit-detector nu om dage. Men det er nok ikke altid tilfældet.


Lægemiddelstyrelsen mener tilsyneladende at beregningsværktøjer henvendt til læger skal CE-mærkes. Det synes jeg måske er i overkanten. Disse værktøjer foreslår jo ikke en behandling, men bistår lægen med ting som ellers skulle foretages med lommeregner/tabel efter at denne har truffet en beslutning om at behandle.

Michael Aggerholm

Idealistisk og naivt. Der er ikke noget der er sort og hvidt. En soldat der slår andre ihjel kan i situationen smide sit våben fordi han mener det er forkert - til gengæld kan vi så byde velkommen til Supreme Overlord Hitler. Der er altid to sider af en sag og "den som udfører handlingen" har aldrig det fulde billede.

Anne-Marie Krogsbøll

Lægemiddelstyrelsen mener tilsyneladende at beregningsværktøjer henvendt til læger skal CE-mærkes.


Interessant eksempel - mon der er tale om simple "lommeregnere"? Eller er der indlagt en eller anden form for algoritme? I sidste tilfælde må det være rimeligt, at der er en form for kvalitetssikring af, at algoritmen er baseret på anerkendt lægevidenskabelig evidens - og ikke på "services" leveret af de medicinalfirmaer, der står for den pågældende medicin.

Da beregnerne er fjernet fra hjemmesiden, kan man jo ikke selv tjekke dette.

Henrik Hansen

Lægemiddelstyrelsen mener tilsyneladende at beregningsværktøjer henvendt til læger skal CE-mærkes. Det synes jeg måske er i overkanten.


Styrelsen mener at beregningsværktøjer som bistår læger med at udregne f.eks. medicinske doser falder i kategorien "medicinsk udstyr".

Alt medicinsk udstyr skal mærkes med at det overholder de regler og krav der er til medicinsk udstyr på det indre marked.

Det kan jeg faktisk ikke se noget problem i - lægens lommeregner skal i øvrigt også være CE-mærket....

Anne-Marie Krogsbøll

Rettelse til min kommentar ovenfor: Ved genlæsning af linket til historien kan jeg se, at det ikke fremgår, hvilket præparat, der er tale om, så det fremgår altså ikke, at der er tale om antidepressiva, som jeg nævner det. Mange andre præprater kan give depression og dermed selvmordsrisiko - eks. hormonpræparater. Det ændrer dog ikke ved det principielle i historien.

Frithiof Jensen

Du fra skriver dig ikke personligt ansvar, fordi du ikke sætter dig ind i den opgave du bliver bedt om at løse.


Det er faktisk lige präcis sådan at topchefer, politikere og embedsmänd undgår at blive stillet til ansvar for noget der forgår under deres ledelse.

Der er utallige eksempler på at "man kunne ikke forestille sig ... ", "man havde intet kendskab til ... ", "man havde slet ingen fantasi til ..." -

Hvortil svaret burde väre "nå, hvis det er tilfäldet, så passer du ikke dit arbejde - du er fyret!", men altid ER "nu må vi se fremad" - selv om "past performance" er det eneste statistiske "link" vi har til "future performance".

Så, jo. Det sikreste er slet ikke at sätte sig ind i hvad man laver for så kan det aldrig gå helt galt.

Benjamin Bach

@Kristian Sørensen

Det er den der udfører handlingen der har ansvaret. Det er den der udfører handlingen der har muligheden for at vælge at undlade at udføre den.

Men folk, der står alene om en etisk problematik kan jo være pressede af omstændigheder, hvor et fællesskab netop er hjælpsomt. Truslen om at opsagt / sagsøgt / chikaneret osv. for at gå imod en ordre eller blot at diskutere med en overordnet, er gode årsager til at sørge for, at man har et fællesskab.

Det etiske dilemma kan også være så tilstrækkeligt forvirrende, at man har brug for hjælp.

Det kan ganske vist være, at man i DK ikke behøver bekymre sig om at miste brød på bordet ved at sige fra overfor arbejdsopgaver; men alene frygten kan være nok til, at man ikke tør stå ved, at en opgave strider mod ens egen eller måske endda hele samfundets etik (loven).

Det er ganske frivilligt at "skyde ansvaret fra sig ved at deponere sin selvstændighed" hos fagforeningen og Etisk Råd, som du udtrykker det - selvstændighed og fællesskaber udelukker ikke hinanden. Fællesskabet kan styrke dig til at turde træffe selvstændige beslutninger.

Synes i øvrigt, at det er sejt at du har sagt nej til opgaver! Bare husk, at det ikke er alle, der er lige velstillede / modige.

Christian Nobel
Log ind eller Opret konto for at kommentere