Når computere slår ihjel

Nu er det vist slået tilstrækkeligt godt fast at det var en eller anden variant af et computerproblem der slog fire af seks besætningsmedlemmer ihjel i A400M crashet for en måned siden.

Der har tidligere været andre sager hvor fingeren har peget på computere, men de fleste har været mere mudrede end den her, hvor motorstyringen på tre motorer mere eller mindre svarede "I'm sorry Dave, I cannot do that."

Der er næppe grund til at psychoanalysere disse motorstyringscomputere, dertil er deres niveau af kunstig intelligens slet ikke højt nok, men den dag kommer også. (Hvad sker der når IBM's Watson bliver bedt om at diagnosticere en massemorder med egen Wikipedia side ?)

Men der er rigtig god grund til at få klarlagt, på principniveau hvor ansvaret skal placeres når computere slår ihjel.

I dette tilfælde var der tale om test-piloter, for en eller anden værdi af test-piloter, for AirBus og flyet var på sin første test-flyvning, så formodentlig står der altmuligt med småt i de relevante ansættelseskontrakter om den slags "eventualiteter".

Om det er en egentlig programfejl, en konfigurationsfejl eller en procedurefejl er mindre væsentligt, men lur mig om man ikke, som sædvanligt, vil prøve at finde en stakkel der kan få skylden -- for det gør hele den juridiske situation så meget nemmere.

Men i stort set alle andre sammenhænge falder software igennem juraen: Leverandørens ansvar er på niveau med religioners produktansvar, brugeren har ikke en jordisk chance for at vurdere om softwaren er til at stole på og ofte har offeret slet ingen viden om noget som helst.

Det er overhovedet ikke nogen simpel juridisk problemstilling og der er rigtig store penge på spil, men jo tidligere vi tager fat om problemet jo færre mennesker når computerne at slå ihjel, inden computerbranchen tager sit ansvar seriøst.

Her er lidt at tænke over:

Hvilken computer i Danmark kan slå flest mennesker ihjel ?

Hvor lang tid vil der gå inden man kan stoppe den ?

Hvor mange vil miste livet ?

Hvem kommer til at betale erstatningen ?

Burde vi ikke tale om det i valgkampen ?

phk

Kommentarer (28)
sortSortér kommentarer
  • Ældste først
  • Nyeste først
  • Bedste først
Peter Makholm

Istedet for at forsøge at spå om fremtiden, så kan man overveje hvilken computer i Danmark der har slået flest ihjel osv.

Et godt bud er så måske de computere der styrer medicineringen i sundhedsvæsnet. Jeg mindes i hvert fald et tilfælde hvor en fejl i computersystemet førte til fejlmedicinering der har givet en overdødlighed for nogle kræftsyge. Det blev vist opdaget ved lidt af et tilfælde.

Men det kunen være interessant at samle eksempler og forelægge dem for Karin Gaardsted der som bekendt mener at man ikke kan være bange for en computer.

  • 6
  • 0
Esben Bjerregaard

Et godt bud kunne være systemer til styring af togdrift.
En software fejl der f.eks. får et godstog med brandfarligt material til at kollider med et et fyldt passagertog under storebælt, kunne udvikle sig meget ubehageligt og måske defacto skærer togforbindelsen mellem fyn og sjælland over i en længere periode.

Et tab af kontrol over metroen i København kunne også udvikle sig ret grimt...

  • 3
  • 0
Morten Pedersen

PH, du har jo selv tidligere påpeget at mennesker bliver computerens forlængede arme, når f.eks. man på baggrund af regnearket siger - løb hurtigere, kør hurtigere, brug det mere forurenende brændstof, forring arbejdsmiljøet osv.
De afledte effekter må være skjulte dræbere i systemet.

  • 2
  • 0
Povl H. Pedersen

Hvis man får ødelagt hele elforsyningen til Danmark, vil det i løbet af få dage slå mange ihjel, bl.a. i trafikken (sålænge man har brændstof), men vel også i kampen om fødevarer når de ikke mere kan bruges ud. Det er ragnarok.

  • 4
  • 0
Knud Jensen

Mit bud er vandværket.

Der er relativ kort tid mellem at vandet hentes op og ender ved forbrugeren. Dertil kommer at der er mange mennesker for hvert vandværk.
Og det skulle i givet fald så være en software-fejl i det system som tjekker om vandet er sundt. samt at problemet ikke slog ihjel med det samme, men efter noget tid.

Alternativt kunne det være hos bryggerierne. med samme problem som ovenfor.

Men hvis det skulle være en software-fejl som slår ihjel med det samme, er det nok kun inden for charter-fly eller charter-skibene at man kan få tallet højt op.

  • 1
  • 0
Poul-Henning Kamp Blogger

Og det skulle i givet fald så være en software-fejl i det system som tjekker om vandet er sundt.

Har du helt glemt hvad der skete på Nørrebro for et par år siden ?

http://ing.dk/artikel/vandselskab-jager-it-fejl-efter-brud-pa-flere-vand...

Jeg tror det kunne blive rigtig grimt hvis en af de store hovedledninger sprang midt under en folkebegivenhed i København.

  • 2
  • 0
Bent Jensen

EMC Puls eller elværker, uden EL, ingen af de andre ting.

Luk ned for EL, Vand, Varme, Trafik, Kommunikation i byerne, så får vi hurtigt masse død, men nok ikke lige så hurtigt som hvis vi lukker for EL til Hønsefarmene.
Danmark byer er nok for lille til sådan rigtigt at slå ihjel, da det ikke er så langt, så de sunde og raske kan søge ud på landet. Men i lande hvor byerne næsten strækker sig 100-200 km, så vil dem der søger ud, bare møde nogen som er lige så sulten og tørstige. Og som ikke ved hvad der sker og og hvad de skal gøres.
Vi må så håbe det er djøf'er der bliver spist først :-)

Hvis det er vinter søger jeg nok over til naboen, de har en Kakkelovn.

  • 0
  • 1
Poul-Henning Kamp Blogger

Luk ned for EL, Vand, Varme, Trafik, Kommunikation i byerne, så får vi hurtigt masse død

Hvilken computer er det lige der kan gøre alt det og holde det hele nede lang tid nok til at folk begynder at dø af det ?

Glem de der Hollywood scenarier og hold dig til virkeligheden i Kongeriget Danmark.

PS: Imponerende at IC4's computere ikke er blevet nævnt endnu.

  • 1
  • 0
Casper Thule Mathiasen

Jeg har spurgt to overlæger jeg kender, de sagde begge to, uafhængigt af hinanden, at ca. 400 danskere har fået forkortet livet på grund af EPJ-fiaskoerne.

Begge understregede dog at hvor meget kortere svingede fra minutter til årtier.

Hvor mange var døde uden EPJ?
Ca. 5000 danskere dør årligt pga. fejlmedicinering.
Skejby supersygehus har fået en robot, der putter korrekt medicin i små poser med stregkoder. Sygeplejersken tager en sådan pose i hånden, går hen til patienten, scanner armbåndsstregkode og posestregkode og får en advarsel, hvis der er uoverensstemmelser. (Aalborg har vist forsøgt noget lignende, men robotten blev vist smidt ud igen)

Spørgsmålet om EPJ fejl er også vanskeligt, fordi vi i Danmark har 4(+?) EPJ systemer. Er de alle dårlige? Er det et af dem der står for alle 400?

Ikke at det anfægter din pointe, det er bare interessant at tage med i EPJ problematikken

  • 2
  • 0
Jesper Tholstrup

De fleste forslag herover dækker fejl som vil medføre tab af menneskeliv relativt hurtigt. Derved har vi en chance for at stoppe systemet og rette fejlen relativt tidligt.

Umiddelbart vil det være sværere at opdage en fejl i en eller anden lille computer der f.eks. bruges til kvalitetskontrol i medicinalindustrien. Det kunne være en fejl der medfører at en kemisk forurening ikke opdages og som derved når ud til alle os pille-spisende mennesker.

Lad os antage at forureningen ikke er akut dødelig med medfører en ophobning af "miljøgifte" i kroppen. Døden vil ligge mange år ud i fremtiden og vil kunne komme til udtryk i mange varianter. De fleste dødsfald vil blive tilskrevet patientens sygdomshistorie.

Og nej, fejlen bliver naturligvis ikke rapporteret da det vil koste store tab på aktiemarkedet.

  • 2
  • 0
Poul-Henning Kamp Blogger
  • 0
  • 0
Jesper Tholstrup

Det er ikke relevant, tilbage til emnet.

Det er vel relevant, om ikke for dem der dør, så i hvert fald for deres efterladte.

Men nuvel, det kan være at du leder efter noget i en speciel juridisk gråzone som jeg ikke har indsigt til at gennemskue. Produktansvarsloven glæder vel altid - også for IC4 computere. Det afgørende er om produktansvarslovens kapitel 3, §6 stk. 2. kan løftes [1].

1: https://www.retsinformation.dk/Forms/r0710.aspx?id=2407#K3

  • 1
  • 0
Morten Fordsmand

Hvilken computer, der er farligst.

Måske skal vi hellere kigge på om de digitaliseringstiltag vi indfører forbedrer eller forværrer sikkerheden, for alle systemer vil før eller senere fejle; digitale, analoge eller humane.

Og det er ikke så nemt som det lyder for er det bare fysisk personsikkerhed, men også fortrolighed af personlige oplysninger og andre forhold. Disse vil ofte trække i hver sin retning hvad der gør det spændende da man ofte skal beslutte sig til hvad der er højst: Et tordenskrald eller rundetårn.

  • 2
  • 0
Bo Nielsen

Hvis et tog passerer et signal i Stop, nedbremses toget automatisk. Der kan aldrig befinde sig to tog på samme afsnit, og der skal være et tomt afsnit imellem.
Desuden er der (stadig) en lokomotivfører til at standse toget,og er der førerumssignalet på ATC'en.

Man kan vist heller ikke få Kør hvis et tog holde stille i tunnelen

  • 0
  • 0
Knud Jensen

USB 3.1 dimser kunne også være en mulighed.
Ikke at standarden i sig selv er farlig, men der er rigeligt af ting derude som mangler de nødvendige godkendelser.

Max 5 Ampere over en relativ tynd ledning, hvor stikket er designet til at være hot-pluggable, og hvor enheden for nogle brugere helst skal være i børstet aluminium.
Sætter man det på et bord med en kaffekop eller i sofaen...så burde der kunne ryge et par i svinget.

Eller måske den computer som holder hele 112 alarmsystemet kørende. Der skal ikke mange minutter med nedetid til før det kan måles i antal døde. Det ville ikke komme bag på mig hvis der et-eller-andet-sted i det system findes en ikke-redundant komponent.

Og så ved jeg ikke hvor følsomt det GPS som de bruger er. Det kan nok ikke slås ud af kraft ved en enkelt IT-fejl, men måske der er en licens i det som udløber en dag og for det hele til at gå i sort?

  • 0
  • 0
Bent Jensen

"Glem de der Hollywood scenarier og hold dig til virkeligheden i Kongeriget Danmark."

Det er fordi du i dit Tweak gerne vil have det er "dårlig" software, som har skylden for fejlene, og dit etiske spørgsmål går så på, hvem har i i den sidste ende ansvaret for det. Køber, Sælger, Programmør, Bruger, Tester ...

Men hvis nu dårlig Hardware, samt manglen vilje til at investere i beskyttelse mod et verdenomspænde solar flare blackout, da det jo nok ikke sker ?
Selv om vi er helt sikker på at det sker en gang, så har vi samme scenario som da Fukushima gik til. Man har slet ikke tænkt den tanke at 10.000 år flodbølgen kom efter 30 år. Men selv meget små tiltag kunne have stoppet den helt store katastrofe på selv værket, så udslip var væsentligt reduceret.

Så har du et jordklode helt uden el, og ingen steder at producere reserve dele til at komme op igen. Hvor lang tid tager det at lave en generator til et vandkraftværk eller Atomkraft værk. Det kan virke meget usandsynligt, men lige som med jordskævet i Japan, så ved vi det kommer. Og følgerne er langt højere.

Hvor lang tid skal en storby være uden el, før folk begynder at dø. Sådan noget har det altid med at ske, midt i en hedebølge eller under en snestorm, der af ordet katastrofe ?

  • 0
  • 0
Log ind eller Opret konto for at kommentere