georg strøm bloghoved

Tesla: Den værst tænkelige kombination

Det ser ud til at Teslas autopilot kombinerer ulemperne ved manuel kørsel, og ved en eller anden form for automatisk kørsel. Vi er langt fra de avancerede etiske diskussioner, om hvordan en bil med autopilot hellere skal ramme en enkelt person end en hel børnehave på udflugt, hvis bremserne svigter.

I det aktuelle tilfælde opdagede kameraet og systemet i en Tesla model S ikke en lastbil med en anhænger som svingede og krydsede Teslaens vejbane. Resultatet var at Teslaen kørte ind under anhængeren og ramte undervognen, så føreren blev dræbt.

Det er nævnt at anhængeren var hvid, og at solen stod lige bag den, og at det var derfor Teslaens kamera ikke kunne opfange den. Det er også blevet nævnt, at føreren af en almindelig bil også ville have svært ved at opfatte anhængeren med solen i øjnene.

Det er måske ikke hele forklaringen. En ejer af en Tesla skrev på et diskussionsforum i forbindelse med et andet uheld, at det lod til at Teslas autopilot havde svært ved at klare når biler skulle flette sammen. Det er også nævnt at autopiloten har svært ved at klare når en bil skifter vognbane og trækker ud foran en Tesla.

Det er nævnt flere gange, at designerne af Teslas system går ud fra at føreren er opmærksom, og kan gribe ind, hvis systemet ikke kan klare en situation i trafikken, og Tesla skrev i deres erklæring efter uheldet, at deres system var lavet så det nudgede – puffede til føreren – for at han eller hun skulle holde hænderne på rattet.

Her kommer problemerne. Der er en del beretninger om førere af Teslaer, som trods pufferi tager hænderne væk fra rattet og laver alt muligt andet. Desuden er der forskel på at have hænderne på rattet, og at være opmærksom på trafikken.

Hvis føreren af en bil skal køre manuelt og er opmærksom, kan han eller hun reagere på 0,2 sekunder. Hvis føreren ikke er opmærksom og først skal opdage at der er en kritisk situation og så finde ud af at reagere, kan reaktionstiden typisk være på omkring 2 sekunder, svarende til omkring 40 meters ekstra kørsel ved 80 km/t. Det er endda kun hvis føreren lige netop kigger fremad og får øje på den situation, der er ved at opstå.

Det er et klassisk problem ved udformning af kontrolsystemer. Den letteste udvej er at opgive at lave systemer som kan klare de vanskelige situationer, og i stedet give operatøren ansvaret for at klare dem. Resultatet er bare at operatøren sidder nærmest passiv i lange perioder, og endda kommer ud af træning, og så alligevel skal reagere hurtigt og korrekt, hvis der ikke skal ske et uheld.

https://www.theguardian.com/technology/2016/jun/30/tesla-autopilot-death...

Relateret indhold

Georg Strøms billede
Georg har en Ph.d. i interaktionsdesign og en lang karriere i grænselandet mellem IT, økonomi og mennesker. Han blogger om tegn på at brugen af IT er mere kompliceret og modsætningsfyldt end vi normalt forestiller os. Der er mere på www.georg.dk.

Kommentarer (24)

Morten Toudahl

Er det ikke stadig i beta udgave? Og skal man ikke acceptere risici forbundet med dette, før man kan bruge autopilot?

Er der nogen der ved hvor man kan finde den aftale man skal gå med til?

Det er selvfølgelig forfærdeligt det der er sket.

Bent Jensen

Piloter har samme problem, mange får ikke nok rigtigt flytræning, og mangler derfor erfaring. Man ser også at når automatpiloten kobler fra, fordi den ikke mere kan håndteret problemet, så kan flyet gå direkte i spin eller stall, fordi et problem har udviklet sig langsom overtid. De ting har piloten så ikke inden "i hjernen" og bliver kastet ud i noget der er meget svært, og med manglende erfaring samt meget knap tid, måske næsten umuligt at håndtere.

Baldur Norddahl

George glemmer du ikke at tage stilling til det faktum at der er kørt flere km med autopilot end gennemsnitligt mellem uheld med dødelig udgang? Der er muligvis ikke nok data til at udtale sig på et statistisk sikkert grundlag, men lige nu peger pilen på at Tesla autopilot er en forbedring af sikkerheden.

Finn Thøgersen

Og hvilken aftale om et beta program har de øvrige traffikanter på vejen, evt passagerer og folk langs vejen underskrevet ?

Der er vel et ganske væsentligt spørgsmål om det betimelige i at køre et åben beta program med tungt højhastigheds udstyr og løbende software opdateringer på offentlige veje ?

Finn Thøgersen

Tesle og venner er glade for at hive et tal på 130 mio miles frem og holde det op mod en statistik om 1 dødsfalf per 93 mio km (hvis jeg husler rigtigt, men det er ikke meget galt).

Der er et par forbehold:

  • For det første har jeg ikke kunnet finde en utvetydig udtalelse fra Tesla om at det er 130mio miles mens AutoPilot er AKTIVERET (og ikke bare i biler med AP installeret eller hvor den ind imellem er aktiv).

  • Det fremgår ikke nogen steder jeg lige kunne finde hvor mange af de 130mio miles der stammer fra Teslas interne tests, dvs ting som kørsel på lukket bane, uden personer i bilen, eller med Tesla personale - de er nok ikke helt sammenlignelige med "rigtig" kørsel. Der cirkulerer tal op til 100mio miles fra interne tests, men hvem ved...

  • Det sammenligner kørsel på gode veje under gode forhold i spritnye high end biler med AL kørsel i USA, inkl gamle øser uden sikkerhedsseler med spejlblanke dæk, afbrændte bremseskiver, ratslør etc

  • Endeligt så er tallene for Tesla stadig så små at man reelt fremtryller statistik fra en samplesize på 1.
    Mao havde der været en passager i Teslaen, eller hvis Teslaen havde ramt en anden bil eller person efter den ramte traileren, så kunne du uddrage den stik modsatte konklusion
    At Teslaens AutoPilot var klart farligere end manuel kørsel
Karsten Nyblad

I denne sammenhæng er det ikke bare reaktionstiden, der er afgørende. Når der opstår en situation, bilen ikke kan finde ud af, kan det være chaufføren laver noget helt andet. Hvad hvis chaufføren sidder med en kop varm kaffe i den ene hånd, mens han surfer internet med den smartphone, han har i den anden? Han vil først skulle sætte kaffen og telefonen fra sig og så skulle opbygge et mentalt billede af en situation, bilen ikke kunne overskue. Først da kan han overtage styringen.

Google har en facilitet så føreren af deres selvkørende biler kan overtage styringen. Bilerne kan også bede chaufføren tage over, hvis bilen ikke kan overskue situationen. Google har undersøgt, hvor lang tid der går fra en chauffør af en selvkørende bil bliver bedt om at køre bilen selv, til chaufføren er i stand til det. Google er kommet frem til at det tager 5-8 sekunder, men har været ude for, at det tog 15 sekunder.

Konklussionen er, at kan bilen ikke finde ud af situationen, er der ikke ret meget andet at gøre end at bremse bilen.

Georg Strøm Blogger

Der har ikke været nogen omtale af, at der var tale om betatestning. Tværtimod tyder Teslas egen omtale af sikkerheden på, at de betragter bilerne som fuldt funktionelle og færdigtudviklede.

Der har været et andet alvorligt uheld uden dødsfald. Hvis det var gået lidt værre, havde statistikken set helt anderledes ud. Helt enig. Det er umuligt at lave statistik med et så lille grundlag.

Jeg er enig med kommentaren om reaktionstiden. Jeg har brugt den bedst tænkelige værdi som eksempel, og selv med den, vil reaktionstiden blive forlænget så meget at det kan være kritisk. Også selvom det eneste chaufføren skal gøre er at træde på bremsen.

Henrik Mikael Kristensen

Tværtimod tyder Teslas egen omtale af sikkerheden på, at de betragter bilerne som fuldt funktionelle og færdigtudviklede.

Sådan har jeg bestemt ikke opfattet det.

Tesla har flere gange opdateret autopilot softwaren til justering af feedback i instrumentbrættet, samt til at minimere bilens lyst til at dreje fra ved frakørsler. Desuden bliver der skubbet opdateringer ud til bilerne med læringsdata flere gange om måneden.

I løbet af 1-2 måneder kommer der endnu en opdatering med yderligere forbedringer, blandt andet automatisk frakørsel og flere detaljer i instrumentbrættet angående andre billisters kørselsretning.

Herefter skifter de til en mere avanceret sensorsuite, hvor de så vil arbejde med bykørsel og gradvist gøre bilen mere autonom.

Der har ikke været nogen omtale af, at der var tale om betatestning.

Når de så ustandseligt altså siger det ER beta, så betyder det, at softwaren har et minimum funktionalitets- og sikkerhedsniveau, og er under kontinuert udvikling, men det er altså med henblik på, at føreren skal være på vagt overfor svigt for at få styr på corner cases.

https://twitter.com/elonmusk/status/752192639403896833

Det ligger bare sådan, at autopilot allerede nu har vist potentiale for at undgå ulykker, som selv årvågne billister ville være fanget i.

Robert Winther

For det første har jeg ikke kunnet finde en utvetydig udtalelse fra Tesla om at det er 130mio miles mens AutoPilot er AKTIVERET (og ikke bare i biler med AP installeret eller hvor den ind imellem er aktiv).

Første hit på Google når du søger på "Tesla 130 mio miles AutoPilot" er https://www.teslamotors.com/blog/tragic-loss

Anden sætning i allerførste afsnit:

This is the first known fatality in just over 130 million miles where Autopilot was activated.

Thomas Jørgensen

Man må i Danmark ikke snakke i mobiltelefon - men godt lege med at lade bilen styre selv. WTF?

Hvad sker der lige? Hvad med dem det går ud over?

Og, når der kommer en "opdatering" - hvordan kan vi være sikre på, at det så også er en forbedring? Burde softwaren ikke først godkendes af en myndighed eller styrelse?

Georg Strøm Blogger

Jeg har kigget på de forskellige omtaler, og der lader til at være lidt usikkerhed om, om bilen endnu er i betatest. Bilerne kører på vejene, og omtales som om kunderne kan forvente at softwaren fungerer. På den anden side omtales det også at bilerne er i betatest, og at der laves opdateringer af softwaren. Det sidste betyder nok ikke så meget, ellers må vi betragte de fleste stykker software som vi anvender, som i en form for betatest.

Baldur Norddahl

Det fremgår ikke nogen steder jeg lige kunne finde hvor mange af de 130mio miles der stammer fra Teslas interne tests

Du kan bruge almindelig sund fornuft til at afvise den ide. Google har med et langt større testprogram og flere år kun lige kørt 1 million miles. Tesla har måske 50000 biler med systemet. For hver time de biler har kørt svarer det til 50000 timer i et test program eller 6 år kørsel 24 timer i døgnet året rundt. Og der kommer hele tiden flere biler på gaden.

Baldur Norddahl

Elon Musk på Twitter den 10. Juli:

Elon Musk ‏@elonmusk
@nicatronTg @SwiftOnSecurity Thanks. Point of calling it "beta" was to emphasize to those who chose to use it that it wasn't perfect.

Baldur Norddahl

Michael Rangård har begået en god analyse af din reaktionstid i tilfælde af at en lastbil drejer ud foran dig:

https://ing.dk/artikel/efter-foerste-doedsulykke-endnu-tesla-kan-vaere-k...

Det er på ingen måde givet at gennemsnitschaufføren havde nået at bremse. Det er hellere ikke bevist at chaufføren rent faktisk ikke var årvågen. Påstanden om en Harry Potter film kommer fra lastbilschaufføren, dvs. modparten, og hans første påstand var at filmen spillede på bilens centerskærm. Men man kan slet ikke afspille film på centerskærmen. Der er blevet fundet en bærbar DVD afspiller i bilen, men myndighederne har ikke kunnet begræfte at den var i brug. Det bør være ganske simpelt, hvis der er en Harry Potter DVD i den, så taler lastbilchaufføren sandt, ellers så lyver han (eller måske det var en audio bog han hører lyden fra).

Der er lidt for mange løse skud og gætterier i denne sag og det gælder også medierne. Specielt i de første artikler, hvor de fleste havde misforstået situationen. Mange skrev at det var på motorvej og at lastbilen foretog et vognbaneskifte. Det er også kommet frem at der IKKE var tale om en sol der blændede da solen stod højt på himlen.

Finn Aarup Nielsen

Som jeg erindrer at have læst er de 130 vs 94 millioner ikke sammenlignelige.

Som Finn Thøgersen skriver i denne tråd, så er Teslaen en sikker bil i sammenligning med almindelige biler på landevejene. I et sammestød vil den klarer sig bedre end den typiske bil. Det vil nok svarer til at sammenligne en stor dyr og moderne Volvo med typiske biler.

Et andet element som jeg mindes at have læst (men ikke kan finde tilbage til) er at Teslaens automatic cruise control kun skulle være slået til på landevej hvor der sker færre ulykker end ved generel kørsel.

Finn Aarup Nielsen

Jeg fandt artiklen der udtaler sig om sammenligningen: https://www.technologyreview.com/s/601849/teslas-dubious-claims-about-au...

'“It has no meaning,” says Alain Kornhauser ... of Tesla’s comparison of U.S.-wide statistics with data collected from its own cars. Autopilot is designed to be used only for highway driving...' og 'Tesla’s comparisons are also undermined by the fact that its expensive, relatively large vehicles are much safer in a crash than most vehicles on the road, says Bryant Walker Smith'.

Georg Strøm Blogger

De reaktionstider som der henvises til fra Michael Rangård er heldigvis for høje. De eksempler de stammer fra i den artikel han referer til, er tilsyneladende alle nogen hvor vi forventer at bilisten har taget en bevidst beslutning om handlingen. Heldigvis kan reaktionen være væsentligt kortere, når bilisten er opmærksom på at der kan se noget, og kan reagere automatisk uden at skulle tage en bevidst beslutning.

Det er ikke en undskyldning for at holde mindre afstand, eller køre hasarderet, men betyder at kravene til et automatisk system skal være væsentligt større, for at det i alle tilfælde kan reagere ligeså hurtigt som en menneskelig fører.

Bent Jensen

Det er ikke en undskyldning for at holde mindre afstand, eller køre hasarderet, men betyder at kravene til et automatisk system skal være væsentligt større, for at det i alle tilfælde kan reagere ligeså hurtigt som en menneskelig fører.


Nu kan et automatiseret system handle særdeles meget hurtigere end en menneskelige føre. millisekunder vs mikrosekunder eller hurtigere. Det er at om den laver den rigtige handling som er problemer.

Prøv at sammenligne de radar/sensor som Mercedes/Volvo bruger og dig selv.
Kør en million kilometer bag en lastbil med en afstand på præcis 30 meter, og brems når den slår bremser i kl 4.00 om natten. Se så hvem der reagere først.

Men som det ser ud nu, så køre de automatiske systemer i "standard" motorvejstrafik nok langt bedre end et standard menneske. Men vi skal nok op på mindst en faktor 4-5 gange bedre i alt trafik, før vi tør overlade det trygt til google.

Men på sigt vil man nok se tilbage på denne tid, men de uacceptable mange trafikdræbte. Som vi ser på 1 verdenskrig nu.

Georg Strøm Blogger

-> Bent Jensen: Det afgørende er hvor langt i forvejen et automatisk system kan opdage en forhindring. Med de sensorer der er nu, kan en menneskelig fører som holder øje med trafikken have en fordel. Han kan se at der måske kan ske noget ved et kryds og reagere hurtigt fordi han har forudset at der kan ske noget, mens de nuværende automatiske systemer måske først senere eller slet ikke opdager at det er nødvendigt at reagere.

Dit eksempel med en lastbil som bremser klokken 4 om natten er udmærket, men vi vil nok kræve at et automatisk system i næsten alle tilfælde reagerer mindst lige så godt som en menneskelig fører.

Bent Jensen

Ja og lige netop med dette simple tilfælde, har der længe været systemer som altid virker, og som er særdeles meget bedre end en uopmærksom føre, som de fleste vil være på et eller andet tidspunkt.
Mener at det system som jeg hørte Volvo bruger, ikke stoppe bilen inden uheld, men bremset så meget ned, at man undgik personskade. Nogen år siden, måske første generation, hvorfor ikke hindre ulykken ?

Nu siger du at et menneske vil kunne forud hændelser bedre, som når man fornemmede at ham der ikke ser noget og holder tilbage. Måske har du "stadig" ret, ved en opmærksom føre. Men kan du påstå at du er det 100%, det er jo tit de 0.00001 % uopmærksomhed hos 2 parter som forårsagede ulykken.

Det at forudse hvad der sker, kan den førerløse bil også med tiden, endda langt bedre. Da den kan handle på basis af samtlige 1000000000000000 uheld og hændelser som er sket før, og vælge den bedste løsning i et split sekund. Samt se langt længer end dig, 360 grader rundt, i både mørke, tåge og sne. (med tiden)
Og hvis alle bilerne bliver automatisere, så er der ikke nogen som vil reagerer "forkert" som at køre ud foran en anden. Eller hvis 2 biler køre mod hinanden, så vil de vælge hver sin rigtige vej, som et flys TCAS.

På længere sigt endda bedre, da alle biler vil tale sammen og udveksle data om glatte veje, eller ting på vejen.

Log ind eller opret en konto for at skrive kommentarer