Kastrup høvler dyrebare minutter af bagage-håndtering med Googles TensorFlow

Illustration: BEUMER GROUP
Machine learning skal hjælpe lufthavnspersonale, hvor konsekvenserne af en forkert beslutning kan vokse som en snebold.

Når din bagage skal transporteres fra lufthavnens check-in til flyets lastrum, afhænger meget af, om bagagesystemet er i stand til af aflæse stregkoden på det påklistrede bagage-tag. Sker det ikke, bliver kufferter og tasker sendt til manuel inspektion – en proces, der kan koste fem til syv minutter per bagage-enhed.

»Og det er kritisk for sådan et stykke bagage,« fortæller Per Engelbrechtsen, der er Business Development Director i Beumer – en tysk koncern, der blandt andet udvikler systemer til at håndtere lufthavnsbagage til f.eks. Københavns Lufthavn, Kastrup.

I et forsøg på at mindske antallet af tabte minutter har lufthavnen og Beumer indført et machine learning-system, der skal supplere stregkodelæserne ved at affotografere bagage, udvælge de bedste billeder og sende dem videre til en videooperatør, som så kan aflæse stregkoden.

»Indtil videre har vores forsøg vist, at vi kan komme fra at håndtere 96 procent automatisk til at håndtere 99 procent. Kun 1 procent ryger videre til manuel inspektion.«

Hvis vi var et band, så kan man sige, at vi skal spille en hurtigere rytme, uden det går ud over musikken, siger Business Development Director i Beumer Per Engelbrechtsen. Illustration: Privatfoto

Når kufferten ikke når frem

Gevinsten ved at hente de få procentpoint skal ses i lyset af følgende regnestykke:

Når passagerer fra f.eks. Billund, Oslo og Aalborg mellemlander i Københavns Lufthavn, er der indregnet en såkaldt connection time på minimum 45 minutter – dvs, den tid, det tager at tømme passagerer og bagage fra et fly over i et andet.

Læs også: E-mærket vil jagte fup-webshops med machine learning

30 til 35 af de minutter går med at læsse bagage af og på flyene, hvilket efterlader et sted mellem 10–15 minutter til bagagehåndtering og transport mellem gates.

»Og hvis du skal bruge fem-syv minutter på at aflæse en stregkode, så kan du risikere, at passageren kommer frem, men at kufferten ikke nåede med,« forklarer Per Engelbrechtsen.

7.000 bagage-billeder

For at optimere bagagehåndteringen har Beumer taget Googles open source machine learning-bibliotek TensorFlow i brug – nærmere bestemt det præ-trænede neurale netværk Inception v3, der kan bruges til billedgenkendelse.

Værktøjet har Beumer fodret med i alt 7.000 billeder, hvoraf halvdelen har bagagetags, hvor stregkoden kan aflæses, mens den anden halvdel har ulæselige tags.

På bagagebåndet tager seks kameraer i alt 120 billeder af kufferten, der sendes til machine learning-softwaren, som foreløbig kører på to gamer-pc’er pga. behovet for et kraftigt grafikkort.

Softwaren udvælger herefter de 24 bedste billeder – fire billeder fra hvert kamera.

Læs også: Google rammer 94 procents nøjagtighed med ny teknologi til billedgenkendelse

»Maskinen er god til den her opgave. Den er god til at se, om noget er et bagage-tag, et klistermærke fra Mallorca eller en rem, der holder tasken sammen,« forklarer Per Engelbrechtsen og fortsætter:

»Det giver langt større sandsynlighed for, at operatøren kan se den information, han har brug for.«

Kæmpet med OCR

I første omgang ønsker Beumer at nå et punkt, hvor video-operatørerne også kan løse andre opgaver og ikke behøver at sidde lænket ved skærmen, men i stedet kan modtage billeder fra systemet på en tablet.

»Og vi arbejder hen imod, at maskinen selv kan aflæse tagget,« fortæller Per Engelbrechtsen.

Læs også: Sådan kan maskinlæring hitte rede i millioner af lækkede Panama-dokumenter

Til det formål har selskaber før Beumer fokuseret på OCR – optisk tegngenkendelse – men mange har ifølge Per Engelbrechtsen kæmpet med at få det til at fungere. Med nye cloud-tjenester som Googles Cloud Vision OCR-api er den økonomiske model fundamentalt forandret:

»I stedet for, at vi skal kaste mange penge i udviklingen af software, sender vi et billede til skyen, og så sender Google al tekst tilbage,« siger Per Engelbrechtsen.

Hurtigere rytme

Overalt i verden oplever lufthavne et øget pres i takt med en støt stigende flytrafik, der vokser med 5 procent årligt. Samtidig er sikkerhedskravene kun blevet forstærket.

Illustration: Crisplant
En anden use-case for machine learning er i kombination med Beumers virtuelle 3D-model over bagagesystemet. Illustration: Crisplant

»Hvis vi var et band, så kan man sige, at vi skal spille en hurtigere rytme, uden at det går ud over musikken,« bemærker Per Engelbrechtsen.

Af samme grund eksperimenterer Beumer også med machine learning i andre sammenhænge. For eksempel for at se, om der ligger to stykker bagage på samme bakke ved en fejl.

I sådan et tilfælde skal maskinen kunne aflæse, om der er to ting på bakken, eller om det er en barnevogn for eksempel.

En anden use-case for teknologien er i kombination med selskabets virtuelle 3D-model over bagage-systemet.

Læs også: Aarhus-udviklere bruger spilmotor til at visualisere data fra bagagesystemer i 3D

Frem for at bruge machine learning til at analysere billeder skal teknologien her bruges på at analysere datalogs om bagagens vej gennem systemet.

På den måde kan lufthavnspersonalet få et billede af, hvor der er trængsel på transportbåndene, eller hvor flaskehalse vil opstå og hvornår. Og de kan forudsige, hvad der sker, hvis de f.eks. flytter et fly eller åbner eller lukker indtjeknings-øer.

»Vi ved fra dialoger med f.eks. Heathrow, at det kan gå galt, når medarbejdere skal tage de her beslutninger. Man kan ikke som menneske gennemskue alle faktorerne, og konsekvenserne af en beslutning kan vokse som en snebold.«

Derfor skal systemet kunne understøtte den person, der skal tage beslutningen – eller med tiden tage beslutningen selv, fortæller Per Engelbrechtsen.

»Jeg er sikker på, at maskinen til hver en tid kunne vælge en bedre rute, end jeg kan.«

Tips og korrekturforslag til denne historie sendes til tip@version2.dk
Følg forløbet
Kommentarer (23)
sortSortér kommentarer
  • Ældste først
  • Nyeste først
  • Bedste først
Mark Bløndal

Hvorfor i alverden laves der ikke en meget præcis vægtlogning, og så ellers sammenligne på den skulle der opstå problemer?

Må da, automatisk, kunne udelukke 99% af mulighederne før det overhovedet er nødvendigt med en person der skal tjekke tasken.. Kombiner det med en evt. dimensionsscanning af tasken, samt en tidskode fra man checker ind for yderligere at udelukke forkerte tasker, og så burde man være så tæt på sikret som muligt.

Altså tjekke taskens vægt, dimensioner og Check-in tidspunkt, når man først modtager den og så sammenligner når der er en taske hvis tag ikke kan læses..?

  • 4
  • 0
Erik Jensen

Din løsning virker i bedste fald kun for den halvdel af bagagen, som checkes ind i lufthavnen. Al den bagage, som kommer ind med fly fra andre lufthavne, vil jo ikke have disse ekstra meta data - ved mindre alle lufthavne registrerer alle disse ekstra informationer ved checkin og deler disse. Det uhyre meget simplere at sætte to computere og 6 kameraer op, end at ændre samtlige checkin skranker i alle lufthavne og dele informationer om bagagen.

  • 3
  • 0
Per Engelbrechtsen

Korrekt Simon. RFID har en række fordele ift. almindelige papir-tags. Løsninger hertil er en del af vores set-up, men Airlines og Airports har været langsomme til at tage teknologien til sig. RFID har dog også visse udfordringer ift. at adskille tags med høj fart, samt en højere cost. Hertil kommer investeringer i en eksisterende infrastruktur. Inden for det sidste år har man dog set at Delta Airlines er gået all-in på en kombination af papir-tags og RFID. Det bliver spændende at følge. Mvh Per

  • 9
  • 0
Per Engelbrechtsen

Hej Jens. Der er ingen tvivl om at kamera teknologien er i rivende udvikling. I dette setup benytter vi Gaming PC'er pga. af mængden af billeder samt frekvensen af baggage. Men et kamera med indbygget machine learning og høj hastighed lyder tillokkende. Mvh Per

  • 2
  • 0
Johnny Daugaard

Jeg har ALDRIG haft problemer med tabt/forsinket bagage .... derimod irriterer det mig grænseløst at skulle bruge ofte over 30 minutter fra jeg kommer til bagagebåndet til jeg får bagagen udleveret ... og ofte står der personer fra 3-5 fly ved sammen bånd og alle de andre bånd bliver ikke brugt. Hvis CPH skulle komme med tiltag, som forbedrede min oplevelse så ville det være at reduceret bagagehåndteringen ved ankomst. Det, de gør nu, virker som om det er et omkostningsbesparende tiltag - ikke et kundeoplevelsesforbedrende tiltag. Og da jeg ikke har en forventning om at reducerede omkostninger kommer mig til gode, såååååå ...

  • 3
  • 1
Søren Hvid

Jeg kan kun give Johnny ret, baggage udlevering er det største problem i CPH, i går ventede jeg 1 time på at få udleveret baggage og der var fem fly på det samme bånd med tider over 30 minutter. Ulande har hurtigere baggage reclaim

  • 2
  • 0
Frithiof Andreas Jensen

Kastrup er - hvis det skulle have glippet for nogen - en Shopping-Mall!

Selvfölgeligt kaster man da ikke bare al baggagen ud med det samme når algoritmerne viser at hvis flertallet af kunderne får 20-30 minutter til at gå igennem "butikströget", ja, så köber de som regel noget.

Digitaliseringen betjener ikke "outliers", det er ikke profitabelt - dem smider man väk så de ikke forpester algoritmerne.

Jeg synes det er uddmärket at man ikke behöver at sprinte fra Terminal 6 for at indhente en kuffert. Det er uciviliseret.

  • 2
  • 1
Peter Tagesen

Hej Johnny. Pt. arbejder vi på en række reclaim koncepter hvor passageren bringes i fokus. Vi håber at kunne se dem i en lufthavn nær dig i en ikke alt for fjern fremtid. Mvh Per

Jeg er gammel kuffertgorilla i Cph (helt præcist rædselsfulde Novia), som stoppede for 4 år siden inden slidskaderne ville melde sig. Vil du ridse op hvilke projekter I har i støbeskeen vedr. reclaim? Jeg er hammernysgerrig ved hvad I gør ved min gamle arbejdsplads i T3. :)

  • 2
  • 0
Søren Hvid

Når man har tilbragt 15-20 min. med at gå fra den fjerneste A gate som den næstsidste ud af 200 passagerer gider man ikke bruge 30 min til 1 time på at vente på sin baggage , det var det jeg oplevede i går og har oplevet mange gange før, jeg ved sgu ikke hvad de fortager sig med baggagen i 1 1/2 time. De havde taget den af flyet da jeg forlod flyet. Med hensyn til 'Mail" , alt er så dyrt i CPH lige fra vand til parfume så jeg er sikker på at 99,999% af alle flypassagerer gerne vil have deres bagage og hjem i en fart.

  • 1
  • 0
Peter Tagesen

det var det jeg oplevede i går og har oplevet mange gange før, jeg ved sgu ikke hvad de fortager sig med baggagen i 1 1/2 time. De havde taget den af flyet da jeg forlod flyet.

Søren Hvid

Du har været uheldig og din flyver er sikkert landet i en trafikprop, hvilket sker, da flytrafik er en organisk størrelse, der lever sit eget autonome liv. Og med det øgede antal flyvere i Cph de senere år, vil det sommetider gå galt. Jeg kan forøvrigt fortælle dig, at der er samme scenarier i alverdens lufthavne uanset størrelse. De etablerede lufthavnes logistik har meget svært ved at følge med den eksplosion af flytrafik, der er sket de seneste 10-15 år.

De fleste store lufthavne ligger jo i byerne. Så man udvider ikke bare for at give passagerer (pax), flyselskaber og lufthavnsmedarbejdere bedre forhold. Og du ved jo nok selv hvordan folk hyler blot der sættes en enkelt vindmølle op 200 meter fra deres baghave...

Kastrup er - hvis det skulle have glippet for nogen - en Shopping-Mall!

Selvfölgeligt kaster man da ikke bare al baggagen ud med det samme når algoritmerne viser at hvis flertallet af kunderne får 20-30 minutter til at gå igennem "butikströget", ja, så köber de som regel noget.

Frithiof Jensen

Første kuffert skal lande på aflæsningsbåndet inden der er gået 12 minutter. Sidste kuffert er inden 25 minutter. Sådan var det i min tid. Kort ridset op: 1. Flyet stopper på standpladsen, hvor pax skal forlade flyveren. Et mobilt bånd kører til flyveren og en mand åbner bagerste luge og starter med at tømme lastrummet. Afhængig af flytype, passagerer, bagagemængde osv., skal de to første vogne med kufferter sendes ind til aflæsningen. 1 vogn svarer til ~20-30 pax. En 737-800 har i snit 180 sæder. Dette tager normalt 3-5 minutter. 2. Køreturen fra flyver til aflæsningsområde i bagagehallen tager normalt 3-5 minutter. I lufthavnen er der samme trafikregler, som på landside + lidt ekstra. Altså vejkryds med hajtænder, security, håndværkere, busser m.m.. Og sommetider skal der holdes tilbage for en flyver, der kommer rullende. 3. Bagagen når til bagagehallen, hvor de to første vogne læsses af. Dette tager normalt 2-3 minutter. Bagagens tur fra aflæsningsområde til ankomsthal tager som udgangspunkt også kun et par minutter. Men er der pax, der ikke har taget deres bagage på båndet i ankomsthallen, kan der ikke komme ny bagage på båndet. 4. Nu skal næste læs hentes...

Logistik, logistik, logistik...

Når min tørn lå i aflæsningen, samarbejdede jeg ofte med manden i kontrolrummet vedr. omallokering af bånd til bagage hvis jeg kunne se, at der var risiko for at det ville vælte. Problemet var (er stadig?), at hele allokeringen var lavet minimum dagen før og den derfor var statisk. Derfor ville flyverne nogle gange klumpe sig på et enkelt bånd i ankomsthallen mens de andre var tomme. Dette skyldtes forsinkelser, for tidlige ankomster og nogle andre faktorer.

Det var jo tumpet og det tog jeg hånd om (andre gad ikke). Allokeringslisten til aflæsningsområdet var ellers flot og stod snorlige, hvis flyene ellers gad lande til tiden...

Så vi allokerede oftest rundt på flyveren i samme sekund, som tårnet gav en flyver touchdown signal. Af besynderlige årsager var den enkelte flyvers bjælke på computerskærmen låst indtil den var touchet, så vi kunne ikke flytte den noget før selv om vi kunne overskue trafikken 10-15 minutter frem.

Vores autonome "live"-allokering gav godt nok småproblemer i forhold til pax flow i ankomsthallen. Men i det store billede var det mit indtryk, at det klart var til plussiden, hvilket også kunne mærkes hos folkene i ankomstskrankerne i ankomsthallen. Vi fik også ofte ros af dem, da det gav dem mindre arbejde og og skulle håndtere færre vrede pax.

Siden jeg stoppede for 4-5 år siden er trafikken i Cph vist steget med 15-20%. Og så er der næppe meget elastik tilbage til den slags drengestreger, som vi lavede.

  • 3
  • 0
Peter Tagesen

Ovenstående er skrevet med en typisk Boeing 737 i tankerne.

De transkontinentale fly - altså Airbus 330/340/380, boeing 747/767/777/787 er en helt anden historie. Der er al bagage pakket i containere, der først skal løftes ud med et liftkøretøj der måler 8x8 meter. Hele proceduren er bare så langsommelig. Derudover er der 2 mia. pax med på hver flyver, som snildt kan fylde en ankomsthal halvt op på rekordtid. :)

  • 1
  • 0
Johnny Daugaard

Frithiof Jensen Lørdag, 26. august 2017 - 19:14 Re: Kundeorientering??

Kastrup er - hvis det skulle have glippet for nogen - en Shopping-Mall!

Selvfölgeligt kaster man da ikke bare al baggagen ud med det samme når algoritmerne viser at hvis flertallet af kunderne får 20-30 minutter til at gå igennem "butikströget", ja, så köber de som regel noget.

Digitaliseringen betjener ikke "outliers", det er ikke profitabelt - dem smider man väk så de ikke forpester algoritmerne.

Jeg synes det er uddmärket at man ikke behöver at sprinte fra Terminal 6 for at indhente en kuffert. Det er uciviliseret.

Mig bekendt er der forskellige regler for momsafregning om en kunde er afrejsende og ankommende .... det er derfor man bliver afkrævet boarding pass ved alle køb - ikke kun "taxfree" køb. Forretningerne er altså generelt uinteresserede i at sælge til ankommende passagerer ... sådan lige bortset fra restauranterne; men hvem har tid til at sætte sig og nyde et måltid mad, når bagagen forventeligt er på vej??? Det er dårlig forretning at sælge til ankommende passagerer. I den sammenhæng ville det være hensigtsmæssigt om CPH i fremtidige byggeplaner ville lede ankommende passagerer udenom shopping mall'en. Det er "trafikkaos" med passagerer, som går i hver sin retning. Og sikkert også en kilde til reduceret omsætning hos forretningerne.

  • 2
  • 0
Søren Hvid

Peter Tagesen: Sjovt nok var det netop et B737-800 og med meget lidt baggage. Og med hensyn til resten af din fine forklaring, er det også som jeg husker det før i tiden i CPH. Men CPH har noget at arbejde på. For der er mange lufthavne der klarer baggage reclaim bedre , og jeg var prøvet rigtigt mange, også med de helt store fly.

  • 0
  • 0
Peter Tagesen

Pas. Jeg har ikke den oplevelse, at det går langsommere her end i andre lufthavne. Men det er da irriterende når det sker, at ens bagage kommer sidst ud af flyveren og jeg derfor skal vente på, at andre pax piller deres eget bagage af båndet i ankomsthallen inden min kuffert skubbes ud.

Personligt venter jeg altid med, at tjekke ind til allersidst (transithaller er alligevel så kedelige og dyre). Så er der meget større chance for at min kuffert kommer først ud i den anden lufthavn. :)

  • 0
  • 0
Henrik Madsen

Den langsomme håndtering af baggage som skal ind og ud af fly skyldes vel til dels at der er er tale om manuel håndtering adskillige gange.

Kunne næste skridt ikke være at man, havde underjordiske rullebånd som gik helt ud til flyveren.

Så skulle baggage-handleren blot smide det op på rullebåndet som gik fra flyveren og til det underjordiske bånd og derfra kørte baggagen så automatisk helt ud til udleveringen.

Er godt klar over at der ville være mange meter rullebånd, men hvis man kunne spare X baggage-handlere, så ville der vel være en besparelse der som over tid kunne betale for investeringen.

  • 0
  • 0
Per Engelbrechtsen

Hej Henrik

En række lufthavne rundt om i verden har tænkt i de baner. Indtil videre er det dog blevet ved ide-fasen pga. omkostninger samt udfordringer ift. vejr. Men måske vil et øget pres på udnyttelse af infrastrukturen, og en kortere turn-around tid pr. fly betyde at det regnestykke kommer til at ændre sig. Danske BBHS.dk har iøvrigt deres bud på hvordan denne del af processen kan forbedres. Mvh Per

  • 1
  • 0
Henrik Madsen
  • 1
  • 0
Log ind eller Opret konto for at kommentere