Kastrup høvler dyrebare minutter af bagage-håndtering med Googles TensorFlow

25. august 2017 kl. 05:1123
Kastrup høvler dyrebare minutter af bagage-håndtering med Googles TensorFlow
Illustration: BEUMER GROUP.
Machine learning skal hjælpe lufthavnspersonale, hvor konsekvenserne af en forkert beslutning kan vokse som en snebold.
Artiklen er ældre end 30 dage
Manglende links i teksten kan sandsynligvis findes i bunden af artiklen.

Når din bagage skal transporteres fra lufthavnens check-in til flyets lastrum, afhænger meget af, om bagagesystemet er i stand til af aflæse stregkoden på det påklistrede bagage-tag. Sker det ikke, bliver kufferter og tasker sendt til manuel inspektion – en proces, der kan koste fem til syv minutter per bagage-enhed.

»Og det er kritisk for sådan et stykke bagage,« fortæller Per Engelbrechtsen, der er Business Development Director i Beumer – en tysk koncern, der blandt andet udvikler systemer til at håndtere lufthavnsbagage til f.eks. Københavns Lufthavn, Kastrup.

I et forsøg på at mindske antallet af tabte minutter har lufthavnen og Beumer indført et machine learning-system, der skal supplere stregkodelæserne ved at affotografere bagage, udvælge de bedste billeder og sende dem videre til en videooperatør, som så kan aflæse stregkoden.

»Indtil videre har vores forsøg vist, at vi kan komme fra at håndtere 96 procent automatisk til at håndtere 99 procent. Kun 1 procent ryger videre til manuel inspektion.«

Hvis vi var et band, så kan man sige, at vi skal spille en hurtigere rytme, uden det går ud over musikken, siger Business Development Director i Beumer Per Engelbrechtsen.

Når kufferten ikke når frem

Gevinsten ved at hente de få procentpoint skal ses i lyset af følgende regnestykke:

Artiklen fortsætter efter annoncen

Når passagerer fra f.eks. Billund, Oslo og Aalborg mellemlander i Københavns Lufthavn, er der indregnet en såkaldt connection time på minimum 45 minutter – dvs, den tid, det tager at tømme passagerer og bagage fra et fly over i et andet.

30 til 35 af de minutter går med at læsse bagage af og på flyene, hvilket efterlader et sted mellem 10–15 minutter til bagagehåndtering og transport mellem gates.

»Og hvis du skal bruge fem-syv minutter på at aflæse en stregkode, så kan du risikere, at passageren kommer frem, men at kufferten ikke nåede med,« forklarer Per Engelbrechtsen.

7.000 bagage-billeder

For at optimere bagagehåndteringen har Beumer taget Googles open source machine learning-bibliotek TensorFlow i brug – nærmere bestemt det præ-trænede neurale netværk Inception v3, der kan bruges til billedgenkendelse.

Machine learning i lufhavnens backend

Seks kameraer tager i alt 120 billeder af flypassagerernes bagage.
Machine learning-software udvælger de bedste billeder.
En videooperatør aflæser bagage-tagget på en computer eller tablet.


Værktøjet har Beumer fodret med i alt 7.000 billeder, hvoraf halvdelen har bagagetags, hvor stregkoden kan aflæses, mens den anden halvdel har ulæselige tags.

På bagagebåndet tager seks kameraer i alt 120 billeder af kufferten, der sendes til machine learning-softwaren, som foreløbig kører på to gamer-pc’er pga. behovet for et kraftigt grafikkort.

Softwaren udvælger herefter de 24 bedste billeder – fire billeder fra hvert kamera.

»Maskinen er god til den her opgave. Den er god til at se, om noget er et bagage-tag, et klistermærke fra Mallorca eller en rem, der holder tasken sammen,« forklarer Per Engelbrechtsen og fortsætter:

»Det giver langt større sandsynlighed for, at operatøren kan se den information, han har brug for.«

Kæmpet med OCR

I første omgang ønsker Beumer at nå et punkt, hvor video-operatørerne også kan løse andre opgaver og ikke behøver at sidde lænket ved skærmen, men i stedet kan modtage billeder fra systemet på en tablet.

»Og vi arbejder hen imod, at maskinen selv kan aflæse tagget,« fortæller Per Engelbrechtsen.

Til det formål har selskaber før Beumer fokuseret på OCR – optisk tegngenkendelse – men mange har ifølge Per Engelbrechtsen kæmpet med at få det til at fungere. Med nye cloud-tjenester som Googles Cloud Vision OCR-api er den økonomiske model fundamentalt forandret:

»I stedet for, at vi skal kaste mange penge i udviklingen af software, sender vi et billede til skyen, og så sender Google al tekst tilbage,« siger Per Engelbrechtsen.

Hurtigere rytme

Overalt i verden oplever lufthavne et øget pres i takt med en støt stigende flytrafik, der vokser med 5 procent årligt. Samtidig er sikkerhedskravene kun blevet forstærket.

En anden use-case for machine learning er i kombination med Beumers virtuelle 3D-model over bagagesystemet.

»Hvis vi var et band, så kan man sige, at vi skal spille en hurtigere rytme, uden at det går ud over musikken,« bemærker Per Engelbrechtsen.

Af samme grund eksperimenterer Beumer også med machine learning i andre sammenhænge. For eksempel for at se, om der ligger to stykker bagage på samme bakke ved en fejl.

I sådan et tilfælde skal maskinen kunne aflæse, om der er to ting på bakken, eller om det er en barnevogn for eksempel.

En anden use-case for teknologien er i kombination med selskabets virtuelle 3D-model over bagage-systemet.

Frem for at bruge machine learning til at analysere billeder skal teknologien her bruges på at analysere datalogs om bagagens vej gennem systemet.

På den måde kan lufthavnspersonalet få et billede af, hvor der er trængsel på transportbåndene, eller hvor flaskehalse vil opstå og hvornår. Og de kan forudsige, hvad der sker, hvis de f.eks. flytter et fly eller åbner eller lukker indtjeknings-øer.

»Vi ved fra dialoger med f.eks. Heathrow, at det kan gå galt, når medarbejdere skal tage de her beslutninger. Man kan ikke som menneske gennemskue alle faktorerne, og konsekvenserne af en beslutning kan vokse som en snebold.«

Derfor skal systemet kunne understøtte den person, der skal tage beslutningen – eller med tiden tage beslutningen selv, fortæller Per Engelbrechtsen.

»Jeg er sikker på, at maskinen til hver en tid kunne vælge en bedre rute, end jeg kan.«

23 kommentarer.  Hop til debatten
Denne artikel er gratis...

...men det er dyrt at lave god journalistik. Derfor beder vi dig overveje at tegne abonnement på Version2.

Digitaliseringen buldrer derudaf, og it-folkene tegner fremtidens Danmark. Derfor er det vigtigere end nogensinde med et kvalificeret bud på, hvordan it bedst kan være med til at udvikle det danske samfund og erhvervsliv.

Og der har aldrig været mere akut brug for en kritisk vagthund, der råber op, når der tages forkerte it-beslutninger.

Den rolle har Version2 indtaget siden 2006 - og det bliver vi ved med.

Debatten
Log ind eller opret en bruger for at deltage i debatten.
settingsDebatindstillinger
22
28. august 2017 kl. 13:29

Hej Henrik

En række lufthavne rundt om i verden har tænkt i de baner. Indtil videre er det dog blevet ved ide-fasen pga. omkostninger samt udfordringer ift. vejr. Men måske vil et øget pres på udnyttelse af infrastrukturen, og en kortere turn-around tid pr. fly betyde at det regnestykke kommer til at ændre sig. Danske BBHS.dk har iøvrigt deres bud på hvordan denne del af processen kan forbedres. Mvh Per

21
28. august 2017 kl. 12:58

Den langsomme håndtering af baggage som skal ind og ud af fly skyldes vel til dels at der er er tale om manuel håndtering adskillige gange.

Kunne næste skridt ikke være at man, havde underjordiske rullebånd som gik helt ud til flyveren.

Så skulle baggage-handleren blot smide det op på rullebåndet som gik fra flyveren og til det underjordiske bånd og derfra kørte baggagen så automatisk helt ud til udleveringen.

Er godt klar over at der ville være mange meter rullebånd, men hvis man kunne spare X baggage-handlere, så ville der vel være en besparelse der som over tid kunne betale for investeringen.

20
28. august 2017 kl. 08:46

Hej Peter. Vi har ikke nogen aktuel case i CPH, men vi arbejder på en række koncepter som vil ændre reclaim processen markant. På Inter Airport i oktober løfter vi sløret for hvad det er vi går og arbejder med. Mvh Per

19
28. august 2017 kl. 05:23

Pas. Jeg har ikke den oplevelse, at det går langsommere her end i andre lufthavne. Men det er da irriterende når det sker, at ens bagage kommer sidst ud af flyveren og jeg derfor skal vente på, at andre pax piller deres eget bagage af båndet i ankomsthallen inden min kuffert skubbes ud.

Personligt venter jeg altid med, at tjekke ind til allersidst (transithaller er alligevel så kedelige og dyre). Så er der meget større chance for at min kuffert kommer først ud i den anden lufthavn. :)

18
28. august 2017 kl. 00:12

Peter Tagesen: Sjovt nok var det netop et B737-800 og med meget lidt baggage. Og med hensyn til resten af din fine forklaring, er det også som jeg husker det før i tiden i CPH. Men CPH har noget at arbejde på. For der er mange lufthavne der klarer baggage reclaim bedre , og jeg var prøvet rigtigt mange, også med de helt store fly.

17
27. august 2017 kl. 11:23

Frithiof Jensen Lørdag, 26. august 2017 - 19:14
Re: Kundeorientering??</p>
<p>Kastrup er - hvis det skulle have glippet for nogen - en Shopping-Mall!</p>
<p>Selvfölgeligt kaster man da ikke bare al baggagen ud med det samme når algoritmerne viser at hvis flertallet af kunderne får 20-30 minutter til at gå igennem "butikströget", ja, så köber de som regel noget.</p>
<p>Digitaliseringen betjener ikke "outliers", det er ikke profitabelt - dem smider man väk så de ikke forpester algoritmerne.</p>
<p>Jeg synes det er uddmärket at man ikke behöver at sprinte fra Terminal 6 for at indhente en kuffert. Det er uciviliseret.

Mig bekendt er der forskellige regler for momsafregning om en kunde er afrejsende og ankommende .... det er derfor man bliver afkrævet boarding pass ved alle køb - ikke kun "taxfree" køb. Forretningerne er altså generelt uinteresserede i at sælge til ankommende passagerer ... sådan lige bortset fra restauranterne; men hvem har tid til at sætte sig og nyde et måltid mad, når bagagen forventeligt er på vej??? Det er dårlig forretning at sælge til ankommende passagerer. I den sammenhæng ville det være hensigtsmæssigt om CPH i fremtidige byggeplaner ville lede ankommende passagerer udenom shopping mall'en. Det er "trafikkaos" med passagerer, som går i hver sin retning. Og sikkert også en kilde til reduceret omsætning hos forretningerne.

16
27. august 2017 kl. 11:14

Ovenstående er skrevet med en typisk Boeing 737 i tankerne.

De transkontinentale fly - altså Airbus 330/340/380, boeing 747/767/777/787 er en helt anden historie. Der er al bagage pakket i containere, der først skal løftes ud med et liftkøretøj der måler 8x8 meter. Hele proceduren er bare så langsommelig. Derudover er der 2 mia. pax med på hver flyver, som snildt kan fylde en ankomsthal halvt op på rekordtid. :)

15
27. august 2017 kl. 11:00

det var det jeg oplevede i går og har oplevet mange gange før, jeg ved sgu ikke hvad de fortager sig med baggagen i 1 1/2 time. De havde taget den af flyet da jeg forlod flyet.

Søren Hvid

Du har været uheldig og din flyver er sikkert landet i en trafikprop, hvilket sker, da flytrafik er en organisk størrelse, der lever sit eget autonome liv. Og med det øgede antal flyvere i Cph de senere år, vil det sommetider gå galt. Jeg kan forøvrigt fortælle dig, at der er samme scenarier i alverdens lufthavne uanset størrelse. De etablerede lufthavnes logistik har meget svært ved at følge med den eksplosion af flytrafik, der er sket de seneste 10-15 år.

De fleste store lufthavne ligger jo i byerne. Så man udvider ikke bare for at give passagerer (pax), flyselskaber og lufthavnsmedarbejdere bedre forhold. Og du ved jo nok selv hvordan folk hyler blot der sættes en enkelt vindmølle op 200 meter fra deres baghave...

Kastrup er - hvis det skulle have glippet for nogen - en Shopping-Mall!</p>
<p>Selvfölgeligt kaster man da ikke bare al baggagen ud med det samme når algoritmerne viser at hvis flertallet af kunderne får 20-30 minutter til at gå igennem "butikströget", ja, så köber de som regel noget.

Frithiof Jensen

Første kuffert skal lande på aflæsningsbåndet inden der er gået 12 minutter. Sidste kuffert er inden 25 minutter. Sådan var det i min tid. Kort ridset op:

  1. Flyet stopper på standpladsen, hvor pax skal forlade flyveren. Et mobilt bånd kører til flyveren og en mand åbner bagerste luge og starter med at tømme lastrummet. Afhængig af flytype, passagerer, bagagemængde osv., skal de to første vogne med kufferter sendes ind til aflæsningen. 1 vogn svarer til ~20-30 pax. En 737-800 har i snit 180 sæder. Dette tager normalt 3-5 minutter.
  2. Køreturen fra flyver til aflæsningsområde i bagagehallen tager normalt 3-5 minutter. I lufthavnen er der samme trafikregler, som på landside + lidt ekstra. Altså vejkryds med hajtænder, security, håndværkere, busser m.m.. Og sommetider skal der holdes tilbage for en flyver, der kommer rullende.
  3. Bagagen når til bagagehallen, hvor de to første vogne læsses af. Dette tager normalt 2-3 minutter. Bagagens tur fra aflæsningsområde til ankomsthal tager som udgangspunkt også kun et par minutter. Men er der pax, der ikke har taget deres bagage på båndet i ankomsthallen, kan der ikke komme ny bagage på båndet.
  4. Nu skal næste læs hentes...

Logistik, logistik, logistik...

Når min tørn lå i aflæsningen, samarbejdede jeg ofte med manden i kontrolrummet vedr. omallokering af bånd til bagage hvis jeg kunne se, at der var risiko for at det ville vælte. Problemet var (er stadig?), at hele allokeringen var lavet minimum dagen før og den derfor var statisk. Derfor ville flyverne nogle gange klumpe sig på et enkelt bånd i ankomsthallen mens de andre var tomme. Dette skyldtes forsinkelser, for tidlige ankomster og nogle andre faktorer.

Det var jo tumpet og det tog jeg hånd om (andre gad ikke). Allokeringslisten til aflæsningsområdet var ellers flot og stod snorlige, hvis flyene ellers gad lande til tiden...

Så vi allokerede oftest rundt på flyveren i samme sekund, som tårnet gav en flyver touchdown signal. Af besynderlige årsager var den enkelte flyvers bjælke på computerskærmen låst indtil den var touchet, så vi kunne ikke flytte den noget før selv om vi kunne overskue trafikken 10-15 minutter frem.

Vores autonome "live"-allokering gav godt nok småproblemer i forhold til pax flow i ankomsthallen. Men i det store billede var det mit indtryk, at det klart var til plussiden, hvilket også kunne mærkes hos folkene i ankomstskrankerne i ankomsthallen. Vi fik også ofte ros af dem, da det gav dem mindre arbejde og og skulle håndtere færre vrede pax.

Siden jeg stoppede for 4-5 år siden er trafikken i Cph vist steget med 15-20%. Og så er der næppe meget elastik tilbage til den slags drengestreger, som vi lavede.

14
26. august 2017 kl. 22:02

Når man har tilbragt 15-20 min. med at gå fra den fjerneste A gate som den næstsidste ud af 200 passagerer gider man ikke bruge 30 min til 1 time på at vente på sin baggage , det var det jeg oplevede i går og har oplevet mange gange før, jeg ved sgu ikke hvad de fortager sig med baggagen i 1 1/2 time. De havde taget den af flyet da jeg forlod flyet. Med hensyn til 'Mail" , alt er så dyrt i CPH lige fra vand til parfume så jeg er sikker på at 99,999% af alle flypassagerer gerne vil have deres bagage og hjem i en fart.

13
26. august 2017 kl. 20:31

Hej Johnny. Pt. arbejder vi på en række reclaim koncepter hvor passageren bringes i fokus. Vi håber at kunne se dem i en lufthavn nær dig i en ikke alt for fjern fremtid. Mvh Per

Jeg er gammel kuffertgorilla i Cph (helt præcist rædselsfulde Novia), som stoppede for 4 år siden inden slidskaderne ville melde sig. Vil du ridse op hvilke projekter I har i støbeskeen vedr. reclaim? Jeg er hammernysgerrig ved hvad I gør ved min gamle arbejdsplads i T3. :)

12
26. august 2017 kl. 19:14

Kastrup er - hvis det skulle have glippet for nogen - en Shopping-Mall!

Selvfölgeligt kaster man da ikke bare al baggagen ud med det samme når algoritmerne viser at hvis flertallet af kunderne får 20-30 minutter til at gå igennem "butikströget", ja, så köber de som regel noget.

Digitaliseringen betjener ikke "outliers", det er ikke profitabelt - dem smider man väk så de ikke forpester algoritmerne.

Jeg synes det er uddmärket at man ikke behöver at sprinte fra Terminal 6 for at indhente en kuffert. Det er uciviliseret.

11
26. august 2017 kl. 09:20

Jeg kan kun give Johnny ret, baggage udlevering er det største problem i CPH, i går ventede jeg 1 time på at få udleveret baggage og der var fem fly på det samme bånd med tider over 30 minutter. Ulande har hurtigere baggage reclaim

10
25. august 2017 kl. 14:48

Hej Johnny. Pt. arbejder vi på en række reclaim koncepter hvor passageren bringes i fokus. Vi håber at kunne se dem i en lufthavn nær dig i en ikke alt for fjern fremtid. Mvh Per

9
25. august 2017 kl. 13:10

Hej Per. Du er velkommen til at sende dit nummer på jwb@datarespons.dk, så kan jeg lige ringe dig op, hvis det er ok?

8
25. august 2017 kl. 12:25

Jeg har ALDRIG haft problemer med tabt/forsinket bagage .... derimod irriterer det mig grænseløst at skulle bruge ofte over 30 minutter fra jeg kommer til bagagebåndet til jeg får bagagen udleveret ... og ofte står der personer fra 3-5 fly ved sammen bånd og alle de andre bånd bliver ikke brugt. Hvis CPH skulle komme med tiltag, som forbedrede min oplevelse så ville det være at reduceret bagagehåndteringen ved ankomst. Det, de gør nu, virker som om det er et omkostningsbesparende tiltag - ikke et kundeoplevelsesforbedrende tiltag. Og da jeg ikke har en forventning om at reducerede omkostninger kommer mig til gode, såååååå ...

7
25. august 2017 kl. 12:21

Hej Jens. Der er ingen tvivl om at kamera teknologien er i rivende udvikling. I dette setup benytter vi Gaming PC'er pga. af mængden af billeder samt frekvensen af baggage. Men et kamera med indbygget machine learning og høj hastighed lyder tillokkende. Mvh Per

6
25. august 2017 kl. 11:45

Hvorfor bruger i ikke smartkamera med eks. billedgenkendelse i stedet for dyre gamer maskiner? Eks. Adlink har et smartkamera der ser ud til at kunne klare opgaven.

5
25. august 2017 kl. 11:31

Korrekt Simon. RFID har en række fordele ift. almindelige papir-tags. Løsninger hertil er en del af vores set-up, men Airlines og Airports har været langsomme til at tage teknologien til sig. RFID har dog også visse udfordringer ift. at adskille tags med høj fart, samt en højere cost. Hertil kommer investeringer i en eksisterende infrastruktur. Inden for det sidste år har man dog set at Delta Airlines er gået all-in på en kombination af papir-tags og RFID. Det bliver spændende at følge. Mvh Per

4
25. august 2017 kl. 11:20

RFID tags burde løse alle de problemer på en meget mere elegant måde.

3
25. august 2017 kl. 10:58

Din løsning virker i bedste fald kun for den halvdel af bagagen, som checkes ind i lufthavnen. Al den bagage, som kommer ind med fly fra andre lufthavne, vil jo ikke have disse ekstra meta data - ved mindre alle lufthavne registrerer alle disse ekstra informationer ved checkin og deler disse. Det uhyre meget simplere at sætte to computere og 6 kameraer op, end at ændre samtlige checkin skranker i alle lufthavne og dele informationer om bagagen.

2
25. august 2017 kl. 09:44

God pointe Mark. Vi logger også vægt. Den manuelle inspektion der her er tale om, er at læse et baggage-tag som evt. har været skjult eller er beskadiget. Mvh Per

1
25. august 2017 kl. 08:24

Hvorfor i alverden laves der ikke en meget præcis vægtlogning, og så ellers sammenligne på den skulle der opstå problemer?

Må da, automatisk, kunne udelukke 99% af mulighederne før det overhovedet er nødvendigt med en person der skal tjekke tasken.. Kombiner det med en evt. dimensionsscanning af tasken, samt en tidskode fra man checker ind for yderligere at udelukke forkerte tasker, og så burde man være så tæt på sikret som muligt.

Altså tjekke taskens vægt, dimensioner og Check-in tidspunkt, når man først modtager den og så sammenligner når der er en taske hvis tag ikke kan læses..?