Behov for millimeterpræcision for kunne bruge Hololens i laboratoriet

Augmented reality er lovende inden for sundhedssektoren, men teknologien er stadig ikke bare plug and play.

Augmented eller Mixed reality giver mulighed for at visualisere data på en ny måde. Man kan knytte data visuelt til fysiske objekter, og dermed kan vi altså se de data, it-systemerne rummer, om et objekt, vi kan tage og føle på.

Det har it-koncernen CGI blandt andet brugt i et forsøg med en svensk biobank til at koble data om blodprøver sammen med selve blodprøverne for at hjælpe laboranterne ved hjælp af Microsofts Hololens.

»Biobanken har fire millioner blodprøver i frysere ved minus 120 grader celsius. Prøverne ligger i papæsker med 100 prøver i hver, så vores projekt var at projicere et hologram oven på den rigtige æske og den rigtige prøve,« forklarer Hololens-specialist Anders Markstedt fra CGI til Version2.

Ved at scanne stregkoder på æskerne og koble det med information fra biobankens system, ville det gøre det hurtigere at finde frem til den rigtige prøve. I praksis var det dog ikke helt så let.

»Små objekter er svære at genkende bare med Hololens' sensorer, så vi måtte kombinere det med kameraerne og computer vision,« fortæller Anders Markstedt.

Læs også: Hands-on: Microsofts Hololens er dyr for udviklere - men overbevisende augmented reality

Centimeter-præcision ikke nok

Hololens benytter sig af sensorer i stil med dem, der blev brugt i Microsofts Kinect. De er imidlertid beregnet til at skabe en 3D-model på en skala, der svarer til et rum, så præcisionen er i bedste fald inden for nogle centimeter.

Det var ikke præcist nok til at kunne udpege en bestemt blodprøve i en æske med 99 andre prøver, så derfor måtte der altså laves billedanalyse for at få placeret en virtuel markør korrekt.

Den opgave bliver også udfordret af, at brugeren ikke holder hovedet stille, så det kræver nye analyser hele tiden for at fastholde den virtuelle markør på det rigtige sted i forhold til den fysiske æske.

»Det krævede en del matematik, som jeg ellers havde tænkt på universitetet, at jeg aldrig ville få brug for igen,« siger Anders Markstedt.

Selve det at bruge Hololens til at få en model af et rum og placere et virtuelt objekt i rummet, er forholdsvis enkelt ved hjælp af de udviklingsværktøjer, Microsoft eksempelvis tilbyder til spilmotoren Unity. Men det er straks sværere, når brugeren skal interagere med objekterne.

Læs også: Grundfos: Vi har CAD-tegningerne til virtual reality, men skal have hjælp til fortællingerne

Svært at røre de virtuelle objekter

Det er altså én ting at få vist et virtuelt objekt på det rette sted i rummet, men manipulation af objektet kræver noget mere. Microsoft tilbyder stemmestyring, hvor selskabets talegenkendelse kan integreres i Hololens-applikationer, men det er ikke alle funktioner, hvor tale er den mest intuitive måde at manipulere et objekt.

»Vi har skrevet et bibliotek, så vi kan lave applikationer, hvor man kan bruge hænderne til at flytte virtuelle objekter,« siger Anders Markstedt.

Det kræver, at kameraer og sensorer registrerer brugerens hænder særskilt og samtidig ud fra, hvad brugeren ser, kan bruge spilfysikkens collision detection til at registrere, hvornår og hvordan hænderne rører ved objektet.

»Det er et værktøj, vi har udviklet til vores kunder, så de hurtigere kan udvikle til Hololens. Vi overvejer, om det eventuelt skal være open source, men det vil i sidste ende være en forretningsbeslutning,« siger Anders Markstedt.

Privacy er et problem

Han ser især potentiale inden for sundhedssektoren og andre steder, hvor der er behov for at få realtidsinformation samtidig med, at begge hænder skal være fri. Tidligere har CGI også arbejdet med Google Glass, der var mere traditionel augmented reality, hvor der ikke tages samme forbehold for den rumlige placering, men mere arbejdes ud fra det todimensionelle billede.

»Jeg kunne godt lide idéen med Google Glass, men den var en skuffelse. Skærmen var lille, og der var ikke den fornemmelse for omgivelserne, som der er med Hololens,« siger Anders Markstedt.

Der er dog fortsat en række ting, der skal løses både teknisk og etisk i forhold til mixed og augmented reality.

»Man skal tænke over privacy. Hololens kan lave ansigtsgenkendelse, og er ret god til det ved hjælp af Microsofts skytjenester,« siger Anders Markstedt.

Microsoft og en række andre arbejder på udgaver af mixed reality-udstyr, der er rettet mod forbrugere. Den nuværende udgave af Hololens koster mere end 24.000 kroner for udviklerudgaven, og versionen til brug i professionelle løsninger er endnu dyrere.

»Men det er ikke alt for dyrt for en virksomhed. Det er faktisk til at betale,« siger Anders Markstedt.

Tips og korrekturforslag til denne historie sendes til tip@version2.dk
Kommentarer (0)
sortSortér kommentarer
  • Ældste først
  • Nyeste først
  • Bedste først
Log ind eller Opret konto for at kommentere