Mixed Reality met de HoloLens

Auteur: Alberto Aguzzi

Virtual Reality, Augmented Reality & Mixed Reality. Termen die de laatste tijd steeds meer het nieuws halen. Maar wat wordt daar nu mee bedoeld en wat voor impact kan het hebben op jouw bedrijf of bedrijfsprocessen? Om de mogelijkheden van deze nieuwe technologie te onderzoeken heeft Macaw diverse proof of concepts ontwikkeld. Op deze manier kunnen wij beter inschatten hoe ver deze technologie op dit moment is en of deze al toe te passen is in klantscenario’s.

Virtual-, Augmented- & Mixed Reality

Het verschil tussen al deze ‘realities’ is niet voor iedereen duidelijk. Daarom eerst een kleine uitleg zodat de mogelijkheden van deze omgevingen duidelijker worden.

Virtual Reality (VR) is een techniek die wordt gebruikt om gebruikers te projecteren in virtuele werelden waarin zij kunnen acteren met de objecten die zich daarin bevinden. Deze technologie wordt voornamelijk toegepast in games waarin een gebruiker in een raceauto of ruimteschip zit en de echte wereld volledig aan het zicht van de gebruiker is onttrokken. Virtual Reality begint ook langzaamaan toegepast te worden binnen organisaties. Funda biedt tegenwoordig de mogelijkheid om huizen virtueel te bekijken en Albert Heijn laat dierenvriend Freek tekst en uitleg te geven over dino’s. De devices die deze technologie ondersteunen variëren in prijs van enkele tientjes tot duizenden euro’s. In het goedkoopste geval een cardbox met daarin een telefoon. In het duurste geval een device met bril en sensoren die de bewegingen van de gebruiker registreren en vertalen naar de virtuele wereld.

Augmented Reality is een techniek die wordt gebruikt om virtuele objecten in de echte wereld om ons heen te plaatsten. Onze echte wereld wordt in feite aangevuld (augmented). De objecten zijn te zien door gebruik te maken van een device met een camera. Vervolgens kan er, net als bij Virtual Reality, geacteerd worden met deze objecten. Belangrijk hierbij is dat het device zich niet bewust is van hoe de echte wereld er uitziet. Muren, plafonds e.d. zijn niet bekend en objecten verschijnen op een vooraf gedefinieerde positie. Het meest bekende voorbeeld van deze technologie is de game Pokémon GO. Duizenden gebruikers wereldwijd liepen duizenden meters naar een bepaalde locatie voor interactie met een soms verschijnend beestje. De devices die deze technologie mogelijk maken zijn onze huidige smartphones en tablets, verrijkt met een stukje software.

Mixed Reality (MR) is de nieuwste ontwikkeling en misschien het makkelijkst uit te leggen als Augmented Reality waarbij het device zich wel bewust is van de echte objecten in de echte wereld. Dat betekent dat muren, plafonds, tafels en stoelen e.d. gebruikt kunnen worden om de virtuele objecten aan ‘vast’ te pinnen (of om ze erover heen te laten manoeuvreren) om er vervolgens mee te kunnen acteren. Deze devices hebben naast de camera ook een set aan sensoren in zich die het mogelijk maken om de echte wereld te scannen. Deze set aan sensoren maken deze devices relatief duur. Microsoft HoloLens is het bekendste voorbeeld en aan dit apparaat willen we een nadere verdieping geven.

Belangrijk van al het bovengenoemde is dat geen van deze technologieën elkaar uitsluiten. In de nabije toekomst is er voor elke technologie een plek weggelegd in het IT landschap.

Skype

Skype is al langer bekend en stelt ons in staat om over afstanden samen te werken d.m.v. spraak, beeld en mogelijkheid tot delen van content. Skype voor HoloLens gaat daarin nog een stuk verder en maakt het ook mogelijk om objecten en handgeschreven instructies te projecteren in de omgeving van de HoloLens gebruiker. Dit is erg handig als het gaat om bijvoorbeeld verlenen van ondersteuning op afstand. Het is niet langer altijd noodzakelijk om een senior engineer ergens heen te laten vliegen om ondersteuning te bieden. In sommige gevallen volstaat het om de minder ervaren engineer op locatie een HoloLens te laten gebruiken om zo begeleid te worden door de senior engineer die diverse instructies kan geven. Het meest tot de verbeelding sprekende voorbeeld hiervan is de Thyssenkrupp remote service technician case. Deze case bundelt alle mogelijkheden van de HoloLens m.b.t. auditieve & visuele instructies en skype tot 1 gebruiksvriendelijke app.

Cognitive Services

Om de mogelijkheden van Artificial Intelligence en HoloLens te combineren met elkaar hebben wij een testcase gedaan met de Face API in Microsoft Azure. Om deze API te gebruiken zijn er een aantal stappen die uitgevoerd moeten worden te weten: 

  • Aanmaken van de Face API service;
  • Trainen van het model;
  • Ontwikkelen van een client app.

Voor het aanmaken van de service kan je in de Azure Portal in de Azure Marketplace op zoek gaan binnen het onderdeel ‘AI + Cognitive Services’ naar de Face API. Na het opgeven van een naam, locatie en prijsplan krijg je dan een sleutel welke gebruikt kan worden om de service te benaderen.

Volgende stap in dit proces is het trainen van een model. De Face API is na aanmaken nog niet in staat personen te herkennen. Daarvoor moet eerst een model getraind worden met alle personen waarvan je zou willen dat ze herkend worden. Hiervoor hebben wij in eerste instantie zelf een UWP app gemaakt rdie ons hierin faciliteerde.  Later kwam hier de Microsoft Intelligent Kiosk voor in de plaats. Deze app maakt het niet alleen gebruiksvriendelijk om een Face API model te trainen maar is ook de beste showcase voor wat Microsoft op het AI gebied te bieden heeft aan services.

Als laatste heb je een cliënt app nodig op een device waarmee foto’s genomen kunnen worden welke door onze Face API service geanalyseerd worden. Indien er personen herkend worden krijg je een bestand terug uit deze service met daarin informatie over wie er herkend is en met een zekerheid in procenten en een sentiment.

De HoloLens app die wij bij Macaw ontwikkeld hebben nam o.b.v. een stem commando een foto van wat er op dat moment zichtbaar was door de HoloLens en stuurde deze foto naar onze Face API. Het getrainde model kon daarmee bepalen of er personen herkend werden en indien ja, stuurde de service een verrijkt bestand terug naar de cliënt app. Onze app projecteerde deze informatie in de HoloLens naast de genomen foto op een canvas zichtbaar voor de gebruiker. Naast de naam van de persoon kon ook bepaald worden of deze persoon bijvoorbeeld vrolijk of verdrietig leek.

Computer vision

Op het gebied van machine learning zijn er 2 onderdelen die wij onderzocht hebben in combinatie met de Microsoft HoloLens.

  • Machine Learning o.b.v. Vuforia.
  • Tag recognition m.b.v. QR Codes.

Vuforia is een platform wat het mogelijk maakt om vooraf gedefinieerde patronen te herkennen.Door deze herkenning is Vuforia in staat om virtuele objecten vast te pinnen aan het patroon dat is herkend. Het platform is in staat om objecten, plaatjes, cilinders, tekst en kubussen te herkennen. Wat Vuforia met name interessant maakt is dat het in staat is om de positie van het herkenbare patroon te bepalen in de ruimte en deze ook blijft volgen als de gebruiker beweegt. Daardoor blijven de 3d modellen op een vaste positie t.o.v. het herkenbare patroon bestaan. De HoloLens kan de gebruiker vervolgens allerlei visuele- en audio instructies geven om diverse handelingen uit te voeren. Vuforia heeft samen met Caterpillar een demo gemaakt die dit concept haarfijn toepast. Deze demo is te zien op Vuforia & Caterpillar I. Vuforia heeft ook haar techniek beschikbaar gesteld voor een demo met de catalogus van de toekomst. Niet meer gewoon bladeren door de catalogus maar op ware grote configureren van het product waarna het besteld kan worden. Deze demo is te zien op Vuforia & Caterpillar II. Wat hiermee wel duidelijk wordt is dat Vuforia behoorlijk ver is met deze techniek en ook de nodige stappen zet om te zorgen dat het gebruik ervan met de HoloLens relatief simpel wordt.

Een veel simpeler concept van machine learning is het herkennen van QR codes. QR Codes kunnen gebruikt worden om allerlei informatie in te stoppen en op te maken als een plaatje met zwarte en witte vlakken. In het meest simpele geval een url maar ook e-mail, sms en een VCard behoren tot de mogelijkheden. Wil je hele objecten definiëren m.b.v. een QR Code dan is dat ook mogelijk. Kies dan voor de tekst optie en vul deze dan met een json object. Ons HoloLens proof of concept project stelde ons in staat om de QR Code te herkennen en afhankelijk van de inhoud of een browser te tonen of een skype call op te zetten.

Verwachtingen van de markt

Ondertussen heeft Microsoft aangekondigd dat de eerstvolgende update van de Hololens in 2019 gelanceerd wordt. Betekent dit dat Mixed Reality een onzeker pad is, dat de investeringen van Microsoft aan het afnemen zijn en/of dat de interesse vanuit de markt aan het afnemen is? Integendeel!

Mixed Reality heeft meer aandacht dan ooit. Oktober dit jaar lanceert Microsoft het Mixed Reality Event in San Fransisco. In dit event geeft Microsoft inzicht in hun visie hierop. Deze visie is concreet gemaakt in de lancering in diezelfde maand van een complete range aan Windows Mixed Reality headsets. Microsoft bouwt deze devices niet zelf maar maakt gebruik van een consortium van hardware leveranciers (onder andere Acer, HP en Dell) en richt zicht op de consumentenmarkt met instapprijzen van rond de driehonderd dollar. In diezelfde periode komt Microsoft’s Windows 10 Fall Creators Update uit - inderdaad, met verbeterde ondersteuning voor VR en MR.

De meest visionaire vooruitblik komt uit een kant waar we het niet direct verwachten. Dé game changer voor AR-toepassingen in combinatie met Artificial Intelligence is volgens dit artikel op techtarget.com de Apple iPhone X. Dit device is het eerste device met on-chip AI en AR. Zoals de auteur van het artikel zelf zegt: “Think of Apple's iPhone X as a Rorschach test of our hopes, fears and cynicism about the future.” Waarom dit voor ons van belang is? Als een game changer gelanceerd wordt, dan duurt het niet lang voordat het spelbord en de spelregels veranderen. Door nú verder te investeren in onze kennis van AR en AI, zowel op het gebied van doel en middelen, zijn we straks in staat mee te blijven spelen op het veranderde spelbord...

Michel Heijman
Principal Consultant

What's your challenge?