Augmented Reality: Ik zie, ik zie wat jij niet ziet

De meeste bloggers en schrijvers hebben er wel eens last van, writers block of in dit geval bloggers block. Het schrijven van het stuk lukt maar niet of je kunt geen onderwerp vinden om over te schrijven. Ik had het deze week er ook wat moeilijk mee totdat mijn collega Rogier een link stuurde naar een YouTube video over Augmented Reality. Niet zomaar een video trouwens, het was de presentatie van Pattie Maes van MIT Media Lab over hun Sixth Sense onderzoek.

MIT Medialab

Voor wie MIT niet kent, de Massachusetts Institute of Technology is een van de meest prestigieuze technische universiteiten ter wereld. Patti Maes is associate professor aan MIT en hoofd van de Fluid Interfaces groep in het Medialab. Ik heb vorig jaar het plezier gehad om bij MIT op het Medialab te zijn geweest en keek mijn ogen uit naar de demonstrators die daar gebouwd werden. Ik hoop in de toekomst toch in staat te zijn een vaste samenwerking te kunnen opzetten met MIT. Het onderzoek van MIT bepaalt voor een gedeelte de technische ontwikkelingen in de wereld.

Augmented Reality

Voordat ik over het MIT Media lab onderzoek begin, eerst iets over Augmented Reality. Webster definieert het werkwoord ‘To Augment’ als: ‘to make greater, more numerous, larger, or more intense’. Je voegt dus iets toe aan de realiteit, in de meeste gevallen is dit informatie, data of afbeeldingen die wordt/worden geprojecteerd, wordt  getoond op een mobiele telefoon of zichtbaar wordt gemaakt met een speciale bril.
Augmented reality is niet nieuw. Er zijn al vele onderzoeksprojecten geweest en sterker nog er zijn al applicaties beschikbaar. Een heel mooi voorbeeld van Augmented reality is de ING Wegwijzer op de Android. Voor wie het niet kent: de ING Wegwijzer biedt de mogelijkheid om via de G1 mobiele telefoon met de camera te kijken waar een geldautomaat is. Augmented Reality was vorig jaar te zien op Picnic en tegenwoordig ook op de Baseball kaartjes in de Verenigde staten

Als je verder zoekt zul je nog veel meer voorbeelden vinden van Augmented Reality en varianten daar op. Zowel in research als in de vorm van daadwerkelijke applicaties die gebruikmaken van webcams of mobiele telefoons. Maar het onderzoek van MIT Medialab gaat een stuk verder!

Sixth Sense Video

Het is een indrukwekkende video, maar wel redelijk lang… Vandaar hierbij ook een korte index:

0:00 – 1:45 introductie
1:45 – 2:25 informatie over de wearable device
2:25 – 3:45 demonstratie op een muur
3:45 – 5:00 demonstratie op je hand, intoetsen telefoonnummer
5:00 – 7:30 Sixth Sense demo
7:30 – 8:42 Afronding

Het is niet verbazing wekkend dat dit soort demonstraties, zowel vorig jaar op Picnic als ook bij TED een enorme WOW-factor hebben. De Veronica demonstratie van Picnic is indrukwekkend (vergelijkbaar met Topps) maar is van een andere orde dan het Zesde Zintuig van MIT.

Het Zesde Zintuig

De technologie die wordt gebruikt voor de demo maakt gebruikt van zowel projectie als van camera’s die bewegingen registreren. Multitouch interfaces komen er aan, de Microsoft Surface Smarttable is een goed voorbeeld (wij hebben er op kantoor twee staan) is, zoals de Amerikanen zeggen, een paradigm shift in in Human Computer Interfaces (HCI). De demo van Patti Maes is onafhankelijk van een tafel en deze variant kan op ieder oppervlak worden gebruikt. Een toetsenbord van een telefoon op je hand projecteren, is voldoende om een nummer te bellen (zie video). Ik zeg er gelijk bij: de Smarttable is nu beschikbaar, terwijl het MIT prototype precies dat is wat het zegt te zijn… een prototype.

Maar wel een heel interessant prototype. Er zitten diverse dingen in de je aan het denken zetten, zowel qua techniek als qua uitvoering van de demo.

Onafhankelijk van een beeldscherm

Allereerst de onafhankelijkheid van een beeldscherm. Je ziet in de video dat op een muur (mits niet te veel in de zon) kan worden geprojecteerd en ook kan worden bewerkt (het voorbeeld van de markercaps). Hierin merk je trouwens nog wel goed dat het een demo is (vind ik), door de duidelijke kleuren is het goed mogelijk om de vingers te volgen (onderzoek aan Universiteit Twente had dit probleem ook met de Virtual Trainer).
De demonstratie van de projectie van het toetsenbord van een mobiel op de hand en het maken van een foto door met de handen een rechthoek te maken zijn natuurlijk geweldige toepassingen en bieden heel veel mogelijkheden.

Interactie met het systeem

Daarnaast is de combinatie van projectie en opname een doorbraak. De demonstratie in de supermarkt (en de andere voorbeelden) geven alleen aan dat er niet alleen informatie kan worden getoond maar dat er ook interactie mogelijk is. Stel je voor dat producten(verpakkingen) in de Nederlandse supermarkt worden voorzien van bijvoorbeeld informatie over de hoeveelheid CO2 die is vrijgekomen tijdens de productie, dan kan je bij het boodschappen daarop vergelijken, wat is het meest sustainable product. Ik zou dan ook niet wachten op het MIT prototype maar gewoon kiezen voor een applicatie die draait op een een mobiele telefoon met camera.

Een van de onderwerpen die in de demo ter sprake komt, is het voorbeeld van de student waar een tagcloud op wordt geprojecteerd. Het is een voorbeeld wat ik wel eerder heb gehoord bij Augmented Reality, de herkenning van een persoon en het ophalen van gegevens over eerdere contacten en besproken onderwerpen. De uitwerking van MIT is misschien wat direct, dat op iemand te projecteren, maar het idee is erg interessant.

Zo zijn er nog verschillende zaken die me triggeren in deze demo (de krant, het horloge). Maar de meest intrigerende opmerking daar sluit Pattie mee af: “This is still work in progress but perhaps in another 10 years we will be here with the ultimate Sixth Sense Brainimplant!”

Augmented Reality ook in Nederland?

Jazeker. In het Multimedian project, zie ook deze posting op Frankwatching. Daarnaast was ik onlangs bij Anton Nijholt van de Human Media Interaction groep op Universiteit Twente. Het voorbeeld waar ik eerder aan refereerde, de Virtual Trainer maar ook de Virtuele dirigent. Daarnaast zijn er ongetwijfeld andere universiteiten bezig met dit onderwerp, op de een of andere manier (links en opmerkingen hierover zijn welkom!). Het onderzoek van Anton’s groep aan de UT is heel breed, het omvat onder andere ook Brain Computer Interfaces (of te wel BCI, het besturen van de computers op basis van hersenactiviteit). In een volgend artikel op Frankwatching zal ik daar meer aandacht aan besteden.

Voor wie meer over Augmented Reality wil weten: Idealize had afgelopen week een Themaweek Augmented Reality.