Het is alweer een aantal jaren geleden dat ik voor een van de Nederlandse banken een rapport schreef genaamd “Banking on Emotions: The role of Affective Computing in Banking‘. Op woensdag 24 juni 2009 moest ik daar opeens aan denken toen het NOS een item had over robots die emoties tonen. Wat een onzin! Robots hebben geen emoties en kunnen dat dus ook niet tonen!
Emoties zijn iets typisch menselijk en onderdeel van ons wezen. Een robot is geen mens en mist ten enenmale de mogelijkheid om emoties te hebben c.q. emoties te tonen, wat je niet hebt kun je ook niet laten zien.
Wat de robot wel laat zien zijn maniertjes of gebaren die wij zouden kunnen zien als emoties. Bijvoorbeeld in het laatste stuk van de video waarbij de robot zijn hoofd laat hangen. Wij associëren dat met verdriet of verdrietig zijn, maar het is gespeeld en zo geloofwaardig als een slechte acteur. Het grappige is wel dat mensen in het algemeen een robot of avatar die ‘emoties toont’ meer waarderen dan een een die dat niet doet (ik herinner me een onderzoek dat dit onderschrijft maar kan het niet vinden).
NOS Journaal over emoties (juni 2009)
Ik laat de discussie of dieren emoties hebben hier buiten beschouwing (voor mensen die meer willen weten kijk hier). Ik ben geen specialist op het gebied van emoties (of filosofie) en zal in dit artikel emotie en emotieherkenning ook behandelen vanuit het perspectief van Affective computing (waarover later meer).
Waarom zijn emoties interessant?
Waarom zijn we zo geïnteresseerd in emotie? Emotie is een van de meest krachtige drijfveren van de mens. Waarom zijn mensen zo verknocht aan hun voetbalclub? Emotie. Waarom verkopen romantische films, boeken en zo goed? Emotie! Waarom gun je een bepaald iemand een deal wel en een ander iemand niet (terwijl de aanbieding zelf misschien zelfs minder goed is): emotie. Tijdens de hoogtepunten van de crisis werd de beurs beheerst door emotie, niet door ratio. Het minste of geringste gerucht over de financiële problemen van een bank resulteerde in een zogenaamde self fulfilling prophecy doordat beleggers spontaan aandelen van de hand deden waardoor de bank inderdaad in de problemen kwam.
Emoties zijn, zoals gezegd, een krachtige drijfveer. Als we zouden kunnen herkennen welke emotie iemand heeft, kan dit ons voordeel bieden. Dit is niet alleen een opportunistisch voordeel maar kan ook helpen bij mensen die lijden aan bepaalde ziektes waarbij ze slecht emoties kunnen uitdrukken. Zelfs software, bijvoorbeeld e-learning, heeft baat bij het herkennen dat we iets niets snappen en daardoor gefrustreerd raken. In zo’n geval kan de module de informatie aanpassen zodat we het wel begrijpen.
Welke emoties zijn er?
Als je gaat zoeken op emoties op het internet komt je diverse lijst / classificaties van emoties tegen, die in de meeste gevallen terug te brengen zijn tot een set van basis emoties. Aristotoles beschreef in Retorica (een studie over de kunst van het overtuigen uit de 4e eeuw voor Christus) een aantal basisemoties:
- Woede ↔ kalmte
- Liefde ↔ haat
- Vrees ↔ vertrouwen
- Schaamte ↔ schaamteloosheid
- Vriendelijkheid ↔ onvriendelijkheid
- Medelijden
- Verontwaardiging
- Afgunst
Aristoteles besprak emoties als een van de drie elementen die een spreker moet beheersen om te overtuigen: Logos, Ethos en Pathos. Alleen hierdoor kan je de toehoorder overtuigen.
Herkennen van emoties
Het herkennen van emoties is niet eenvoudig voor mensen, laat staan voor computers. Emoties spelen zich grotendeels ‘intern’ af en niet iedereen toont emoties even sterk. Natuurlijk zijn er emoties die goed herkenbaar zijn zoals woede, maar zelfs daarin bestaan verschillen tussen mensen. Sommigen ontploffen van woede, anderen zijn ingetogen maar misschien even boos, zo niet bozer.
Emoties kunnen zichtbaar worden door veranderingen in het gezicht, de stem en diverse fysiologische signalen zoals hartslag, zweten, rood worden en zo voort. De leugendectector maakt gebruik van de laatste kenmerken.
Het onderzoeksgebied naar het herkennen van emoties door computers heet Affective computing (volgens Webster is Affect: ‘a set of observable manifestations of a subjectively experienced emotion’). Dit kan bijvoorbeeld door het analyseren van gezichtsuitdrukkingen. Bij de TU Delft deed Maja Pantic onderzoek in dit veld (zie haar webpage voor meer informatie).
De reden dat ik het onderzoek voor de bank deed was de interesse in het onderwerp, bijvoorbeeld om bij het call center te kunnen herkennen of een klant boos is.
De redenering was: banken maken steeds meer gebruik van zogenaamde voice navigation (de spraak computer die vraagt waar u voor belt). Als op dat moment kan worden gesignaleerd dat een klant boos is kan dit aan een call center agent worden doorgegeven of eventueel worden doorgeschakeld naar een agent die speciaal is getraind.
Affective computing
De aanleiding en de belangrijkste bron voor het rapport geschreven was het boek “Affective Computing“ van MIT professor Rosalind Picard (foto). Dit boek verscheen al in 1997 verscheen en heeft in 2001 een update gekregen. Het gaat te ver om in detail het hele boek te beschrijven (het is gewoon te bestellen bij o.a. Amazon) maar de essentie van haar onderzoek is dat herkenning van emoties op diverse vlakken een verbetering kan geven.
Ik noemde al de interface tussen mens en computer, of het nu een pc is of bij het eerder genoemde voorbeeld van een interactive voice response (IVR) systeem (een patent en paper voor emotieherkenning vind je hier). Maar ook in games kan emotieherkenning een belangrijke rol spelen.
Professor Mark Overmars (foto) van de Universiteit van Utrecht doet onderzoek naar affect (emotie) in virtual reality of game environments. Het doel is te komen tot een meer realistische en interessante spelbeleving te komen. De emoties die je doorgaat tijdens het spelen veranderen ook de gameplay (zie artikel The Future of Games uit 2007) Denk aan Doom waarbij jouw emotie invloed heeft op het verloop van het spel. Als er wordt gesignaleerd dat je bang bent, kan het spel er extra op inspelen.
Er zijn dus voldoende mogelijkheden om heel zinnige dingen te doen met emotieherkenning.
Verdere ontwikkeling van Emotieonderzoek
Het item op het NOS Journaal ging over de waarde van het tonen van emoties in de zorg relatie tussen robot en mens. Volgens professor Takanishi is het tonen van emoties belangrijk bij natuurlijke communicatie. De robot Kobian toont emoties op een manier die we niet meer gezien hebben sinds de eerste uitzendingen van Goede Tijden, Slechte Tijden, zo overdreven en stereotypisch dat je het nauwelijks serieus kunt nemen.
Maar het onderzoek naar emoties, en dan met name het onderzoek naar de herkenning van emoties door computers, is wel erg zinvol. Naast de toepassingen die we al bespraken is er ook de toepassing bij cameratoezicht. Als je daar emotie, bijvoorbeeld woede of frustratie, uit kunt herkennen, zou dat een bijdrage kunnen leveren aan de veiligheid op straat.
De verre toekomst zit volgens de NOS vol met robots die ‘emoties’ tonen. Misschien dat tegen de tijd dat mijn vrouw en ik hulpbehoevend zijn, robots daadwerkelijk vol emotie ons huis schoonmaken. Maar dan moeten ze het wat mij betreft wel wat overtuigender doen!
Frank Janssen 
Ger Nijkamp 
Danny Verhoeven 
Mooi artikel, veel informatie. Ik wil er wel nog wat aan toevoegen,
Het tonen van emoties door robots, chatbots of avatars is bijzonder belangrijk voor de binding met de mens (gebruiker). Het wordt ook wel emotional transaction genoemd. Wanneer de verbinding tot stand gebracht wordt gaat de mens sociale gedragsregels toepassen op de communicatie met de robot/chatbot (Massachusetts Institute of Technology).
Dit is dus al van groot belang voor het huidige Internet.
Bijvoorbeeld wanneer de gebruiker bezig is met een invulproces op een website zal deze minder snel afhaken wanneer hij wordt ondersteund door een bot (virtuele persoonlijkheid), ergo, minder afhaakmomenten (vreemde ogen dwingen), grotere klantbinding en een beter gevoel bij de klant.
Goed stuk. Ik stond inderdaad zelf ook behoorlijk te kijken van het nieuwsbericht. Vooral omdat het hier om een robot gaat die klusjes in huis zou opknappen en schoonmaakt. Wat ik me afvraag is of men daarbij inderdaad zit te wachten op een robot die daar emoties bij toont. De robot is nu nl. nog niet op de markt, omdat de emoties nog verder moeten worden ontwikkelt. Ik zou denken, doe mij maar zo een robot, zonder de emoties!Wie zit er nu op te wachten dat een robot teleurgesteld verzucht dat hij of zij nooit eens complimentjes krijgt, of dat hij of zij het niet op prijs stelt zo te worden rondgecommandeerd? Begrijp me niet verkeerd, bij mensen steek ik graag energie in hun emoties en daar rekening mee te houden is juist prettig. Maar bij een machine zit ik daar helemaal niet op te wachten. Net als bij onze pc’s willen we toch gewoon dat ze doen wat ze moeten doen, zonder gezeur? In ieder geval in de nabije toekomst zou ik er niet op zitten te wachten dat een huis-robot, die voor dat soort taken wordt ingezet, emoties gaat tonen. Een robot-huisdier, of mens die je in huis neemt omdat je gezelschap zoekt, DAAR kan ik me nu wel iets bij voorstellen. Maar daar ging het hier niet om… Wel interessant onderwerp van gesprek.
hmm, ik moet onwillekeurig denken aan de depressieve robot uit the hitchhikers guide to the galaxy. Ik ben het volstrekt eens met het feit dat er niet genoeg onderzoek gedaan kan worden naar emotie. Gedragsmodellen die emotie op een goede manier kunnen incalculeren zijn van onschatbare waarde niet alleen voor de genoemde beurs, maar eigenlijk op heel veel gebieden, niet in de laatste plaats sales.
Ik denk dat emoties te vaak ook bestudeerd worden door emoties. Daarmee bedoel ik dat vanuit een onderbuikgevoel geanticipeerd wordt op het gedrag van een ander. Niets mis mee, maar door emoties te vangen in een discreet (computer) model kun je er veel meer van begrijpen en op inspelen.
Of een machine ook emotie moet tonen, ik zie daar het nut nog niet zo van in. Ga ik de machine dan meer vertrouwen? Of ben ik dan meer bereid de machine serieus te nemen? Vanuit mijn (ook niet objectieve) beleving lijkt me dit meer voor speelgoed.
Maar machines die iets begrijpen van mensen-emoties zijn vast en zeker nuttig met als goede voorbeelden door Rob genoemd.
@ blogdog: Wanneer de machine (chatbot of avatar) vriendelijk / vrolijk is zal dat bij de gebruiker hele andere gevoelens oproepen dan wanneer machine aggresief, boos of neerslachtig is.
@michael denk je? Misschien wel, maar of een machine daarmee overtuigender is… Ik denk dat het complexer ligt. Lezen van emoties heeft alles te maken met communicatie. Als een machine mijn emotie interpreteert en daar een passende reactie op geeft dan is dat zeker effectief. Een chatbot die emoties kan interpreteren en daarop reageert zal zeker effectiever kunnen zijn.
Als mijn webpagina een lachebekje toont als het mooi weer is, leuk, maar of dit het soort gevoelens zijn waar we het over moeten hebben vraag ik me af. Dan kun je namelijk ook kleurkeuze, lettertype en de hele optocht als emotie-communicatie afdoen.
@blogdog ik ben met je eens dat er nog een groot braakliggend terrein is betreffende de emotie-interactie.
Maar ik ben wel van mening dat zelfs simpele lachebekjes wel degelijk serieuze “emotional transaction” is. Denk maar aan de emoticons in de e-mail die de stemming van de zender weergeven om de boodschap te ondersteunen. ;-)
Het feit dat kleur, smileys en dergelijke relatief eenvoudig zijn toe te passen doet niet zoveel af aan het belang ervan. :-)
Kleur wordt tegenwoordig ook al in vergaderruimtes gebruikt (Kurhouse Scheveningen) om een bepaalde stemming teweeg te brengen. Onder die invloed is bijvoorbeeld de Philips Ambilight de wereld ingekomen.
Dus vanuit de beperkte communicatiemogelijkheid (i.e. waarneming van emotie) kan vanuit de “zend”functie nog heel erg veel worden bereikt om een band te vormen met de gebruiker.
Leuke en interessante post.
Er wordt er ook onderzoek gedaan naar emotieherkenning door machines in het ICIS-project. In een deeltraject van dit grote ‘intelligent systems’- project gaat het om herkenning door middel van een combinatie van gezichtsuitdrukking en spraak.
ICIS staat overigens voor Interactive Intelligent Information Systems.
Zie voor meer informatie over emotieherkenning binnen ICIS de webpagina’s over dit deeltraject en de algemene informatie over dit onderzoeksproject op http://www.icis.nu
@blogdog
Natuurlijk, Marvin the Paranoid Android of in het nederlands : Theo de Tobbende robot (in de KRO uitvoering als hoorspel).
Als machines jouw emotie herkennen en zich daar op aanpassen denk ik dat we al heel ver zijn. Een adaptieve interface kan dan de content aanpassen als je het niet snapt of het niet kan vinden.
OOk in call center applicaties zie ik wel mogelijkheden. Niet echt direct op emotie gericht is het MIT onderzoek naar welke stem (pitch, timbre en intonatie) de beste verkoop geeft. Was volgens mij onderzoek van Weber onder supervisie van Sandy Pentland.
@ger
Is inderdaad een mooie site van ICIS. Was een mooie link geweest voor het artikel :-)
Mooi voorbeeld van een BSIK project waar Logica ook in zit btw. Het werk van de AIO lijkt op dat Maja Pantic, is misschien een vervolg erop?
Goed dat de overheid dit soort zaken stimuleert met BSIK/FES subsidies.