hackathon: Emoties en algoritmes

Ties Brock ,

Een computer kan zien of je boos, verdrietig of verrast bent. En nog veel meer. Wat kun je met die informatie doen? Dat is de vraag tijdens de tweede hackathon in het VPRO Medialab in Eindhoven.

Vijf teams van nerds, programmamakers en designers doen op donderdag 10 en vrijdag 11 december 2015 mee aan de tweede hackathon van de VPRO op Strijp S. De deelnemers komen uit de omroepwereld en het bedrijfsleven, uit Hilversum en Eindhoven.

In gemixte samenstellingen bouwen ze aan machines die gezichten en emoties herkennen. De bedoeling is dat de teams iets maken dat werkt. Beter nog: iets dat toepasbaar is voor nieuwe VPRO-producties. Ze werken met beeld-, spraak- en tekstherkenning door software als FaceReader en Project Oxford.

De winnaar wordt gekozen door een driekoppige jury. Daarin zitten TU-professor Matthias Rauterberg, onderzoeker Anne-Marie Sweep en hoofd digitaal van de VPRO Geert-Jan Bogaerts. Op vrijdag 11 december is VerhaalVersterker geselecteerd als het winnende concept.

Tekenen

Rob Bugel, Sjors van der Werff, Jochem Hees, Wouter Ebben, Timo Klok en Aram Voermans

Drie programmeurs en drie vormgevers bouwen een tekenapp die je bestuurt door met je hoofd te bewegen. ‘We leiden de gebruiker om de tuin’, zegt VPRO-ontwikkelaar Timo. ‘Stiekem meten we zijn emoties tijdens het tekenen. Zijn vreugde of boosheid bepaalt aan het eind hoe de tekening eruit komt te zien.’

Technische problemen maakten heel wat hackwerk nodig, zegt Timo: ‘We dachten dat de Face Reader bewegingen zou meten, maar dat deed ie niet. Dan moet je er omheen hacken. Onze eigen emotie? Er is een beetje angst of we het op tijd af krijgen, maar we zijn vooral happy.'

Facebooktijdlijn

Tjerk Kostelijk, Jeroen Houben, Matthijs Pontier, Marjolein Koster, Rik Wassens, Evelien Veldboom en Cindy van den Hooff

Journalisten en programmeurs gebruiken gezichtsherkenning voor een Facebooktijdlijn die inspeelt op emoties. Als je blij bent, krijg je blije stukken tekst te lezen. ‘Zo begrijpen mensen de emoties die media op hen afvuren’, zegt journalist Evelien. ‘En journalisten snappen wat voor boodschap ze zelf uitdragen.’

De groep heeft er vertrouwen in. ‘We kunnen Face Reader via de pc met de browser laten praten’, zegt Rik. ‘Je gezicht als joystick. Dat is best wel cool.’

Expression hero

Marco Jongenelis en Carl Rethmann

Studenten Marco en Carl bouwen met Face Reader een game. Daarin vernietigt de speler met zijn gezichtsuitdrukking objecten die op hem afkomen. ‘Als er iets triests op je afkomt, moet je het weglachen’, zegt Carl. ‘We noemen het expression hero. Je gezicht is de controller.’

‘We moesten xml-files in de game engine krijgen’, zegt Marco. ‘Dat was moeilijk, maar het is gelukt. Daardoor kun je nu met je gezichtsspieren een spel aansturen.’ Marco heeft thuis tot 3 uur ’s nachts doorgewerkt. ‘Ik heb twee uur geslapen. Ik ben moe en blij.’

Verhaalversterker

Bas van Eijk, Sebastian Kox, Frank Bosma, Anne Moraal, Mark Brand en Annelies Termeer

Zes teamgenoten werken samen aan een ‘verhaalversterker’. Ze beluisteren filmmuziek van Ghostbusters, The Exorcist en Schindler’s List. Ze zijn op zoek naar nummers die passen bij woede, blijdschap en verrassing.

‘We maken een programma dat automatisch muziek toevoegt aan een verhaal’, zegt front end programmeur Frank. ‘Als je een verhaal vertelt en boos of bang kijkt, krijg je boze en angstige muziek en beelden erbij.’

De samenwerking is goed, zegt Frank: ‘Iedereen programmeert in zijn eigen taal, maar toch communiceren we met elkaar. Het is een soort toren van Babel, we hebben een goddelijke taal.’

Bullshitdetector

Fieke Hamers, Dick Janssen en Harris Sunyoto

‘We bouwen een slimme microfoon die een interviewer kan gebruiken om te meten of iemand liegt of niet’, zegt Radar-redacteur Fieke. 'Een bullshitdetector.'

Teamgenoot Dick is nog onderweg. Ontwikkelaar Tjerk van Vicar Vision geeft ze een tip: ‘Jullie zijn het team met het meeste werk en de minste mensen om dat te doen. Als het niet allemaal lukt, schakel dan terug en maak een gave video.’

‘Ik heb geleerd dat er veel meer kan dan je denkt', zegt Fieke. 'Veel open source software kun je gratis gebruiken als je iets wilt bouwen. Als alfa kan ik alleen maar het verhaal erbij bedenken. Ik zie me vooral als eindgebruiker: hoe kun je dit gebruiken voor tv en journalistiek?’

Carl Rethmann