Forensisch media-onderzoeker Siwei Lyu is voornamelijk geïnteresseerd in het sporenonderzoek in verschillende media, kunstmatige intelligentie, machine learning en neuraalnetwerken.

Siwei Lyu studeerde computerwetenschappen en informatica aan de Universiteit in Beijing. Daarna studeerde hij verder aan het Darthmouth College in Amerika. In 2005 behaalde hij zijn doctoraat in de computerwetenschappen.

Na zijn studie heeft hij gewerkt bij het centrum voor neurowetenschappen aan de Universiteit van New York en als onderzoeker bij Microsoft Research Asia. Hij is als universitair docent van de afdeling computerwetenschappen verbonden aan het College of Engineering and Applied Sciences, de universiteit van Albany en de Universiteit van New York. Daarnaast leidt Lyu het Machine Learning and Vision Lab (MLVL) aan de Universiteit van Albany in New York. MLVL focust zich op videoanalyses, 3D reconstructie en verschillende machine-learning methodes.

Lyu heeft meerdere prijzen voor zijn werk en onderzoeken gewonnen. Zo won hij in 2010 de National Science Foundation CAREER Award en in 2017 de SUNY Albany’s Presidential Award for Excellence in Research and Creative Activities.

Deep fake video's

In het interessante artikel van Lyu in The Conversation gaat Lyu in op het analyseren en achterhalen van deep fake-video’s. De technieken achter deep fake-video’s zijn nieuw en voor velen onherkenbaar.

Lyu heeft samen met collega’s Ming-Ching Chang en Yuezun Li onderzoek gedaan naar deze technieken. Ze hebben een manier ontdekt om deep fake-video’s van echte video’s te onderscheiden: het knipperen van de ogen. In vele deep fake-video’s wordt er niet met de ogen geknipperd, omdat deze gelaatstrek nog niet in het algoritme ingebouwd is. Lyu is zich ervan bewust dat de technologie voor deepfakes snel ontwikkelt en dat het knipperen van de ogen waarschijnlijk snel toegevoegd wordt aan de video’s. Maar Lyu is vastberaden door te gaan met het onderzoeken van nieuwe manieren om echt en nep van elkaar te kunnen onderscheiden.

In de UAlbany News podcast vertelt Lyu verder over zijn onderzoek naar deep fake-video’s. Luister hier naar deze interessante podcast.