Achter de schermen bij Abbus. Deel 1: de AI-song

Om de creatieve kracht van AI te ontdekken, besloten we deel te nemen aan het AI Songfestival: een internationale creatieve AI-competitie, georganiseerd door de VPRO. Dertien teams uit heel Europa en Australië probeerden met hulp van artificiële intelligentie (AI) dé ultieme Songfestival-hit te maken. 

Om een AI Songfestival-lied te maken stelden we in de herfst van 2019 een team samen. Team Can AI Kick It. Het bestond uit computational musicologists van de Universiteit van Amsterdam, Universiteit Utrecht en artiest Willie Wartaal (zie hieronder voor alle teamleden). Alle 13 deelnemende teams kregen van het AI Songfestival een dataset van 250 Eurovisie Songfestival-liedjes. 

Als team besloten we een aantal zaken:  

• We wilden gaan voor een tof, poppy klinkend liedje, niet voor een obscure AI-sound.  

• We zouden extra datasets moeten toevoegen voor het genereren van de muziek en de songteksten, want de 250 Eurovisie-nummers waren bij lange na niet genoeg om algoritmes op te trainen. We kozen voor een grote set populaire pop/rock-nummers (de LAKH data set), de Liederenbank-set van het Meertens Instituut met typisch Nederlandse volksliedjes (want als je Eurovisie zegt, zeg je volksliedjes) en vulden deze sets aan met populaire Nederlandse muziek. Van André Hazes tot Frenna. 

• De muziek zou leidend zijn in het maken van het nummer, tekst zou volgen. 

• Het matchen van de muziek en de tekst zouden we overlaten aan onze menselijke artiest Willie Wartaal. Alle wetenschappers waren het erover eens dat deze taak voor een AI nog te moeilijk zou zijn.

Tot ons geluk had teamlid en UvA AI-student Arran Lyon voor een eerder performance-project al een specifiek, deep neural music-generating algoritme ontwikkeld: Musaic. Voor ons Songfestival-nummer hertrainde hij dit model met zo’n 5000 songs uit de LAHK pop MIDI dataset en de midi-files van de 250 Eurovisie-songs. Ook werden de melodieën uit de Meertens Liederenbank-set (geëxtraheerd door de Universiteit Utrecht-teamleden) toegevoegd. Omdat de set Eurovisie-liedjes klein was kregen deze nummers extra gewicht tijdens het trainen, zodat ze niet zouden ‘verdwijnen’ tussen de rest.  

Na het trainen genereerde het model 450 melodieën en baslijnen die door onze ‘Hit-voorspeller’ (zie verder in deze tekst) beoordeeld konden worden.  

Omdat ons algoritme een eindeloze hoeveelheid muziek kon genereren, hadden we een AI-tool nodig om die output te beoordelen. Daarom bouwden teamleden John Ashley Burgoyne en Berit Janssen niets minder dan een hit-voorspeller. Hiervoor gebruikten ze de stemgegevens uit de Eurovisie-dataset, en combineerden die met melodieen en baslijnen uit deze nummers. Zo konden ze een voorkeurs-score berekenen voor elk nummer in de dataset en vervolgens een model trainen om de voorkeurs-score van de door ons algoritme gegenereerde muziek te voorspellen.

Tot slot was het aan onze menselijke artiest Willie Wartaal en menselijke producer Janne Spijkervet om alle AI-bouwblokken met elkaar te combineren tot een nummer: de gegenereerde melodieën, de gegenereerde baslijnen, de tekst uit de Lyrics Generator, gegenereerde drum kick en een door computer gemaakt stem van Willie. De gegenereerde melodieën en baslijnen waren beoordeeld door onze hit-voorspeller, zodat ze wisten welke de meest veelbelovende waren. De fragmenten met de hoogste ranking gaven we door aan Willie om het nummer mee samen te stellen. 

In het samenstellen van het nummer hielden zij rekening met een aantal regels die we onszelf als team hadden opgelegd: noten mochten niet worden gemute, alle door het algoritme gegenereerde noten moesten intact blijven en er mocht niet in de fragmenten geknipt worden (alle door AI gegenereerde samples waren vier maten). Het doel van deze regels was om de AI niet uit te wissen in de uiteindelijke productie van het nummer. 

Willie improviseerde de melodie van de tekst, geïnspireerd door het AI-materiaal. De beat werd door Janne gemaakt om de rest van het nummer te matchen. Ze maakte ook gebruik van drum samples die gegenereerd werden door een AI-model dat WaveGan heet. 

Uiteindelijk werd ook nog de ‘computer Willie voice’ toegevoegd (zo noemden we hem graag). Deze vocals, te horen in het nummer vanaf 2’33, zijn door AI gemaakt. Teamlid Bence Halpern gebruikte hiervoor de ‘Mellotron text to speech synthesizers’ in combinatie met style-content based voice conversion.

Het woord Abbus is uitgevonden door AI (zie het fragment hierboven). Toen de song af was leek het ons interessant om de Lyrics Generator te vragen wat het eigenlijk betekent. Op de vraag ‘What is Abbus?’ kwam het antwoord 'a nascent cloud'. Google Translate vertaalt dit als ‘ontluikend’, of ‘in wording’. Behoorlijk toepasselijk.

Als je vraagt: kan AI een Eurovisie Songfestival-nummer schrijven?
Dan is ons antwoord, op basis van dit project: NEE, nog niet.
(Al geeft de recente release van OpenAI Jukebox alweer nieuwe mogelijkeden. Deze tool heeft echter nog geen Songfestival-genre beschikbaar ;)).  

Als je vraagt: kan AI een videoclip maken?
Dan is ons antwoord ook: NEE, nog niet. 

Er waren bloed, zweet en tranen van slimme, creatieve mensen nodig om de AI’s te trainen, en om alle gegeneerde elementen tot combineren tot een lekker klinkend nummer en een toffe videoclip. 

Maar: als je vraagt: kan AI inspirerend, onverwacht materiaal creëren waar kunstenaars mee kunnen werken, dat nieuwe ideeën kan triggeren, dat je buiten de gebaande paden laat nadenken? Dan is het antwoord zeer zeker: JA. Kan het samenwerken met AI je uitdagen en fris laten nadenken over je creatieve proces en misschien zelfs wel over wat jou uniek maakt als creatieve mens? JA, absoluut.  

En met de snelheid waarin AI-tools zich ontwikkelen is het zeker de moeite om deze vragen met regelmaat opnieuw te stellen. Dat gaan wij bij VPRO Medialab in ieder geval doen.