Bij VPRO Medialab draait het om het verkennen van het creatief en verhalend potentieel van nieuwe technologie. AI, artificial intelligence, kunstmatige intelligentie, of hoe je het ook wilt noemen, is de nieuwe technologie die tegenwoordig het meest in het nieuws komt.

Vaak komt het in negatieve zin in het nieuws: robots nemen onze banen over, algoritmes gaan de wereld regeren, door slimme apparaten verdwijnt menselijk contact en al jouw privé-data wordt misbruikt door grote bedrijven... Maar zou AI ook creatief kunnen zijn? Mensen kunnen inspireren, op vernieuwende inzichten brengen of met hen samenwerken aan artistieke projecten? In dit artikel lees je hoe het ons verging tijdens het maken van de AI-song, en wat we leerden tijdens deze samenwerking met AI.

Het AI Songfestival

Om de creatieve kracht van AI te ontdekken, besloten we deel te nemen aan het AI Songfestival: een internationale creatieve AI-competitie, georganiseerd door de VPRO. Dertien teams uit heel Europa en Australië probeerden met hulp van artificiële intelligentie (AI) dé ultieme Songfestival-hit te maken. 

Luister hier naar Abbus!

Hoe het begon

Om een AI Songfestival-lied te maken stelden we in de herfst van 2019 een team samen. Team Can AI Kick It. Het bestond uit computational musicologists van de Universiteit van Amsterdam, Universiteit Utrecht en artiest Willie Wartaal (zie hieronder voor alle teamleden). Alle 13 deelnemende teams kregen van het AI Songfestival een dataset van 250 Eurovisie Songfestival-liedjes. 

Als team besloten we een aantal zaken:  

  • We wilden gaan voor een tof, poppy klinkend liedje, niet voor een obscure AI-sound.  

  • We zouden extra datasets moeten toevoegen voor het genereren van de muziek en de songteksten, want de 250 Eurovisie-nummers waren bij lange na niet genoeg om algoritmes op te trainen. We kozen voor een grote set populaire pop/rock-nummers (de LAKH data set), de Liederenbank-set van het Meertens Instituut met typisch Nederlandse volksliedjes (want als je Eurovisie zegt, zeg je volksliedjes) en vulden deze sets aan met populaire Nederlandse muziek. Van André Hazes tot Frenna. 

  • De muziek zou leidend zijn in het maken van het nummer, tekst zou volgen. 

  • Het matchen van de muziek en de tekst zouden we overlaten aan onze menselijke artiest Willie Wartaal. Alle wetenschappers waren het erover eens dat deze taak voor een AI nog te moeilijk zou zijn.

Team Can AI Kick It

Allereerst: de muziek

Tot ons geluk had teamlid en UvA AI-student Arran Lyon voor een eerder performance-project al een specifiek, deep neural music-generating algoritme ontwikkeld: Musaic. Voor ons Songfestival-nummer hertrainde hij dit model met zo’n 5000 songs uit de LAHK pop MIDI dataset en de midi-files van de 250 Eurovisie-songs. Ook werden de melodieën uit de Meertens Liederenbank-set (geëxtraheerd door de Universiteit Utrecht-teamleden) toegevoegd. Omdat de set Eurovisie-liedjes klein was kregen deze nummers extra gewicht tijdens het trainen, zodat ze niet zouden ‘verdwijnen’ tussen de rest.  

Na het trainen genereerde het model 450 melodieën en baslijnen die door onze ‘Hit-voorspeller’ (zie verder in deze tekst) beoordeeld konden worden.  

De songtekst

Voor de songtekst werken teamleden Yannick Gregoire en Janne Spijkervet samen om OpenAI’s GPT-2  “345M” model te finetunen. Daarvoor gebruikten ze deze metrolyrics dataset, met 250.473 unieke nummers van 18.231 unieke artiesten. Daarna werd het model wederom gefinetuned met songteksten uit de Eurovision dataset die Janne eerder had gemaakt. Deze code is hier te vinden. 

Janne maakt vervolgens een simpele web interface voor Willie Wartaal, waarmee hij intuïtief samen met de AI de songtekst kon samenstellen. Als je in deze tool een titel of een regel tekst invoert, dan genereert het model de rest van het nummer volgens ingegeven parameters. Als voorbeeld: de input hier was “Love Is In The Air”, en de eerste regel werd, “What would love be”.

Voorspellen van hitpotentie

Omdat ons algoritme een eindeloze hoeveelheid muziek kon genereren, hadden we een AI-tool nodig om die output te beoordelen. Daarom bouwden teamleden John Ashley Burgoyne en Berit Janssen niets minder dan een hit-voorspeller. Hiervoor gebruikten ze de stemgegevens uit de Eurovisie-dataset, en combineerden die met melodieen en baslijnen uit deze nummers. Zo konden ze een voorkeurs-score berekenen voor elk nummer in de dataset en vervolgens een model trainen om de voorkeurs-score van de door ons algoritme gegenereerde muziek te voorspellen.

Alles komt samen

Tot slot was het aan onze menselijke artiest Willie Wartaal en menselijke producer Janne Spijkervet om alle AI-bouwblokken met elkaar te combineren tot een nummer: de gegenereerde melodieën, de gegenereerde baslijnen, de tekst uit de Lyrics Generator, gegenereerde drum kick en een door computer gemaakt stem van Willie. De gegenereerde melodieën en baslijnen waren beoordeeld door onze hit-voorspeller, zodat ze wisten welke de meest veelbelovende waren. De fragmenten met de hoogste ranking gaven we door aan Willie om het nummer mee samen te stellen. 

In het samenstellen van het nummer hielden zij rekening met een aantal regels die we onszelf als team hadden opgelegd: noten mochten niet worden gemute, alle door het algoritme gegenereerde noten moesten intact blijven en er mocht niet in de fragmenten geknipt worden (alle door AI gegenereerde samples waren vier maten). Het doel van deze regels was om de AI niet uit te wissen in de uiteindelijke productie van het nummer. 

Willie improviseerde de melodie van de tekst, geïnspireerd door het AI-materiaal. De beat werd door Janne gemaakt om de rest van het nummer te matchen. Ze maakte ook gebruik van drum samples die gegenereerd werden door een AI-model dat WaveGan heet. 

Uiteindelijk werd ook nog de ‘computer Willie voice’ toegevoegd (zo noemden we hem graag). Deze vocals, te horen in het nummer vanaf 2’33, zijn door AI gemaakt. Teamlid Bence Halpern gebruikte hiervoor de ‘Mellotron text to speech synthesizers’ in combinatie met style-content based voice conversion.

En...Abbus?

Het woord Abbus is uitgevonden door AI (zie het fragment hierboven). Toen de song af was leek het ons interessant om de Lyrics Generator te vragen wat het eigenlijk betekent. Op de vraag ‘What is Abbus?’ kwam het antwoord 'a nascent cloud'. Google Translate vertaalt dit als ‘ontluikend’, of ‘in wording’. Behoorlijk toepasselijk.

Wat hebben we geleerd 

Als je vraagt: kan AI een Eurovisie Songfestival-nummer schrijven?
Dan is ons antwoord, op basis van dit project: NEE, nog niet.
(Al geeft de recente release van OpenAI Jukebox alweer nieuwe mogelijkeden. Deze tool heeft echter nog geen Songfestival-genre beschikbaar ;)).  

Als je vraagt: kan AI een videoclip maken?
Dan is ons antwoord ook: NEE, nog niet. 

Er waren bloed, zweet en tranen van slimme, creatieve mensen nodig om de AI’s te trainen, en om alle gegeneerde elementen tot combineren tot een lekker klinkend nummer en een toffe videoclip. 

Maar: als je vraagt: kan AI inspirerend, onverwacht materiaal creëren waar kunstenaars mee kunnen werken, dat nieuwe ideeën kan triggeren, dat je buiten de gebaande paden laat nadenken? Dan is het antwoord zeer zeker: JA. Kan het samenwerken met AI je uitdagen en fris laten nadenken over je creatieve proces en misschien zelfs wel over wat jou uniek maakt als creatieve mens? JA, absoluut.  

En met de snelheid waarin AI-tools zich ontwikkelen is het zeker de moeite om deze vragen met regelmaat opnieuw te stellen. Dat gaan wij bij VPRO Medialab in ieder geval doen.  
 

Volledige songtekst van Abbus

Abbus

[Intro]
Look at me
Revolution, ya
Ey ey (ey ey)

[Verse 1]
It's gonna feel good (2x)
It's gonna feel good, good, good
We want revolution

[Pre-chorus]
There will be a day 
I look you in your eyes
And I'll hold you, hold you, hold you closer than I ever did
(There will be a day)

[Chorus]
Look at me
Look at me
We're coming with the
Look at me
Look at me
Coming with the
Abbus abbus
Abbus abbus
Abbus
Abbus abbus
Abbus abbus
We're coming with the

[Verse 2]
I am so sick of being lied to
But the Lord is not a saint
Is there something to believe
I am asking you
Are you right

[Pre-chorus]
Headed for something
We're headed for something
Are you ready to go
Let's go
Headed for something
We're headed for something
Are you ready to go
Let's go

[Chorus]
Look at me
Look at me
We're coming with the
Look at me
Look at me
Coming with the
Abbus abbus
Abbus abbus
Abbus
Abbus abbus
Abbus abbus
We're coming with the

[Bridge]
I tried to write an honest song
About the things that I do
And I pray to God that I be a success
And they all said
That the Lord would soon answer
But it wasn't to be
So I took the Lord's advice
And I went on my way with the songs that I had written
Telling the world that I was
Living, living, living

[Chorus]
Look at me
Look at me
We're coming with the
Look at me
Look at me
Coming with the
Abbus abbus
Abbus abbus
Abbus
Abbus abbus
Abbus abbus
We're coming with the

[Outro]
We want revolution
Constant change
Give to everyone
Food and clothes
We want revolution
Revolution
We want revolution

Kill the government
Kill the system
Kill the government
Kill the system
 

AI Songfestival YouTube-serie

In deze vijfdelige serie zie je het volledige maakproces van AI-song Abbus. Bekijk hier de eerste aflevering: 

Credits

Het AI Songfestival is een productie van de VPRO in samenwerking met 3FM en NPO Innovatie

Teamleden Can AI Kick It

Universiteit Utrecht: Anja Volk, Iris Ren, Manon Blanke, Anne van Ede, Thijs Hendrickx, Otto Mättas, Thijs Ratsma 

Universiteit van Amsterdam: John Ashley Burgoyne, Janne Spijkervet, Arran Lyon, Bence Halpern, Berit Janssen 

VPRO Medialab: Yannick Gregoire, Annelies Termeer

Artiest: Olivier Locadia (Willie Wartaal)