5 vragen over AI en muziek

Ja en nee, het ligt eraan hoe je het bekijkt. Een AI-systeem kan muzikale ideeën genereren, dat wil zeggen: het kan onderdelen van een liedje creëren. Denk aan een stuk tekst, een melodielijn of een baspartij. Met als nuance daarbij dat AI dit niet geheel zelfstandig kan, zonder dat er een mens achter de knoppen zit. AI kan namelijk alleen zelflerend zijn wanneer het gevoed wordt: een AI-systeem heeft data nodig om aan de gang te kunnen. De data die je erin stopt, is bepalend voor wat er uitkomt: voed je de machine met jazz, dan zal er hoogstwaarschijnlijk geen death metal uitkomen. 

Een naam die je veel tegenkomt bij de combinatie muziek en AI is de Franse wetenschapper en componist François Pachet. Vanaf de jaren negentig werkt hij aan muziekcomposities met AI, eerst in een lab voor Sony, tegenwoordig doet hij dat voor Spotify. Zijn belangrijkste wapenfeit is de zogeheten flow machine, een neuraal netwerk dat muziek genereert op basis van muzikale datasets. Het netwerk ontdekt zelf patronen in de muziek die je het voedt en creëert op basis daarvan iets nieuws. Hieronder legt Pachet uitgebreid uit hoe dat werkt, componeren met AI.

AI kan verschillende puzzelstukjes genereren waarmee je een liedje kunt maken. De losse stukken moeten nog steeds door een mens in elkaar worden geknutseld. Er is tot op heden nog geen AI zo goed dat het een compleet liedje kan componeren dat zich kan meten aan liedjes van de grote menselijke artiesten der aarde. 

Voor het AI Songfestival gebruiken deelnemende teams verschillende AI technieken om een liedje te schrijven. In deze serie neemt een van de teams je mee op hun missie om AI een Songfestivalhit te schrijven.

Bekende artiesten hebben op verschillende manier al met AI geflirt. Zo gebruikte Ariana Grande MI.MU Gloves, handschoenen die werken met AI om tijdens live optredens de toonhoogte van haar stem te manipuleren: met een draai van een vinger wist ze hele harmonieën te creëren.

De Britse band Muse maakte weliswaar geen muziek met AI maar gebruikte de technologie wel om er live een videoclip mee te creëren. In de clip van Dig down struint een algoritme het internet af om filmpjes te zoeken die overeenkomen met de tekst van het nummer.

Met Pachet’s bovengenoemde flow machine gingen trouwens verschillende internationale muzikanten, waaronder Stromae, aan de haal. Dat resulteerde in 2018 tot het eerste ‘AI album’ Hello world.

Heel wat stappen verder gaat Holly Herndon. Deze Amerikaanse artiest maakt al vanaf de jaren nul muziek met computers. Voor haar meest recente album Proto tilde ze dit naar een heel ander level. Voor deze plaat zette ze haar eigen ‘AI baby’ op de wereld. Dat is een systeem dat ze trainde mèt en òp haar eigen stem. Hoe dat in zijn werk ging: Herndon schreef zelf muziek, zong dat in, en de AI sloeg dit op, keer op keer. Na verloop van tijd genereerde het systeem op basis van al die input nieuwe geluiden en melodieën. De AI-baby kreeg van Herndon een naam, Spawn, en wordt door haar gezien als een nieuw lid van haar ensemble. Een lid dat volwaardig meezingt – ook tijdens live performances.

Holly Herndon is al voor de wat avontuurlijke muziekliefhebber, nog een stap verder gaan de muzikanten en technologen CJ Carr en Zack Zukowski. Dit duo, van origine Amerikaans maar tegenwoordig opererend vanuit Berlijn, ontwikkelde een AI-programma met de naam Dadabots, dat wordt gevoed door death metal, jazz en punk. Het algoritme trekt daar de meest voorkomende muzikale elementen en sequenties uit en produceert op basis daarvan nieuwe death metal. Een acquired taste, om het maar zo te zeggen. Maar de heren weten met de hulp van AI zelfs metal met pop te vermengen, zo blijkt uit hun bijdrage aan het AI Songfestival.

Voor de echte pioniers moet je flink terug in de tijd. De inmiddels 78-jarige Amerikaanse David Cope bijvoorbeeld, componist, wetenschapper en voormalig muziekprofessor aan de Universiteit van Californië, begon in de jaren tachtig uit nood geboren al met AI-muziek experimenten; hij zat namelijk vast in een writers block. Na jaren van monnikenwerk genereerde hij met AI nieuwe stukken in de stijl van Bach, Beethoven en Chopin. Bijna niet van de echte oude meesters te onderscheiden.

Kraftwerk, Giorgio Moroder, Aphex Twin – namen die met elkaar gemeen hebben dat ze gezien worden als pioniers in electronica, een verzamelnaam voor muziek gemaakt met elektronische instrumenten, of dit nu een synthesizer of een laptop is. De elektronische instrumenten worden door mensen bespeeld; AI-muziek gaat een flinke stap verder. AI is namelijk niet alleen een instrument maar wordt eigenlijk mede bandlid of vormt een duo met de muzikant. AI genereert zelf muziek en wordt een beetje mede-componist; het reikt composities, melodieën en teksten aan. AI gebruikt computeralgoritmes om autonoom, dus zonder begeleiding, te leren van data en input. Het creëert daarmee stukken muziek. In plaats van dat de muzikant de technologie ‘bespeelt’ cureert hij de output van de AI en besluit die al dan niet te gebruiken.

Leuk is dat sommige van die pioniers in electronica ook aan het flirten zijn met AI. Zo heeft de Britse triphopband Massive Attack hun jaren 90 klassieker Mezzanine laten remixen door een neuraal netwerk van een AI.

AI is een hulpmiddel en een enorme inspiratiegenerator. David Bowie liet zich in de jaren negentig bij het schrijven van zijn teksten al bijstaan door een computer en creëerde een beetje zijn eigen AI. Hij ontwikkelde de zogenoemde Verbalizer, een programma waarbij hij tekst in kolommen typte en waarbij de computer de boel vervolgens door elkaar husselde en er nieuwe zinnen mee maakte.

Wat de computer hier doet, is je verrassen met nieuwe suggesties – en als muzikant beslis je vervolgens wat je ervan gebruikt of niet. Dat kan met tekst, melodie of harmonie – alle ingrediënten waaruit een liedje bestaat. Het voordeel: binnen no-time kun je duizenden suggesties krijgen. Met AI hoef je dus nooit meer te wachten op goddelijke inspiratie en heb je een prima tool om op zeer efficiënte manier je creatieve juices te laten flowen.

Ook geeft het mensen die geen muziekinstrument bespelen de kans om zich muzikaal uit te drukken. Het AI Songfestival laat zien dat veel wetenschappers en tech nerds met AI een liedje hebben kunnen maken. Zonder AI hadden ze nooit een poging tot componeren gewaagd.

Ook is het goed een onderscheid te maken in artistiek gemaakte muziek en muziek dat als ‘behang’ functioneert. Denk in het laatste geval aan muziek die je op de achtergrond hoort in winkels of die wordt gebruikt in games. Voor dit soort muziek hoeft er geen mens achter de knoppen te zitten, stelt AI Songfestival jurylid Ed Newton-Rex. Hij richtte tien jaar geleden het muziekcompositiebedrijf Jukedeck op (dat in 2019 is overgenomen door ByteDance), dat AI-muziek voor video en andere media levert en meer dan een miljoen originele muziekstukken creëerde. Het verschil volgens hem? AI kan prima een soundscape maken, maar AI kan niet iets met een bedoeling creëren omdat deze technologie geen idee heeft wat ‘ie doet. Artiesten hebben dat wel.

Hier is geen eenduidig antwoord op. Er zijn wetenschappers die zich zorgen maken om de ‘culturele diversiteit’ in een muziekwereld die steeds meer met algoritmes werkt. Wat al populair is wordt met algoritmes al snel nog populairder en de angst dat een westers gedomineerde smaak, die ook nog eens makkelijk in het gehoor ligt, keihard in de roulatie gaat is niet uit de lucht gegrepen. AI Songfestival jurylid Vincent Koops erkent het gevaar, maar merkt daarbij op dat het vooral speelt wanneer muzikanten met dezelfde datasets gaan werken. 

Maar wanneer muzikanten hun eigen datasets gaan bouwen, kun je daar net zoveel culturele diversiteit in bouwen als je wilt. Zo vond Koops het leuk om te zien hoe een Nederlands team voor het AI Songfestival hun AI heeft getraind met oude Nederlandse volksliedjes, afkomstig uit de Meertens Liederenbank. Dit toont aan dat er veel mogelijk is: een dataset met Hindi-muziek of obscure piepknarmuziek – je AI is net zo divers als de muziek waarmee jij het traint. Als je een bestaande dataset wilt gebruiken voor je AI-systeem zijn er ook alternatieven; het is niet zo dat er alleen maar datasets met westerse populaire muziek zijn. Koops: ‘Er zijn initiatieven die diversiteit in muziek uitdragen. Vaak zie je die in universiteits projecten, meer gericht op een publiek in plaats van commercieel belang. Maar ze zijn er wel.’