'Kunst en wetenschap samenbrengen'

Team KTH/KMH+Doremir

Land: Zweden
Liedje: Come To Ge Ther
Teamleden: Sven Ahlbäck, Pietro Bolcato en Bob L.T. Sturm

Op het internet: GitHub

puzzelen met AI

Dit team uit Zweden bestaat uit professor Sven Ahlbäck, universitair hoofddocent Bob L.T. Sturm en masterstudent Pietro Bolcato. Zij zijn momenteel verbonden aan de KMH (Koninklijk Instituut van Muziek), KTH (Koninklijk Instituut van Technologie) en het bedrijf Doremir Music Research.

‘Deze competitie is een perfecte casus om hedendaagse technologieën te testen.’

Team KTH/KMH+Doremir koos voor een uitdagende werkwijze. In plaats van melodie en songtekst apart van elkaar te genereren, werden zowel de melodie als de songteksten door één algoritme gegenereerd. Het team liet AI eerst een toon met bepaalde lengte creëren om het vervolgens een passende lettergreep te laten genereren. Net zo lang tot er melodieën en enigszins correcte zinnen uit kwamen rollen. Een methode die - voor zover bij hun bekend - nog niet eerder is gebruikt.

een boost voor creativiteit

Is team KTH/KMH+Doremir tevreden? 'Een neuraal netwerk bouwen en het trainen is een mijlpaal. Maar om de lyrics logisch te krijgen en de melodie dynamisch, dat is een grote prestatie. Dit liedje gecreëerd door zowel mens als AI was meer een puzzel dan een samenwerking.' Pietro Bolcato ervoer dit process als een boost voor creativiteit, omdat het een goede basis geeft: de baslijn, de hoofdmelodie en de lyrics. De andere elementen zijn daarop gebaseerd, van de harmonie tot aan de begeleidende componenten zoals de percussie. Google Wavenet zette de puntjes op de i met spraaksynthese, en de door AI gegenereerde melodie en lyrics zijn ingezongen door de jonge zangeres Olga Rosenberg.

De teamleden hebben verschillende achtergronden zoals Computer Science, Folk Music, en Electrical and Computer Engineering, en zijn alledrie actief op het snijvlak van muziek en computers. Sven Ahlbäck leidt de onderzoek- en ontwikkelafdeling van Doremir Music Research, het bedrijf dat de prijswinnende software ScoreCloud op de markt bracht waarmee automatisch notenschrift gegenereerd kan worden. Ook bijzonder: hij is in Zweden een van de beste vioolspelers. Pietro Bolcato heeft ervaring op het gebied van emotieherkenning en muzieksuggestie door AI, en staat op het punt zijn tweede jaar op het KTH af te sluiten. Bob L.T. Sturm heeft zijn wortels in de Verenigde Staten en verhuisde naar Europa in 2009 om zijn carrière in academisch onderzoek te beginnen. Hij is tevens universitair hoofddocent in computerwetenschappen aan de KTH. Eerder werkte hij aan een machine learning algoritme dat 100.000 nieuwe folk deuntjes genereerde. Met twee promovendi en verschillende Masters op zak bezit dit team flink wat academische kennis om de concurrentie te lijf te gaan.

songtekst van 'Come To Ge Ther'

[Gesproken]

We Come to ge ther
As we dance 
When we go get lost
That's how we go when

[Gezongen]

A-I will sing and a dance there will be 
Our love, it feels like is growing in me