ElevenLabs en Y7 bundelen krachten voor sci-fi-film

We delen graag onze samenwerking met Y7: een unieke sci-fi-film van een uur met de titel Report 5923. Hieronder vertellen de kunstenaars van Y7 over hun ervaring met het maken ervan. Ze verkennen thema's als geluid, sonische oorlogsvoering en audio-als-virus, verweven met filosofische en theoretische elementen. Onze rol bij ElevenLabs was om de integratie van kunst en AI in dit project te ondersteunen. Lees hieronder meer over het creatieve proces van Y7 en hoe ze Report 5923 tot leven brachten.

Report 5923 is een sci-fi-film van een uur die grotendeels met AI en een breed scala aan tools en methoden is gemaakt. De film volgt de hoofdpersoon, Shevek, tijdens haar reis tussen drie verschillende planeten, terwijl ze een ogenschijnlijk etnografisch rapport samenstelt. Geluid, sonische oorlogsvoering en audio-als-virus zijn terugkerende thema's in het verhaal, dat breder gezien draait om ideeën over wereldvorming en techno-optimisme. Het werk probeert ideeën toe te passen die we zijn tegengekomen in filosofische en theoretische werken waar we van houden, met name die van Gilles Deleuze en Félix Guattari.

Het werd voor het eerst als work-in-progress gepresenteerd voor FACT, een galerie en bioscoop in Liverpool, VK, die ons vroegen om aan het einde van een tweedaagse workshop in juni '23 werk te presenteren. De workshop was gericht op het ondersteunen van kunstenaars, onderzoekers en curatoren. Het programma, getiteld ‘Turning Together’, ontleende zijn naam aan de opvatting van speculatieve fictieschrijver Ursula K. Le Guin over de ‘moedertaal’ als een manier van communiceren die geworteld is in luisteren en je tot elkaar verhouden. Na de vertoning kregen we gelukkig snel financiering van ElevenLabs voor de voltooiing van de film, nadat ze hadden gehoord dat we hun tools zowel in Report als in onze bredere praktijk gebruikten. 

Als reactie op de verwijzing van FACT naar Le Guin besloten we een OpenAI GPT-3.5-model te finetunen met haar roman The Dispossessed om samen met AI een script te schrijven. Finetunen verschilt van interactie met ChatGPT: met finetunen laat je het model zich in essentie specialiseren in een nieuwe dataset, boven op de algemene taalkennis die het al heeft geleerd. Na de training kan je nieuwe model nieuwe tekst produceren in de stijl van je dataset. Via een parameter genaamd temperature kun je bepalen hoe sterk het model zich daarbij aan het origineel houdt: hoe lager de temperature, hoe gefragmenteerder en willekeuriger de tekstoutput wordt; hoe hoger de temperature, hoe groter de kans dat het passages uit de dataset woordelijk herhaalt. Het gaat erom een goede middenweg te vinden. Zie het gefinetunede model als een extractie van Le Guins vibe. In die zin is het een nieuwe vorm van fanfiction. Samen hebben we het zelfstandig naamwoord ‘Ursula K. Le Guin’ veranderd in een werkwoord. We kunnen nu Le Guin zoals we ook kunnen schilderen, beeldhouwen of zingen. 

Toen we met verschillende temperatures hadden geëxperimenteerd, begonnen de contouren van een verhaal vorm te krijgen. Het proces van samen schrijven met AI voelt enigszins vergelijkbaar met een cut-uptechniek van William Burroughs via David Bowie: we begonnen verbanden te leggen tussen verschillende tekstfragmenten uit de output. Soms bracht de AI ons op ideeën die we er meteen weer aan terugvoerden, soms voerden we relevante tekstpassages in van schrijvers van wie we houden. Uiteindelijk werd het lastig om te onderscheiden wie wat had geschreven en waar de ideeën vandaan kwamen, al verschilt dat misschien niet zo veel van traditioneel auteurschap! Als we een schatting moeten maken, is de verdeling van de schrijverscredits ongeveer 60/40 in ons voordeel. De overkoepelende verhaallijn was niet iets wat AI zelf kon bedenken. Technisch gezien zou dat mogelijk zijn met ChatGPT, maar zodra je met ChatGPT de structuur van storytelling ingaat, blijkt die al snel erg formulematig en vreemd afhankelijk van happy endings. 

Tegelijk met de ontwikkeling van het script visualiseerden we het verhaal met AI-tools, voornamelijk Midjourney en Gen-2 van Runway. Een van de belangrijkste obstakels was wat Shumon Basar ‘the mid-ness of Midjourney’ heeft genoemd: een ingebouwde neiging tot de kitscherige DeviantArt-esthetiek die in veel text-to-contenttools voorkomt en die vaak samengaat met vrouwonvriendelijke en infantilisende afbeeldingen van vrouwen. We pakten dit eerst aan door onze prompts te doorspekken met technische fotografieterminologie, om weg te blijven van zwaar gestileerde beelden. Een van de grote gevolgen hiervan voor Report was dat we de hoofdpersoon, Shevek, veranderden van een jonge vrouw in een oudere vrouw. Wanneer je Midjourney prompt, beeldt het oudere vrouwen vaak af als objecten van abjecte horror. Voor onze hoofdpersoon vonden we dat een veel rijkere, subversievere en complexere esthetische basis, wat bovendien wordt ondersteund door Le Guins stelling in Space Crone dat oudere vrouwen de ideale aardse vertegenwoordigers voor intergalactisch reizen zouden zijn. 

Onze werkwijze met AI is vaak, maar niet uitsluitend, om glitches en breuken te omarmen; om momenten te creëren waarop AI vergeet te maskeren of na te bootsen, waarop we het kunnen sturen, prompten en jailbreaken naar een plek waar het niet langer de stilistische kenmerken reproduceert waar het op is geprogrammeerd, maar materiaal begint te produceren dat voelt alsof het zijn eigen hallucinaties backpropagates; alsof het zich meer als zichzelf gedraagt dan het zou moeten doen.

AI werd ook ingezet om Report sonisch tot leven te brengen: text-to-audiotools en rauwe neurale audionetwerken hielpen ons alles op te roepen, van foley van een druk stationsperron en het geluid van een spelende tapemachine tot synths, geabstraheerde vocalen en polyritmische drumpatronen voor de soundtrack. Vervolgens gebruikten we de spraaksynthesetools van ElevenLabs om ons verhaal te vertellen en onze personages tot leven te brengen: Report 5923 is een door ons samengesteld geheel van neurale netwerken, en we hopen dat je er net zo van geniet om ernaar te kijken als wij ervan genoten hebben om het te maken!