ElevenLabs och Y7 går samman för sci-fi-film

Vi är glada att kunna dela vårt samarbete med Y7: en unik, timslång sci-fi-film med titeln Report 5923. Nedan berättar konstnärerna på Y7 om sina erfarenheter av att skapa filmen. De utforskar teman som ljud, ljudkrigföring och ljud-som-virus, samtidigt som de väver in filosofiska och teoretiska inslag. Vår roll på ElevenLabs var att underlätta mötet mellan konst och AI i projektet. Läs mer nedan om Y7:s kreativa process och hur de gav Report 5923 liv.

Report 5923 är en timslång sci-fi-film som till största delen skapats med hjälp av AI samt en mängd olika verktyg och metoder. Filmen följer huvudpersonen Shevek på hennes resa mellan tre olika planeter, medan hon sammanställer något som verkar vara en etnografisk rapport. Ljud, ljudkrigföring och ljud-som-virus är återkommande teman i berättelsen, som i ett bredare perspektiv behandlar världsbygge och teknooptimism. Verket försöker använda idéer vi har stött på i filosofiska och teoretiska verk som vi älskar, särskilt av Gilles Deleuze och Félix Guattari.

Det presenterades först som ett pågående verk för FACT, ett galleri och en biograf i Liverpool i Storbritannien, som bad oss presentera verket i slutet av en tvådagars workshop i juni 2023 för att stötta konstnärer, forskare och curatorer. Programmet, med titeln ”Turning Together”, hämtade sitt namn från spekulativ fiktion-författaren Ursula K. Le Guins syn på ”modersmålet” som ett sätt att kommunicera med lyssnande och relationer till varandra som grund. Efter visningen hade vi turen att snabbt få finansiering från ElevenLabs för att slutföra filmen, efter att de fått höra att vi använde deras verktyg både i Report och i vår bredare praktik. 

Som svar på att FACT hänvisade till Le Guin bestämde vi oss för att finjustera en OpenAI GPT-3.5-modell med hennes roman The Dispossessed för att kunna samskriva ett manus med AI. Finjustering skiljer sig från att interagera med ChatGPT. När du finjusterar får modellen i praktiken specialisera sig på en ny datamängd utöver den allmänna språkkunskap den redan har lärt sig. När den nya modellen har tränats kan den skapa ny text i din datamängds stil, och du kan styra hur nära originalet den håller sig genom en parameter som kallas temperature: ju lägre temperatur, desto mer fragmenterad och slumpmässig blir texten. Ju högre temperatur, desto mer sannolikt är det att modellen upprepar utdrag ur datamängden ordagrant. Det handlar om att hitta en bra balans. Se den finjusterade modellen som ett utdrag av Le Guins känsla. På så sätt är det en ny sorts fanfiction. Tillsammans har vi gjort substantivet ”Ursula K. Le Guin” till ett verb. Nu kan vi Le Guin lika mycket som vi kan måla, skulptera eller sjunga. 

Efter att ha experimenterat med olika temperaturer började konturerna av en berättelse ta form. Processen att samskriva med AI känns på sätt och vis jämförbar med en klipp-och-klistra-teknik i William Burroughs anda, via David Bowie: vi började skapa kopplingar mellan olika textutdrag; ibland väckte AI:n idéer hos oss som vi genast matade tillbaka till den, och ibland matade vi in relevanta textstycken från författare vi tycker om. Till slut blev det svårt att avgöra vem som skrivit vad och var idéerna kom ifrån – även om det knappast skiljer sig så mycket från traditionellt författarskap. Om vi måste uppskatta skulle vi säga att skrivandet fördelas ungefär 60/40 till vår fördel. Den övergripande berättelsebågen var inget AI:n kunde skapa. Det vore tekniskt möjligt med ChatGPT, men när du arbetar med berättelsestruktur i ChatGPT märker du snabbt att den är väldigt mallartad och märkligt beroende av lyckliga slut. 

Parallellt med manusutvecklingen visualiserades berättelsen med AI-verktyg, främst Midjourney och Runways Gen-2. Ett av våra största hinder var att motverka det Shumon Basar har kallat ”Midjourneys medelmåttighet”: en inbyggd dragning mot kitschig DeviantArt-estetik som finns i många text-till-innehåll-verktyg och som ofta går hand i hand med misogyna och infantiliserande skildringar av kvinnor. Det första sättet vi hanterade detta på var att fylla våra promptar med teknisk fotografisk terminologi, för att styra bort från alltför stiliserade bilder. En stor effekt detta fick på Report var att vi ändrade huvudkaraktären Shevek från en ung kvinna till en äldre kvinna. När Midjourney får en sådan prompt skildrar den ofta äldre kvinnor som objekt för avskyvärd skräck, vilket vi tyckte gav en mycket rikare, mer subversiv och komplex estetisk grund för vår huvudperson. Detta stöds dessutom av Le Guins påstående i Space Crone att äldre kvinnor vore de ideala jordiska representanterna för intergalaktiska resor. 

Vårt förhållningssätt när vi arbetar med AI är ofta, men inte alltid, att ta vara på glitchar och avbrott: att försöka skapa ögonblick där AI:n glömmer att maskera eller imitera, där vi kan styra, prompta och jailbreaka den till en plats där den slutar återge de stilistiska grepp den programmerats att använda och börjar skapa material som känns som om den backpropagerar sina egna hallucinationer – som om den beter sig mer som sig själv än den förväntas göra.

AI användes också för att ge Report ett ljudmässigt liv: text-till-ljud-verktyg och råa neurala ljudnätverk hjälpte oss att skapa allt från foley-ljud av en livlig stationsperrong och ljudet av en bandspelare som spelar, till ljud av syntar, abstraherad sång och polyrytmiska trummönster för soundtracket. Sedan använde vi ElevenLabs talsyntesverktyg för att berätta vår historia och ge liv åt våra karaktärer: Report 5923 är ett montage av neurala nätverk som vi själva har arrangerat, och vi hoppas att du tycker lika mycket om att se den som vi tyckte om att skapa den!