ElevenLabs och Y7 förenas för Sci-Fi Film

Vi är glada att dela vårt samarbete med Y7: en unik timslång sci-fi-film med titeln Report 5923. Nedan berättar Y7-konstnärerna om sina erfarenheter av att skapa den. De utforskar teman som ljud, sonisk krigföring och ljud-som-virus samtidigt som de väver in filosofiska och teoretiska element. Vår roll på ElevenLabs i att stödja detta projekt var att underlätta integrationen av konst med AI. Läs mer nedan om Y7:s kreativa process och hur de väckte Report 5923 till liv.

Report 5923 är en timslång sci-fi-film som huvudsakligen skapats med AI och en mängd olika verktyg och metoder. Filmen följer huvudpersonen, Shevek, på hennes resa mellan tre olika planeter medan hon sammanställer vad som verkar vara en etnografisk rapport. Ljud, sonisk krigföring och ljud-som-virus är återkommande teman genom berättelsen, som i stort handlar om världsskapande och techno-optimism. Arbetet försöker använda idéer vi stött på i filosofiska och teoretiska verk som vi älskar; särskilt de av Gilles Deleuze & Félix Guattari.

Den presenterades först som ett pågående arbete för FACT, ett galleri och biograf i Liverpool, Storbritannien, som bad oss att presentera arbete i slutet av en tvådagars workshop i juni ’23 dedikerad till att stödja konstnärer, forskare och kuratorer. Programmet—med titeln ‘Turning Together’—tog sitt namn från den spekulativa författaren Ursula K. Le Guins förståelse av ‘modersmålet’ som ett sätt att kommunicera rotat i lyssnande och relaterande till varandra. Efter visningen lyckades vi snabbt säkra finansiering från ElevenLabs för filmens färdigställande efter att de fick nys om vår användning av deras verktyg både i Report och vår bredare praktik.

Som svar på FACT’s referens till Le Guin bestämde vi oss för att finjustera en OpenAI GPT-3.5-modell på hennes roman The Dispossessed med avsikt att samskriva ett manus med AI. Finjustering skiljer sig från att interagera med ChatGPT; med finjustering får du modellen att specialisera sig på en ny datamängd ovanpå den allmänna språkkunskap den redan har lärt sig. När den är tränad kan din nya modell producera ny text i stil med din datamängd, och du kan kontrollera hur mycket den håller sig till originalet genom en parameter som kallas temperatur: ju lägre temperatur, desto mer fragmenterat och slumpmässigt blir textutgången, ju högre temperatur, desto mer sannolikt är det att den upprepar utdrag ur datamängden ordagrant. Det handlar om att hitta en lycklig medelväg. Tänk på den finjusterade modellen som en extraktion av Le Guins känsla. Det är en ny typ av fan-fiction i denna mening. Vi har kollektivt, tillsammans, förvandlat substantivet ‘Ursula K. Le Guin’ till ett verb. Vi kan nu Le Guin lika mycket som vi kunde måla, skulptera eller sjunga.

Så, efter att ha experimenterat med olika temperaturer, började konturerna av en berättelse ta form. Processen att samskriva med AI känns något jämförbar med en William-Burroughs-genom-David-Bowie cut-up-teknik: vi började skapa länkar mellan olika textutgångar; ibland skulle AI:n väcka idéer hos oss som vi skulle mata tillbaka till den, ibland skulle vi mata in relevanta textpassager från författare vi älskar. I slutändan blev det svårt att skilja vem som skrev vad och varifrån idéerna kom—även om detta knappast skiljer sig från traditionellt författarskap! Om vi pressas skulle vi uppskatta att det är ungefär en 60/40-fördelning av skrivkrediterna till vår fördel. Den övergripande berättelsebågen är inte något AI kunde komma på. Detta skulle tekniskt sett vara möjligt med ChatGPT, men när du går in i berättelsestrukturen med ChatGPT avslöjar den sig snabbt som mycket formelmässig och märkligt beroende av lyckliga slut.

Samtidigt med utvecklingen av manuset var berättelsens visualisering med AI-verktyg (främst Midjourney och Runways Gen-2). Ett av de största hindren vi hade var att försöka bekämpa det som Shumon Basar har kallat ‘Midjourneys medelmåttighet’: en inbyggd benägenhet mot kitschiga DeviantArt-estetiker som finns i många text-till-innehåll-verktyg, vilket också ofta kommer hand i hand med misogyna och infantiliserande skildringar av kvinnor. Det första sättet vi tacklade detta var genom att fylla våra prompts med teknisk fotografisk terminologi, för att styra oss bort från starkt stiliserade bilder. En av de stora effekterna detta hade på Report var att det ledde oss till att ändra huvudkaraktären, Shevek, från en ung kvinna till en gammal kvinna. När man promptar, kommer Midjourney ofta att skildra äldre kvinnor som objekt av avskyvärd skräck, vilket vi kände var en mycket rikare, subversiv och komplex estetisk grund för vår protagonist; inte minst stödd av Le Guins påstående i Space Crone att äldre kvinnor skulle vara de idealiska jordiska representanterna för intergalaktiska resor.

Vår filosofi när vi arbetar med AI kan ofta (men inte uteslutande) vara att luta oss in i glitchar och brytningar; att försöka skapa ögonblick där AI glömmer att maskera eller efterlikna, där vi kan styra, prompta och jailbreaka det till en plats där det slutar återge de stilistiska fällor det har programmerats mot och börjar producera material som känns som att det backpropagerar sina egna hallucinationer; som att det beter sig mer som sig självt än det är tänkt att göra.

AI användes ytterligare för att väcka Report till liv ljudmässigt: text-till-ljud-verktyg och råa ljudneuronätverk hjälpte oss att skapa allt från foley av en livlig stationsplattform till ljudet av en bandspelare som spelar, eller vidare till ljudet av syntar, abstrakta röster och polyrhythmisk trumkomp för soundtracket. Vi använde sedan ElevenLabs talssyntesverktyg för att berätta vår historia och ge våra karaktärer liv: Report 5923 är en sammansmältning av neurala nätverk arrangerade av oss, och en vi hoppas att du njuter av att titta på lika mycket som vi njöt av att skapa!