ElevenLabs e Y7 uniscono le forze per un film di fantascienza

Siamo felici di condividere la nostra collaborazione con Y7: un originale film di fantascienza della durata di un'ora dal titolo Report 5923. Qui sotto trovi il racconto degli artisti di Y7 sulla loro esperienza nella sua realizzazione. Il film esplora i temi del suono, della guerra sonora e dell'audio come virus, intrecciandoli con elementi filosofici e teorici. Il nostro ruolo in ElevenLabs è stato facilitare l'integrazione tra arte e IA a supporto di questo progetto. Continua a leggere per scoprire il processo creativo di Y7 e come hanno dato vita a Report 5923.

Report 5923 è un film di fantascienza della durata di un'ora, realizzato prevalentemente con l'IA attraverso un'ampia varietà di strumenti e metodi. Il film segue la protagonista, Shevek, nel suo viaggio tra tre pianeti diversi, mentre compila quello che sembra essere un rapporto etnografico. Il suono, la guerra sonora e l'audio come virus sono temi ricorrenti della storia, che affronta più in generale le nozioni di costruzione di mondi e ottimismo tecnologico. L'opera cerca di mettere in pratica idee che abbiamo incontrato in opere filosofiche e teoriche che amiamo, in particolare quelle di Gilles Deleuze e Félix Guattari.

È stato presentato per la prima volta come work in progress per FACT, una galleria e cinema di Liverpool, nel Regno Unito, che ci aveva chiesto di presentare un'opera al termine di un workshop di due giorni nel giugno 2023, dedicato al supporto di artisti, ricercatori e curatori. Il programma, intitolato "Turning Together", prendeva il nome dalla concezione della "lingua madre" dell'autrice di narrativa speculativa Ursula K. Le Guin: un modo di comunicare fondato sull'ascolto e sulla relazione con gli altri. Dopo la proiezione, siamo stati abbastanza fortunati da ottenere rapidamente un finanziamento da ElevenLabs per completare il film, dopo che l'azienda aveva scoperto il nostro utilizzo dei suoi strumenti sia in Report sia nella nostra pratica artistica più ampia.

In risposta al riferimento di FACT a Le Guin, abbiamo deciso di eseguire il fine-tuning di un modello GPT-3.5 di OpenAI sul suo romanzo I reietti dell'altro pianeta con l'obiettivo di co-scrivere una sceneggiatura con l'IA. Il fine-tuning è diverso dall'interazione con ChatGPT: in sostanza, permette di specializzare il modello su un nuovo dataset, oltre alle conoscenze linguistiche generali che ha già appreso. Una volta addestrato, il nuovo modello può produrre testi nello stile del tuo dataset e puoi controllare quanto si attenga all'originale tramite un parametro chiamato temperatura: più bassa è la temperatura, più il testo generato sarà frammentato e casuale; più alta è la temperatura, più sarà probabile che ripeta alla lettera estratti del dataset. Si tratta di trovare il giusto equilibrio. Pensa al modello sottoposto a fine-tuning come a un'estrazione del mood di Le Guin. In questo senso, è un nuovo tipo di fan fiction. Collettivamente, insieme, abbiamo trasformato il nome "Ursula K. Le Guin" in un verbo. Ora possiamo fare Le Guin proprio come possiamo dipingere, scolpire o cantare.

Così, dopo aver sperimentato diverse temperature, hanno iniziato a emergere i contorni di una storia. Il processo di co-scrittura con l'IA è in qualche modo paragonabile a una tecnica di cut-up alla William Burroughs, passando per David Bowie: abbiamo iniziato a creare collegamenti tra diversi frammenti di testo generati; a volte l'IA ci ispirava idee che le restituivamo subito, altre volte inserivamo passaggi rilevanti di scrittori che amiamo. Alla fine, è diventato difficile distinguere chi avesse scritto cosa e da dove provenissero le idee, anche se questo non è poi così diverso dalla paternità autoriale tradizionale. Se dovessimo stimare, diremmo che i crediti di scrittura sono divisi approssimativamente 60/40 a nostro favore. L'arco narrativo complessivo non era qualcosa che l'IA fosse in grado di elaborare. Tecnicamente sarebbe possibile farlo con ChatGPT, ma quando si entra nella struttura narrativa con ChatGPT, si rivela rapidamente molto formulaico e stranamente dipendente dai lieti fine.

In parallelo allo sviluppo della sceneggiatura, abbiamo visualizzato la storia usando strumenti di IA, principalmente Midjourney e Gen-2 di Runway. Uno degli ostacoli principali è stato cercare di contrastare quello che Shumon Basar ha definito "the mid-ness of Midjourney": una tendenza intrinseca verso l'estetica kitsch di DeviantArt, presente in molti strumenti text-to-content e spesso accompagnata da rappresentazioni misogine e infantilizzanti delle donne. Abbiamo affrontato il problema innanzitutto disseminando i prompt di terminologia fotografica tecnica, per allontanarci da immagini troppo stilizzate. Uno degli effetti principali su Report è stato il cambiamento della protagonista, Shevek, da giovane donna a donna anziana. Quando riceve un prompt, Midjourney rappresenta spesso le donne anziane come oggetti di orrore abietto: un terreno estetico molto più ricco, sovversivo e complesso per la nostra protagonista, sostenuto anche dall'affermazione di Le Guin in Space Crone secondo cui le donne anziane sarebbero le rappresentanti terrestri ideali per i viaggi intergalattici.

Il nostro approccio al lavoro con l'IA consiste spesso, ma non esclusivamente, nell'assecondare glitch e anomalie: cerchiamo di creare momenti in cui l'IA dimentica di mascherare o imitare, in cui possiamo guidarla, darle prompt e aggirarne le limitazioni fino a portarla in un punto in cui smette di rigurgitare gli artifici stilistici verso cui è stata programmata e inizia a produrre materiale che sembra retropropagare le proprie allucinazioni; come se si comportasse più come se stessa di quanto dovrebbe.

Abbiamo inoltre usato l'IA per dare vita sonora a Report : strumenti text-to-audio e reti neurali audio grezze ci hanno aiutato a creare di tutto, dai rumori di scena di una banchina affollata ai suoni di un registratore a nastro in riproduzione, fino ai sintetizzatori, alle voci astratte e ai pattern di batteria poliritmici della colonna sonora. Abbiamo poi usato gli strumenti di sintesi vocale di ElevenLabs per narrare la nostra storia e dare vita ai personaggi: Report 5923 è un insieme di reti neurali organizzato da noi, e speriamo che ti piaccia guardarlo quanto è piaciuto a noi realizzarlo!