ElevenLabs e Y7 se unem para filme de ficção científica

Estamos animados em compartilhar nossa colaboração com a Y7: um filme de ficção científica único, com uma hora de duração, intitulado Report 5923. A seguir, artistas da Y7 contam sobre sua experiência na criação do filme. Eles exploram temas como som, guerra sonora e áudio como vírus, entrelaçando elementos filosóficos e teóricos. Nosso papel na ElevenLabs ao apoiar este projeto foi facilitar a integração entre arte e IA. Leia mais abaixo sobre o processo criativo da Y7 e como eles deram vida a Report 5923.

Report 5923 é um filme de ficção científica de uma hora, produzido predominantemente com IA e uma ampla variedade de ferramentas e métodos. O filme acompanha a protagonista, Shevek, em sua jornada entre três planetas enquanto ela compila algo que parece ser um relatório etnográfico. Som, guerra sonora e áudio como vírus são temas recorrentes ao longo da história, que aborda de forma mais ampla noções de construção de mundos e tecno-otimismo. A obra busca aplicar ideias que encontramos em trabalhos filosóficos e teóricos que admiramos, especialmente os de Gilles Deleuze e Félix Guattari.

Ele foi apresentado pela primeira vez como uma obra em andamento para a FACT, uma galeria e cinema em Liverpool, no Reino Unido, que nos convidou para apresentar um trabalho ao fim de um workshop de dois dias, em junho de 2023, voltado ao apoio de artistas, pesquisadores e curadores. O programa — intitulado ‘Turning Together’ — recebeu esse nome a partir da compreensão da autora de ficção especulativa Ursula K. Le Guin sobre a ‘língua materna’ como uma forma de comunicação baseada em escutar e se relacionar com outras pessoas. Após a exibição, tivemos a sorte de conseguir rapidamente financiamento da ElevenLabs para concluir o filme, depois que eles souberam que usávamos suas ferramentas tanto em Report quanto em nossa prática mais ampla. 

Em resposta à referência da FACT a Le Guin, decidimos fazer o Finetune de um modelo GPT-3.5 da OpenAI com base no romance dela The Dispossessed com o objetivo de escrever um roteiro em parceria com IA. O Finetune é diferente de interagir com o ChatGPT: nele, você faz o modelo se especializar em um novo conjunto de dados, além do conhecimento linguístico geral que ele já aprendeu. Depois de treinado, o novo modelo pode produzir textos no estilo do seu conjunto de dados, e você pode controlar o quanto ele se atém ao original por meio de um parâmetro chamado temperatura: quanto menor a temperatura, mais fragmentado e aleatório será o texto gerado; quanto maior a temperatura, maior a probabilidade de ele repetir trechos do conjunto de dados literalmente. O importante é encontrar um meio-termo. Pense no modelo ajustado como uma extração da essência de Le Guin. Nesse sentido, é um novo tipo de fan fiction. Coletivamente, juntos, transformamos o substantivo ‘Ursula K. Le Guin’ em verbo. Agora podemos Le Guin tanto quanto podemos pintar, esculpir ou cantar. 

Assim, depois de experimentar diferentes temperaturas, os contornos de uma história começaram a surgir. O processo de escrever em parceria com IA se parece um pouco com uma técnica de recorte à la William Burroughs, passando por David Bowie: começamos a criar conexões entre diferentes trechos de textos gerados; às vezes, a IA despertava ideias em nós que devolvíamos diretamente a ela, e outras vezes inseríamos passagens relevantes de autores que admiramos. No fim, ficou difícil distinguir quem escreveu o quê e de onde vieram as ideias — embora isso talvez não seja tão diferente da autoria tradicional! Se tivéssemos de estimar, diríamos que os créditos de escrita ficaram aproximadamente em 60/40 a nosso favor. O arco narrativo geral não era algo que a IA conseguia criar. Isso seria tecnicamente possível com o ChatGPT, mas, quando você entra na estrutura da narrativa com ele, logo percebe que ela é muito formulaica e estranhamente dependente de finais felizes. 

Paralelamente ao desenvolvimento do roteiro, a história foi visualizada com ferramentas de IA, principalmente o Midjourney e o Gen-2 da Runway. Um dos principais obstáculos que enfrentamos foi tentar combater o que Shumon Basar chamou de ‘a medianidade do Midjourney’: uma inclinação intrínseca para a estética kitsch do DeviantArt, presente em muitas ferramentas de texto para conteúdo e que frequentemente vem acompanhada de representações misóginas e infantilizadoras das mulheres. A primeira forma de lidar com isso foi encher nossos prompts de terminologia técnica de fotografia, para nos afastar de imagens muito estilizadas. Um dos maiores impactos disso em Report foi que nos levou a mudar a personagem principal, Shevek, de uma mulher jovem para uma mulher idosa. Quando recebe esse tipo de prompt, o Midjourney costuma retratar mulheres mais velhas como objetos de horror abjeto, o que sentimos ser um terreno estético muito mais rico, subversivo e complexo para nossa protagonista; algo reforçado pela afirmação de Le Guin em Space Crone de que mulheres mais velhas seriam as representantes ideais da Terra para viagens intergalácticas. 

Nossa abordagem ao trabalhar com IA muitas vezes — mas não exclusivamente — é explorar glitches e falhas; tentar criar momentos em que a IA se esquece de mascarar ou imitar, em que podemos direcioná-la, usar prompts e fazer jailbreak para levá-la a um ponto em que ela para de reproduzir os traços estilísticos para os quais foi programada e começa a gerar material que parece retropropagar as próprias alucinações; como se estivesse se comportando mais como ela mesma do que deveria.

A IA também foi usada para dar vida sonora a Report : ferramentas de texto para áudio e redes neurais de áudio bruto nos ajudaram a criar desde efeitos foley de uma plataforma de estação movimentada até os sons de uma fita tocando e, mais adiante, sons de sintetizadores, vocais abstratos e padrões de bateria polirrítmicos para a trilha sonora. Depois, usamos as ferramentas de síntese de fala da ElevenLabs para narrar nossa história e dar vida aos personagens: Report 5923 é uma combinação de redes neurais organizadas por nós, e esperamos que você goste tanto de assistir quanto nós gostamos de criar!