ElevenLabs y Y7 se unen para crear una película de ciencia ficción

Nos hace mucha ilusión compartir nuestra colaboración con Y7: una película de ciencia ficción única, de una hora de duración, titulada Report 5923. A continuación, artistas de Y7 cuentan su experiencia durante la creación de la película. Exploran temas como el sonido, la guerra sónica y el audio como virus, entrelazándolos con elementos filosóficos y teóricos. Desde ElevenLabs, nuestro papel en el apoyo a este proyecto fue facilitar la integración del arte y la IA. Sigue leyendo para conocer el proceso creativo de Y7 y cómo dieron vida a Report 5923.

Report 5923 es una película de ciencia ficción de una hora de duración, creada principalmente con IA mediante una amplia variedad de herramientas y métodos. La película sigue a la protagonista, Shevek, en su viaje entre tres planetas mientras elabora lo que parece ser un informe etnográfico. El sonido, la guerra sónica y el audio como virus son temas recurrentes a lo largo de la historia, que aborda de forma más amplia las ideas de creación de mundos y tecnooptimismo. La obra trata de aplicar ideas que hemos encontrado en textos filosóficos y teóricos que nos encantan, especialmente los de Gilles Deleuze y Félix Guattari.

Se presentó por primera vez como una obra en curso para FACT, una galería y cine de Liverpool, Reino Unido, que nos pidió presentar una obra al final de un taller de dos días celebrado en junio de 2023 y dedicado a apoyar a artistas, investigadores y comisarios. El programa —titulado «Turning Together»— tomó su nombre de la concepción de la «lengua materna» de la autora de ficción especulativa Ursula K. Le Guin como una forma de comunicación basada en escuchar y conectar con otras personas. Tras la proyección, tuvimos la suerte de conseguir rápidamente financiación de ElevenLabs para completar la película, después de que supieran que utilizábamos sus herramientas tanto en Report como en nuestra práctica artística más amplia.

En respuesta a la referencia de FACT a Le Guin, decidimos hacer finetune de un modelo GPT-3.5 de OpenAI con su novela Los desposeídos con la idea de escribir el guion junto con IA. El finetune es distinto de interactuar con ChatGPT: al hacer finetune, haces que el modelo se especialice en un nuevo conjunto de datos, además del conocimiento lingüístico general que ya ha aprendido. Una vez entrenado, el nuevo modelo puede generar texto en el estilo de tu conjunto de datos, y puedes controlar cuánto se ajusta al original mediante un parámetro llamado temperatura: cuanto menor es la temperatura, más fragmentado y aleatorio será el texto generado; cuanto mayor sea, más probable será que repita fragmentos del conjunto de datos literalmente. Se trata de encontrar el equilibrio adecuado. Piensa en el modelo con finetune como una extracción de la esencia de Le Guin. En este sentido, es un nuevo tipo de fan fiction. Entre todos, hemos convertido el sustantivo «Ursula K. Le Guin» en un verbo. Ahora podemos «Le Guin» tanto como podemos pintar, esculpir o cantar.

Así, tras experimentar con distintas temperaturas, empezaron a surgir los contornos de una historia. El proceso de escribir junto con IA se parece en cierto modo a la técnica de recortes de William Burroughs pasada por David Bowie: empezamos a establecer vínculos entre distintos fragmentos de texto generados; a veces la IA nos inspiraba ideas que le devolvíamos directamente, y otras veces introducíamos pasajes relevantes de autores que nos encantan. Al final, resultó difícil distinguir quién había escrito qué y de dónde venían las ideas, aunque esto no es tan distinto de la autoría tradicional. Si tuviéramos que estimarlo, diríamos que los créditos de escritura se reparten aproximadamente en un 60/40 a nuestro favor. El arco narrativo general no era algo que la IA pudiera desarrollar. Técnicamente sería posible con ChatGPT, pero al trabajar la estructura narrativa con ChatGPT, enseguida se revela como algo muy formulaico y extrañamente dependiente de los finales felices.

Al mismo tiempo que desarrollábamos el guion, creábamos la visualización de la historia con herramientas de IA, principalmente Midjourney y Gen-2 de Runway. Uno de los principales obstáculos fue combatir lo que Shumon Basar ha denominado «lo mediocre de Midjourney»: una inclinación inherente hacia la estética kitsch de DeviantArt presente en muchas herramientas de texto a contenido, que además suele ir acompañada de representaciones misóginas e infantilizadoras de las mujeres. La primera forma de abordarlo fue llenar nuestros prompts de terminología técnica de fotografía para alejarnos de imágenes demasiado estilizadas. Uno de los principales efectos que esto tuvo en Report fue que nos llevó a cambiar al personaje principal, Shevek, de una mujer joven a una mujer mayor. Cuando se le da el prompt adecuado, Midjourney suele representar a las mujeres mayores como objetos de horror abyecto, y sentimos que era un terreno estético mucho más rico, subversivo y complejo para nuestra protagonista. Algo que además respalda la afirmación de Le Guin en Space Crone de que las mujeres mayores serían las representantes terrícolas ideales para los viajes intergalácticos.

Nuestra forma de trabajar con IA consiste a menudo, aunque no exclusivamente, en aprovechar los fallos y las interrupciones: intentar crear momentos en los que la IA olvida disimular o imitar, en los que podemos guiarla, darle prompts y hacer jailbreak hasta llevarla a un punto en el que deja de reproducir los recursos estilísticos para los que ha sido programada y empieza a generar material que parece retropropagar sus propias alucinaciones; como si se comportara más como ella misma de lo que se supone que debería.

También utilizamos IA para dar vida sonora a Report : las herramientas de texto a audio y las redes neuronales de audio sin procesar nos ayudaron a crear desde el foley de un andén de estación lleno de gente hasta el sonido de una máquina de cinta reproduciendo audio, y también sonidos de sintetizadores, voces abstractas y patrones de batería polirrítmicos para la banda sonora. Después utilizamos las herramientas de síntesis de voz de ElevenLabs para narrar la historia y dar vida a los personajes: Report 5923 es una amalgama de redes neuronales organizadas por nosotros, y esperamos que disfrutes viéndola tanto como nosotros disfrutamos creándola.