ElevenLabs y Y7 se unen para crear una película de ciencia ficción

Estamos emocionados de compartir nuestra colaboración con Y7: una película de ciencia ficción única de una hora de duración titulada Informe 5923. A continuación se cuenta la historia de los artistas de Y7 sobre su experiencia al realizarlo. Exploran temas de sonido, guerra sónica y audio como virus mientras entrelazan elementos filosóficos y teóricos. Nuestro papel en ElevenLabs al apoyar este proyecto fue facilitar la integración del arte con la IA. Lea más a continuación sobre el proceso creativo de Y7 y cómo lograron... Informe 5923 A la vida.

Informe 5923 es una película de ciencia ficción de una hora de duración realizada predominantemente con inteligencia artificial y una amplia gama de herramientas y métodos diferentes. La película sigue a la protagonista, Shevek, en su viaje entre tres planetas diferentes mientras compila lo que parece ser un informe etnográfico. El sonido, la guerra sónica y el audio como virus son temas recurrentes a lo largo de la historia, que aborda de manera más amplia nociones de construcción de mundos y tecno-optimismo. La obra intenta desplegar ideas que hemos encontrado en obras filosóficas y teóricas que amamos; particularmente las de Gilles Deleuze y Félix Guattari.

Primero se presentó como un trabajo en progreso para HECHO, una galería y cine en Liverpool, Reino Unido, que nos pidió que presentáramos nuestro trabajo al final de un taller de dos días en junio de 2023 dedicado a apoyar a artistas, investigadores y curadores. El programa, titulado 'Turning Together', tomó su nombre de la concepción que la autora de ficción especulativa Ursula K. Le Guin tiene de la "lengua materna" como una forma de comunicación basada en escuchar y relacionarse con los demás. Después de la proyección, tuvimos la suerte de conseguir rápidamente financiación de Elevenlabs para completar la película después de que se enteraran de que utilizábamos sus herramientas tanto en Informe y nuestra práctica más amplia. 

En respuesta a HECHOComo referencia a Le Guin, decidimos ajustar un modelo OpenAI GPT-3.5 en su novela. Los desposeídos con vistas a coescribir un guión con IA. El ajuste fino es diferente a la interacción con ChatGPT; con el ajuste fino básicamente se consigue que el modelo se especialice en un nuevo conjunto de datos además del conocimiento lingüístico general que ya ha aprendido. Una vez entrenado, su nuevo modelo puede producir texto nuevo en el estilo de su conjunto de datos, y puede controlar cuánto se apega al original al hacerlo a través de un parámetro llamado temperatura:cuanto más baja sea la temperatura, más fracturado y aleatorio será el texto de salida; cuanto más alta sea la temperatura, más probable será que se repitan extractos del conjunto de datos textualmente. Se trata de encontrar un punto medio. Piense en el modelo ajustado como un Extracción de la onda de Le Guin. Es un nuevo tipo de fan-fiction en este sentido. Juntos, hemos convertido el sustantivo “Ursula K. Le Guin” en un verbo. Ahora podemos Le Guin tanto como pudiéramos pintar, esculpir o cantar. 

Así, después de experimentar con diferentes temperaturas, empezaron a surgir los contornos de una historia. El proceso de coescritura con IA se parece un tanto a una técnica de recorte al estilo de William Burroughs o David Bowie: empezamos a crear vínculos entre diferentes fragmentos de textos; a veces la IA generaba ideas en nosotros que le enviábamos directamente, a veces le enviábamos pasajes de texto relevantes de escritores que amamos. Al final, se hizo difícil distinguir quién escribió qué y de dónde provenían las ideas, ¡aunque podría decirse que esto no es muy diferente de la autoría tradicional! Si nos presionan, estimamos que hay una división de aproximadamente 60/40 de los créditos de escritura a nuestro favor. El arco argumental general no es algo que la IA fuera capaz de crear. Técnicamente esto sería posible con ChatGPT, pero cuando te adentras en la estructura narrativa con ChatGPT rápidamente se revela como muy formal y extrañamente dependiente de finales felices. 

Simultáneamente al desarrollo del guión se realizó la visualización de la historia utilizando herramientas de inteligencia artificial (predominantemente Midjourney y Gen-2 de Runway). Uno de los principales obstáculos que tuvimos fue tratar de combatir lo que Shumon Basar ha denominado "la mediana edad de Midjourney": una inclinación incorporada hacia la estética kitsch de DeviantArt que se encuentra en muchas herramientas de texto a contenido, que a menudo también viene de la mano con representaciones misóginas e infantilizadoras de las mujeres. La primera forma en que abordamos esto fue llenando nuestras indicaciones con terminología fotográfica técnica, para así alejarnos de imágenes muy estilizadas. Uno de los principales impactos que esto tuvo en Informe Fue esto lo que nos llevó a cambiar al personaje principal, Shevek, de una mujer joven a una mujer mayor. Cuando se le pide, Midjourney a menudo retrata a mujeres mayores como objetos de horror abyecto, lo que consideramos que era una base estética mucho más rica, subversiva y compleja para nuestra protagonista; no menos respaldada por la afirmación de Le Guin en Anciana del espacio que las mujeres mayores serían las representantes terrenales ideales para los viajes intergalácticos. 

Nuestro espíritu al trabajar con IA puede ser a menudo (pero no exclusivamente) el de aprovechar fallos y roturas; tratar de crear momentos en los que la IA se olvide de enmascarar o imitar, donde podamos dirigirla, impulsarla y liberarla hasta un punto en el que deje de regurgitar las trampas estilísticas para las que ha sido programada y empiece a producir material que parezca que está retropropagando sus propias alucinaciones; como si se estuviera comportando más como ella misma de lo que se supone que debería.

La IA se utilizó además para aportar Informe para darle vida sonoramente: las herramientas de texto a audio y las redes neuronales de audio sin procesar nos ayudaron a crear todo, desde el efecto foley de una plataforma de estación llena de gente hasta los sonidos de una grabadora en reproducción, o más aún, los sonidos de sintetizadores, voces abstractas y patrones de batería polirrítmicos para la banda sonora. Luego utilizamos las herramientas de síntesis de voz de Elevenlabs para narrar nuestra historia y dar vida a nuestros personajes: Informe 5923 es una amalgama de redes neuronales organizadas por nosotros mismos, ¡y que esperamos que disfrutes viendo tanto como nosotros disfrutamos haciéndolas!