ElevenLabs et Y7 s'unissent pour un film de science-fiction

Nous sommes heureux de vous présenter notre collaboration avec Y7 : un film de science-fiction singulier d'une heure, intitulé Report 5923. Les artistes de Y7 racontent ci-dessous leur expérience de création. Ils explorent les thèmes du son, de la guerre sonore et de l'audio comme virus, tout en y intégrant des éléments philosophiques et théoriques. Chez ElevenLabs, notre rôle dans ce projet a été de faciliter le rapprochement entre l'art et l'IA. Découvrez ci-dessous le processus créatif de Y7 et la manière dont ils ont donné vie à Report 5923.

Report 5923 est un film de science-fiction d'une heure, réalisé en grande partie à l'aide de l'IA et d'un large éventail d'outils et de méthodes. Le film suit son héroïne, Shevek, dans son voyage entre trois planètes, alors qu'elle compile ce qui semble être un rapport ethnographique. Le son, la guerre sonore et l'audio comme virus sont des thèmes récurrents du récit, qui aborde plus largement la construction de mondes et le techno-optimisme. L'œuvre cherche à mobiliser des idées découvertes dans des ouvrages philosophiques et théoriques que nous aimons, en particulier ceux de Gilles Deleuze et Félix Guattari.

Le projet a d'abord été présenté en cours de création pour FACT, une galerie et un cinéma de Liverpool, au Royaume-Uni. L'institution nous avait invités à présenter une œuvre à l'issue d'un atelier de deux jours, organisé en juin 2023 pour soutenir artistes, chercheurs et commissaires d'exposition. Intitulé « Turning Together », le programme tirait son nom de la conception de la « langue maternelle » par l'autrice de fiction spéculative Ursula K. Le Guin : une manière de communiquer fondée sur l'écoute et la relation aux autres. Après la projection, ElevenLabs nous a rapidement accordé un financement pour achever le film, après avoir découvert notre utilisation de ses outils dans Report et dans notre pratique plus large. 

En réponse à la référence de FACT à Le Guin, nous avons décidé d'affiner un modèle OpenAI GPT-3.5 à partir de son roman Les Dépossédés afin de coécrire un scénario avec l'IA. L'affinage diffère d'une interaction avec ChatGPT : il permet essentiellement de spécialiser un modèle sur un nouveau jeu de données, en complément des connaissances linguistiques générales qu'il a déjà acquises. Une fois entraîné, votre nouveau modèle peut produire du texte inédit dans le style de votre jeu de données. Un paramètre appelé température vous permet de contrôler sa fidélité à l'original : plus la température est basse, plus le texte généré sera fragmenté et aléatoire ; plus elle est élevée, plus le modèle sera susceptible de répéter textuellement des extraits du jeu de données. Tout est question de juste équilibre. Considérez le modèle affiné comme une extraction de l'essence de Le Guin. C'est, en ce sens, une nouvelle forme de fanfiction. Ensemble, nous avons transformé le nom « Ursula K. Le Guin » en verbe. Nous pouvons désormais « le-guiniser » comme nous pourrions peindre, sculpter ou chanter. 

Après avoir expérimenté différentes températures, les contours d'une histoire ont commencé à émerger. Le processus de coécriture avec l'IA rappelle quelque peu la technique du cut-up, de William Burroughs à David Bowie : nous avons commencé à établir des liens entre différents fragments de texte générés. Parfois, l'IA faisait naître en nous des idées que nous lui soumettions aussitôt ; parfois, nous lui fournissions des passages pertinents d'auteurs que nous aimons. Au final, il est devenu difficile de distinguer qui avait écrit quoi et d'où venaient les idées — ce qui n'est sans doute pas si différent de l'écriture traditionnelle. S'il fallait l'estimer, nous dirions que la répartition des crédits d'écriture est d'environ 60/40 en notre faveur. L'arc narratif global n'est pas quelque chose que l'IA pouvait concevoir. Cela serait techniquement possible avec ChatGPT, mais dès que l'on aborde la structure narrative avec ChatGPT, son approche se révèle rapidement très formatée et étrangement dépendante des fins heureuses. 

Parallèlement à l'élaboration du scénario, nous avons donné une forme visuelle à l'histoire à l'aide d'outils d'IA, principalement Midjourney et Gen-2 de Runway. L'un de nos principaux obstacles consistait à combattre ce que Shumon Basar appelle « la banalité de Midjourney » : une tendance intrinsèque aux esthétiques kitsch de DeviantArt, présente dans de nombreux outils de génération de contenu à partir de texte et souvent associée à des représentations misogynes et infantilisantes des femmes. Pour y remédier, nous avons d'abord enrichi nos requêtes de terminologie photographique technique afin de nous éloigner d'images trop stylisées. L'une des conséquences majeures sur Report a été de nous amener à transformer le personnage principal, Shevek, d'une jeune femme en une femme âgée. Lorsqu'on lui en fait la demande, Midjourney représente souvent les femmes âgées comme des objets d'horreur abjecte. Nous y avons vu un terrain esthétique plus riche, subversif et complexe pour notre héroïne, conforté par l'affirmation de Le Guin dans Space Crone selon laquelle les femmes âgées seraient les représentantes terrestres idéales pour les voyages intergalactiques. 

Notre approche de l'IA consiste souvent, sans s'y limiter, à exploiter ses anomalies et ses défaillances ; à créer des moments où elle oublie de masquer ou d'imiter, où nous pouvons l'orienter, la guider et contourner ses garde-fous jusqu'à ce qu'elle cesse de régurgiter les codes stylistiques vers lesquels elle a été programmée et commence à produire une matière qui semble rétropropager ses propres hallucinations ; comme si elle se comportait davantage comme elle-même qu'elle ne le devrait.

L'IA a également permis de donner une dimension sonore à Report : des outils de génération audio à partir de texte et des réseaux neuronaux audio bruts nous ont aidés à créer aussi bien les bruitages d'un quai de gare animé que le son d'un magnétophone en marche, puis les sonorités de synthétiseurs, des voix abstraites et des motifs de batterie polyrythmiques pour la bande originale. Nous avons ensuite utilisé les outils de synthèse vocale d'ElevenLabs pour narrer notre histoire et donner vie à nos personnages : Report 5923 est un assemblage de réseaux neuronaux que nous avons orchestré nous-mêmes, et nous espérons que vous prendrez autant de plaisir à le regarder que nous en avons eu à le créer.