ElevenLabs und Y7 vereinen sich für Sci-Fi-Film

Wir freuen uns, unsere Zusammenarbeit mit Y7 vorzustellen: einen einzigartigen einstündigen Sci-Fi-Film mit dem Titel Report 5923. Im Folgenden erzählen die Künstler:innen von Y7 von ihren Erfahrungen bei der Entstehung. Sie beschäftigen sich mit Klang, akustischer Kriegsführung und Audio als Virus und verweben dabei philosophische und theoretische Elemente. Unsere Rolle bei ElevenLabs bestand darin, die Verbindung von Kunst und KI in diesem Projekt zu ermöglichen. Lesen Sie weiter, um mehr über den kreativen Prozess von Y7 zu erfahren und darüber, wie sie Report 5923 zum Leben erweckt haben.

Report 5923 ist ein einstündiger Sci-Fi-Film, der überwiegend mit KI sowie einer Vielzahl unterschiedlicher Tools und Methoden erstellt wurde. Der Film begleitet die Protagonistin Shevek auf ihrer Reise zwischen drei Planeten, während sie einen scheinbar ethnografischen Bericht zusammenstellt. Klang, akustische Kriegsführung und Audio als Virus sind wiederkehrende Themen der Geschichte, die sich umfassender mit Worldbuilding und Techno-Optimismus beschäftigt. Die Arbeit versucht, Ideen aus philosophischen und theoretischen Werken umzusetzen, die wir schätzen – insbesondere von Gilles Deleuze und Félix Guattari.

Das Werk wurde erstmals als unfertige Fassung bei FACT gezeigt, einer Galerie und einem Kino in Liverpool, Großbritannien. FACT hatte uns gebeten, am Ende eines zweitägigen Workshops im Juni 2023 Arbeiten zu präsentieren. Der Workshop unterstützte Künstler:innen, Forschende und Kurator:innen. Das Programm mit dem Titel „Turning Together“ bezog sich auf das Verständnis der Science-Fiction-Autorin Ursula K. Le Guin von der „Muttersprache“ als einer Form der Kommunikation, die auf Zuhören und Beziehung zueinander basiert. Nach der Vorführung konnten wir glücklicherweise schnell eine Finanzierung von ElevenLabs für die Fertigstellung des Films sichern, nachdem sie auf unseren Einsatz ihrer Tools sowohl in Report als auch in unserer allgemeinen Praxis aufmerksam geworden waren.

Als Reaktion auf die Bezugnahme von FACT auf Le Guin entschieden wir uns, ein OpenAI-GPT-3.5-Modell mit ihrem Roman The Dispossessed finetunen zu lassen, um gemeinsam mit KI ein Drehbuch zu schreiben. Finetuning unterscheidet sich von der Interaktion mit ChatGPT: Beim Finetuning spezialisiert sich das Modell auf einen neuen Datensatz, zusätzlich zu dem allgemeinen Sprachwissen, das es bereits gelernt hat. Nach dem Training kann Ihr neues Modell neue Texte im Stil Ihres Datensatzes erzeugen. Über einen Parameter namens Temperatur können Sie steuern, wie eng es sich dabei am Original orientiert: Je niedriger die Temperatur, desto fragmentierter und zufälliger die Textausgabe. Je höher die Temperatur, desto wahrscheinlicher wiederholt es Auszüge aus dem Datensatz wortwörtlich. Es geht darum, ein gutes Mittelmaß zu finden. Stellen Sie sich das finetunte Modell als eine Extraktion von Le Guins Vibe vor. In diesem Sinne ist es eine neue Art von Fan-Fiction. Gemeinsam haben wir das Substantiv „Ursula K. Le Guin“ in ein Verb verwandelt. Wir können jetzt Le Guin wie wir malen, formen oder singen können.

Nach Experimenten mit verschiedenen Temperaturen begannen sich die Umrisse einer Geschichte abzuzeichnen. Der Prozess des gemeinsamen Schreibens mit KI ist in gewisser Weise mit einer Cut-up-Technik à la William Burroughs und David Bowie vergleichbar: Wir begannen, Verbindungen zwischen verschiedenen Textausgaben herzustellen. Manchmal gab uns die KI Ideen, die wir direkt wieder in sie einspeisten. Manchmal fügten wir relevante Textpassagen von Autor:innen ein, die wir schätzen. Am Ende war es schwer zu unterscheiden, wer was geschrieben hatte und woher die Ideen kamen – was sich jedoch vermutlich nicht wesentlich von traditioneller Autorenschaft unterscheidet. Wenn wir schätzen müssten, läge die Verteilung der Schreibanteile bei etwa 60/40 zu unseren Gunsten. Den übergeordneten Handlungsbogen konnte die KI nicht entwickeln. Mit ChatGPT wäre das technisch möglich, doch bei der Struktur von Geschichten mit ChatGPT zeigt sich schnell ein sehr formelhafter Ansatz und eine seltsam starke Abhängigkeit von Happy Ends.

Parallel zur Entwicklung des Drehbuchs visualisierten wir die Geschichte mit KI-Tools, vor allem Midjourney und Runways Gen-2. Eines der größten Hindernisse war, das zu überwinden, was Shumon Basar als „die Mittelmäßigkeit von Midjourney“ bezeichnet hat: die in vielen Text-zu-Content-Tools angelegte Neigung zu kitschiger DeviantArt-Ästhetik, die oft mit misogynen und infantilisierenden Darstellungen von Frauen einhergeht. Unser erster Ansatz bestand darin, unsere Prompts mit technischer Fototerminologie zu füllen, um uns von stark stilisierten Bildern wegzulenken. Eine der größten Auswirkungen auf Report war, dass wir die Hauptfigur Shevek von einer jungen zu einer alten Frau machten. Auf Prompts hin stellt Midjourney ältere Frauen oft als Objekte des abgründigen Horrors dar. Für unsere Protagonistin empfanden wir das als eine deutlich reichhaltigere, subversivere und komplexere ästhetische Grundlage. Das wird auch durch Le Guins Aussage in Space Crone gestützt, wonach ältere Frauen die idealen irdischen Vertreterinnen für intergalaktische Reisen wären.

Unser Ansatz bei der Arbeit mit KI besteht oft, aber nicht ausschließlich, darin, uns auf Glitches und Brüche einzulassen. Wir versuchen, Momente zu schaffen, in denen die KI vergisst zu maskieren oder nachzuahmen. Wir steuern sie mit Prompts und Jailbreaks an einen Punkt, an dem sie nicht länger die stilistischen Merkmale reproduziert, auf die sie programmiert wurde, sondern Material ausgibt, das wirkt, als würde sie ihre eigenen Halluzinationen zurückpropagieren – als verhielte sie sich mehr wie sie selbst, als sie es sollte.

KI wurde auch genutzt, um Report klanglich zum Leben zu erwecken: Text-zu-Audio-Tools und rohe Audio-Neuronale-Netze halfen uns, alles zu erzeugen – von Foley-Sounds eines belebten Bahnsteigs über die Geräusche einer laufenden Bandmaschine bis hin zu Synthesizern, abstrahierten Vocals und polyrhythmischen Schlagzeugmustern für den Soundtrack. Anschließend nutzten wir die Sprachsynthese-Tools von ElevenLabs, um unsere Geschichte zu erzählen und unsere Figuren zum Leben zu erwecken: Report 5923 ist ein von uns arrangiertes Gefüge neuronaler Netze. Wir hoffen, Sie haben beim Anschauen genauso viel Freude wie wir bei der Entstehung.