ElevenLabsとY7がタッグを組み、SF映画を制作

Y7とのコラボレーションによる、ユニークな1時間のSF映画「Report 5923」をお届けできることをうれしく思います。以下では、制作に携わったY7のアーティストが、その体験について語ります。音、音響戦、そしてウイルスとしてのオーディオをテーマに、哲学的・理論的な要素を織り込んだ作品です。ElevenLabsは、このプロジェクトにおいてアートとAIの融合を支援しました。Y7のクリエイティブプロセスと、「Report 5923」をどのように形にしたのかを、以下でご覧ください。

Report 5923 は、多様なAIツールと手法を駆使して大部分を制作した、1時間のSF映画です。主人公のシェヴェックが、民族誌的なレポートらしきものをまとめながら、3つの惑星を旅する物語を描いています。音、音響戦、ウイルスとしてのオーディオが繰り返し登場するテーマであり、より広い視点ではワールドビルディングやテクノ楽観主義の概念を扱っています。本作では、私たちが愛読してきた哲学・理論作品、特にジル・ドゥルーズとフェリックス・ガタリの思想を取り入れようと試みました。

本作はまず、FACTで制作途中の作品として発表されました。FACTはイギリス・リバプールのギャラリー兼映画館で、アーティスト、研究者、キュレーターを支援するために開催された2023年6月の2日間のワークショップの最終日に、作品発表を依頼されました。「Turning Together」と題されたこのプログラムは、思弁小説作家アーシュラ・K・ル＝グウィンが提唱した、聴くことや互いに関係を築くことに根ざしたコミュニケーションのあり方としての「母語」への理解に由来しています。上映後、ElevenLabsが「Report 」および私たちのより広範な活動におけるツール活用を知ったことをきっかけに、映画完成に向けた資金提供をすぐに受けることができました。 

FACTによるル＝グウィンへの言及を受け、AIと共同で脚本を書くことを目指し、彼女の小説「The Dispossessed 」を使ってOpenAI GPT-3.5モデルを微調整することにしました。微調整はChatGPTとの対話とは異なります。微調整では、モデルがすでに学習している一般的な言語知識に加えて、新しいデータセットに特化できるようにします。トレーニング後のモデルは、データセットのスタイルで新しいテキストを生成できます。また、「temperature」というパラメーターで、元のデータセットにどの程度忠実にするかを調整できます。temperatureが低いほど、テキスト出力はより断片的でランダムになり、高いほど、データセットの抜粋をそのまま繰り返す可能性が高くなります。大切なのは、その中間を見つけることです。微調整済みモデルは、いわば「ル＝グウィンらしさの抽出物」だと考えてください。この意味で、これは新しい形のファンフィクションです。私たちは共同で、「アーシュラ・K・ル＝グウィン」という名詞を動詞に変えました。今では絵を描いたり、彫刻したり、歌ったりするのと同じように、「ル＝グウィンする」ことができます。 

こうして異なるtemperatureを試すうちに、物語の輪郭が見え始めました。AIとの共同執筆は、ウィリアム・バロウズからデヴィッド・ボウイへとつながるカットアップ技法にいくぶん似ています。異なるテキスト出力の断片同士をつなぎ始め、AIが私たちにひらめきを与えれば、それをすぐにAIへ返すこともありました。また、愛読する作家たちの関連する文章を入力することもありました。最終的には、誰が何を書いたのか、アイデアがどこから生まれたのかを区別するのが難しくなりました。もっとも、これは従来の著作活動ともそれほど変わらないかもしれません。あえて見積もるなら、執筆クレジットは私たちが60、AIが40ほどです。物語全体のアークは、AIには生み出せませんでした。技術的にはChatGPTでも可能でしょうが、ChatGPTでストーリー構成を作り込むと、すぐに非常に定型的で、妙にハッピーエンドに頼りすぎていることがわかります。 

脚本の開発と並行して、AIツール（主にMidjourneyとRunwayのGen-2）による物語のビジュアル化も進めました。大きな障害のひとつは、シュモン・バサールが「Midjourneyの中庸さ」と呼んだものに抗うことでした。多くのテキストからコンテンツを生成するツールに見られる、キッチュなDeviantArt風の美学への内在的な傾向です。そこにはしばしば、女性を女性蔑視的かつ幼児化して描く表現も伴います。まず、プロンプトに技術的な写真用語を多く盛り込み、過度に様式化されたイメージを避けました。これが「Report 」に与えた大きな影響のひとつは、主人公シェヴェックを若い女性から老いた女性へ変更したことです。Midjourneyは、年配の女性をプロンプトに含めると、しばしば忌まわしい恐怖の対象として描きます。私たちはそれを、主人公にとってより豊かで、破壊的かつ複雑な美学の土台だと感じました。ル＝グウィンも「Space Crone 」で、年配の女性こそが銀河間旅行における理想的な地球の代表者になると述べています。 

AIを扱う際の私たちの方針は、多くの場合（ただし常にではありません）、グリッチや破綻をあえて受け入れることです。AIが覆い隠したり模倣したりするのを忘れる瞬間を作り出し、操作、プロンプト、ジェイルブレイクによって、プログラムされたスタイルの型を繰り返すのをやめ、自らの幻覚を逆伝播しているように感じられる素材を出力し始める場所へ導こうとします。AIが本来そうあるべき姿よりも、よりAI自身らしく振る舞う状態です。

AIはさらに、「Report 」に音の面でも命を吹き込むために活用されました。テキストからオーディオを生成するツールや生のオーディオニューラルネットワークにより、混雑した駅のホームのフォーリーから、再生中のテープマシンの音、さらにはサウンドトラック用のシンセ、抽象化されたボーカル、ポリリズミックなドラムパターンまで、さまざまな音を生み出しました。その後、ElevenLabsの音声合成ツールで物語をナレーションし、キャラクターに命を吹き込みました。「Report 5923 」は、私たちが構成したニューラルネットワークの集合体です。私たちが制作を楽しんだのと同じくらい、楽しんで観ていただけたら幸いです。