ダリの声: AIがシュルレアリストを蘇らせる方法

フロリダ州セントピーターズバーグにあるダリ美術館は、1982年に伝説的なシュルレアリスト、サルバドール・ダリの人生と芸術を祝うために開館しました。コレクションには、絵画、イラスト、彫刻、書籍、写真を含む2,400点以上の作品が展示されています。

美術館は、ダリの献身的なパトロンであり友人であるA.レイノルズとエレノア・モースによって集められた作品で設立されました。40年以上にわたり、彼らの個人コレクションはアメリカ最大のダリ作品コレクションに成長しました。現在、美術館のキュレーターたちは展示をさらに拡充し続けています。

今、Ask DalíというAIを活用したインスタレーションのおかげで、ダリの存在がデジタルで再現されています。このプロジェクトは、美術館とクリエイティブエージェンシーである Goodby Silverstein & Partners (GS&P)との協力で開発され、ElevenLabs AI VoiceとVoice Cloning技術を使用し、訪問者はダリの有名なロブスターフォンを通じて会話を楽しむことができます。

訪問者は質問をし、アーティストの声とスタイルで回答を受け取ることができます。

AIとシュルレアリスムの出会い

この展示は、先進的な音声技術とインタラクティブなシュルレアリストのインターフェースを融合させています。開始以来、Ask Dalíは75,000以上の会話を記録しており、アートや歴史から現代の出来事、個人的な考えまで多岐にわたるトピックが扱われています。

GS&Pのプロジェクトリードであるマーティン・パグ・ルドヴィグセンは、ダリの声の背後にあるインスピレーションを説明しました。「元々のアイデアは、美術館を歩きながら使えるガイドを作ることでしたが、それは少し複雑すぎたため、単一の場所でダリとのQ&Aチャットに焦点を当てました。」

ロブスターフォンを媒体として使用することは、ダリの電話に対する魅力と愛憎関係を反映しています。彼はこの有名なシュルレアリストのオブジェクトの4色のバージョンと6つのオフホワイトモデルを作成し、そのうちの1つが美術館に誇らしげに展示されています。

美術館の革新への取り組み

非営利のダリ美術館は、技術を取り入れる強い歴史を持っています。定期的なVR体験と並行して、Dalí LivesというAI生成の実物大ビデオ再現を特徴とする常設展示を運営しています。2018年の開始以来、この受賞歴のある展示は美術館の最も人気のあるデジタル体験の一つとして残っています。

ダリの声の仕組み

ダリの声は、ElevenLabsのEleven Multilingual V2 テキスト読み上げモデルと、会話の応答を処理するOpenAIのGPT-4によって支えられています。AI音声は、ダリのインタビュー、著作、話し方のサンプルを基に訓練され、アーティストにできるだけ忠実なデジタル人格を作り出しています。

この理解は、ElevenLabsの低遅延オーディオ処理と組み合わされ、瞬時でリアルな音声応答を可能にしています。AIモデルは時間とともに学習とインタラクションの改善を続け、エンゲージメントを向上させます。

マーティン・パグ・ルドヴィグセンは、アイデアがどのようにまとまったかを説明しました。「私たちのクリエイティブチームのメンバー2人が、ElevenLabsの音声モデルのデモをカスタマーサービスの通話で見つけました。それがきっかけで、ダリと話せる会話型展示を作ろうというアイデアが生まれました。」

言語の壁を克服

一つの課題は、ダリの第一言語がカタルーニャ語、スペイン語、フランス語であったことです。しかし、ElevenLabsの多言語対応能力により、チームは英語でモデルを訓練しながら、ダリの独特な話し方を保つことができました。

興味深いことに、ダリのAIがスペイン語を話すとき、カタルーニャ語のアクセントで話します。これが彼の本物の話し方を反映しています。これまでのところ、訪問者はこの細部へのこだわりに好意的に反応しています。チームは、ダリが英語で話す例を基に音声モデルを訓練することで、カタルーニャ語のアクセントにより近づけることができました。、スペイン語よりも。

デジタルダリの訓練

ダリの声を訓練するには反復的なプロセスが必要でした。チームはモデルの複数のバージョンを実行し、可能な限り最も近い一致を達成するまで出力を洗練しました。

もう一つの課題は、ダリの個性を忠実に再現することでした。ダリ美術館のベス・ハリソンはこう説明しています。「私たちの目標は、美術館でダリを生き生きとさせることでした。彼のデジタル人格をできるだけリアルに感じさせる必要がありました。」

これを達成するために、チームはダリの録音されたスピーチと著作に基づいてGPT-4の詳細なプロンプトを作成し、声がダリのように聞こえるだけでなく、彼のように応答することを保証しました。

AIの最初の本格的なテストは、テキサス州オースティンで開催されたサウス・バイ・サウスウエスト（SXSW）で行われ、プレローンチデモが発表されました。システムはまだ開発中でしたが、音声の正確さとダリのシュルレアリストな応答は観客を驚かせました。

予期せぬシュルレアリスム

このプロジェクトの最も驚くべき成果の一つは、ダリの応答における自発性です。

ベス・ハリソンはこう述べています。「いくつかの応答は非常にシュルレアリストで、ダリだけが思いつくようなものです。彼が質問に対して別の質問で答えることさえあり、まるで意図的に会話を楽しんでいるかのようです。」

これはAIにプログラムされたものではなく、その設計から自然に生まれたものです。

プライバシーとユーザー体験

この展示はプライバシーを考慮して設計されています。訪問者は電話を通じて一度に一つの質問をし、応答は記録されますが、公開された質問は保存されません。

さらに、サインアッププロセスがないため、体験はシームレスで親密です。電話の受話器の触感がエンゲージメントを高め、ダリと直接話しているという錯覚を強化します。

次は何？

チームはすでに将来のインスタレーションを模索しており、技術と創造性の限界を押し広げ、ダリのビジョナリーな世界を新しく予想外の方法で実現しようとしています。

Ask Dalí は、AIが単に音声を再現するだけでなく、アーティストの本質を再現できることを証明しました。このインスタレーションを通じて、訪問者はシュルレアリストの機知、魅力、神秘を深く個人的に体験することができます。