Dalís Stimme: Wie KI den Surrealisten wieder zum Leben erweckt

Das Dalí Museum in St. Petersburg, Florida, wurde 1982 eröffnet, um das Leben und die Kunst des legendären Surrealisten Salvador Dalí zu feiern. Die Sammlung umfasst über 2.400 Stücke, darunter Gemälde, Illustrationen, Skulpturen, Bücher und Fotografien.

Das Museum wurde mit Werken gegründet, die von A. Reynolds und Eleanor Morse, engagierten Förderern und Freunden Dalís, gesammelt wurden. Über 40 Jahre hinweg wuchs ihre private Sammlung zur größten seiner Werke in den USA. Heute erweitern die Kuratoren des Museums weiterhin die Ausstellungen.

Dank einer KI-gestützten Installation namens Ask Dalí wurde die Präsenz des Künstlers digital nachgebildet. Das Projekt — entwickelt in Zusammenarbeit mit dem Museum und der Kreativagentur  Goodby Silverstein & Partners (GS&P) — nutzt ElevenLabs AI Voice und Voice Cloning Technologie, die es den Besuchern ermöglicht, über eine Nachbildung seines berühmten Hummertelefons mit Dalí zu sprechen.

Besucher können Fragen stellen und Antworten in der Stimme und im Stil des Künstlers erhalten.

KI trifft auf Surrealismus

Die Ausstellung verbindet fortschrittliche Sprachtechnologie mit einer interaktiven, surrealistischen Schnittstelle. Seit dem Start hat Ask Dalí über 75.000 Gespräche aufgezeichnet, mit Themen von Kunst und Geschichte bis hin zu aktuellen Ereignissen und persönlichen Gedanken.

Martin Pagh Ludvigsen, Projektleiter bei GS&P, erklärte die Inspiration hinter Dalís Stimme: „Die ursprüngliche Idee war, einen Führer zu schaffen, den die Leute beim Rundgang durch das Museum nutzen könnten. Das erwies sich als etwas zu kompliziert, also konzentrierten wir uns auf einen Q&A-Chat mit Dalí an einem einzigen Ort.“

Die Verwendung des Hummertelefons als Medium spiegelt Dalís Faszination — und Hassliebe — zu Telefonen wider. Er schuf vier Farbversionen und sechs cremefarbene Modelle des berühmten surrealistischen Objekts, von denen eines stolz im Museum ausgestellt ist.

Das Engagement des Museums für Innovation

Das gemeinnützige Dalí Museum hat eine starke Tradition, Technologie zu nutzen. Neben regelmäßigen VR-Erlebnissen betreibt es Dalí Lives, eine Dauerausstellung mit einer KI-generierten, lebensgroßen Videorekreation des Künstlers. Seit seiner Eröffnung im Jahr 2018 ist diese preisgekrönte Ausstellung eine der beliebtesten digitalen Erfahrungen des Museums.

Wie Dalís Stimme funktioniert

Dalís Stimme wird von ElevenLabs’ Eleven Multilingual V2 Text-to-Speech-Modell angetrieben, zusammen mit OpenAI’s GPT-4, das die Gesprächsantworten steuert. Die KI-Stimme wurde anhand von Proben aus Dalís Interviews, Schriften und Sprachmustern trainiert, um eine digitale Persona zu schaffen, die dem Künstler so nahe wie möglich kommt.

Dieses Verständnis wird mit ElevenLabs’ Audioverarbeitung mit niedriger Latenz kombiniert, die sofortige, realistische Sprachantworten ermöglicht. Die KI-Modelle lernen und verfeinern die Interaktionen im Laufe der Zeit weiter, um das Engagement zu verbessern.

Martin Pagh Ludvigsen beschrieb, wie die Idee entstand: „Zwei unserer Kreativteammitglieder stießen auf eine Demo des ElevenLabs-Sprachmodells in einem Kundendienstgespräch. Das brachte uns auf die Idee — warum nicht eine interaktive Ausstellung schaffen, bei der die Leute mit Dalí sprechen können?“

Überwindung von Sprachbarrieren

Eine Herausforderung war, dass Dalís erste Sprachen Katalanisch, Spanisch und Französisch waren. Dank der mehrsprachigen Fähigkeiten von ElevenLabs konnte das Team das Modell auf Englisch trainieren und dabei Dalís charakteristische Sprachmuster bewahren.

Interessanterweise spricht Dalís KI Spanisch mit einem katalanischen Akzent, was seinen authentischen Sprachstil widerspiegelt. Bisher haben die Besucher positiv auf diese Detailgenauigkeit reagiert. Das Team stellte fest, dass sie dem katalanischen Akzent näher kamen, als sie das Sprachmodell anhand von Beispielen trainierten, in denen Dalí Englisch sprach,  anstatt Spanisch.

Training des digitalen Dalí

Das Training von Dalís Stimme erforderte einen iterativen Prozess. Das Team führte mehrere Versionen des Modells durch und verfeinerte die Ausgabe, bis sie die bestmögliche Übereinstimmung erreichten.

Eine weitere Herausforderung bestand darin, sicherzustellen, dass Dalís Persönlichkeit getreu nachgebildet wurde. Wie Beth Harrison vom Dalí Museum erklärte: „Unser Ziel war es, Dalí in seinem Museum zum Leben zu erwecken. Wir brauchten, dass seine digitale Persona so real wie möglich wirkt.“

Um dies zu erreichen, erstellte das Team eine detaillierte Eingabeaufforderung für GPT-4 basierend auf Dalís aufgezeichneter Sprache und Schriften, um sicherzustellen, dass die Stimme nicht nur wie Dalí klang, sondern auch wie er reagierte.

Der erste echte Test der KI fand auf der South by Southwest (SXSW) in Austin, Texas, statt, wo eine Vorab-Demo präsentiert wurde. Obwohl das System noch in der Entwicklung war, beeindruckten die Sprachgenauigkeit und Dalís surrealistische Antworten das Publikum.

Unerwarteter Surrealismus

Eines der überraschendsten Ergebnisse des Projekts war die Spontaneität in Dalís Antworten.

Beth Harrison teilte mit: „Einige Antworten sind so surreal, dass nur Dalí sie hätte erfinden können. Wir haben sogar gesehen, wie er eine Frage mit einer anderen Frage beantwortet — fast so, als ob er absichtlich ein Gespräch führt.“

Dies wurde nicht in die KI programmiert, sondern entstand natürlich aus ihrem Design.

Datenschutz und Benutzererfahrung

Die Ausstellung ist mit Blick auf den Datenschutz gestaltet. Besucher stellen ihre Fragen nacheinander über das Telefon, und während die Antworten aufgezeichnet werden, werden öffentliche Fragen nicht gespeichert.

Außerdem gibt es keinen Anmeldeprozess, was das Erlebnis nahtlos und intim macht. Das taktile Gefühl des Telefonhörers verstärkt das Engagement und verstärkt die Illusion, direkt mit Dalí zu sprechen.

Was kommt als Nächstes?

Das Team erkundet bereits zukünftige Installationen, um die Grenzen von Technologie und Kreativität zu erweitern und Dalís visionäre Welt auf neue und unerwartete Weise zum Leben zu erwecken.

Ask Dalí  hat bewiesen, dass KI mehr kann als nur Sprache zu replizieren — sie kann das Wesen eines Künstlers nachbilden. Durch diese Installation können Besucher den Witz, den Charme und das Geheimnis des Surrealisten auf eine zutiefst persönliche Weise erleben.