La Voz de Dalí: Cómo la IA está Trayendo de Vuelta al Surrealista

El Museo Dalí en St. Petersburg, Florida, abrió en 1982 para celebrar la vida y obra del legendario surrealista Salvador Dalí. La colección cuenta con más de 2,400 piezas, incluyendo pinturas, ilustraciones, esculturas, libros y fotografías.

El Museo fue fundado con obras recopiladas por A. Reynolds y Eleanor Morse, devotos mecenas y amigos de Dalí. Durante más de 40 años, su colección privada se convirtió en la más grande de sus obras en EE.UU. Hoy en día, los curadores del Museo continúan ampliando sus exposiciones.

Ahora, gracias a una instalación impulsada por IA llamada Pregunta a Dalí, la presencia del artista ha sido recreada digitalmente. El proyecto — desarrollado en colaboración con el Museo y la agencia creativa  Goodby Silverstein & Partners (GS&P) — utiliza ElevenLabs AI Voice y tecnología Voice Cloning, permitiendo a los visitantes conversar con Dalí a través de una reproducción de su famoso teléfono langosta.

Los visitantes pueden hacer preguntas y recibir respuestas en la voz y estilo del artista.

La IA se Encuentra con el Surrealismo

La exposición combina tecnología de voz avanzada con una interfaz interactiva y surrealista. Desde su lanzamiento, Pregunta a Dalí ha registrado más de 75,000 conversaciones, con temas que van desde el arte y la historia hasta eventos contemporáneos y reflexiones personales.

Martin Pagh Ludvigsen, líder del proyecto en GS&P, explicó la inspiración detrás de la Voz de Dalí: “La idea original era crear una guía que la gente pudiera usar mientras recorría el museo. Eso resultó ser un poco complicado, así que nos centramos en un chat de preguntas y respuestas con Dalí en un solo lugar.”

Usar el teléfono langosta como medio refleja la fascinación — y relación de amor-odio — de Dalí con los teléfonos. Creó cuatro versiones de color y seis modelos en blanco del famoso objeto surrealista, uno de los cuales se exhibe con orgullo en el Museo.

El Compromiso del Museo con la Innovación

El Museo Dalí, sin fines de lucro, tiene una sólida historia de adopción de tecnología. Junto con experiencias regulares de RV, lleva a cabo Dalí Lives, una exposición permanente que presenta una recreación en video a tamaño real del artista generada por IA. Desde su lanzamiento en 2018, esta exposición galardonada ha sido una de las experiencias digitales más populares del Museo.

Cómo Funciona la Voz de Dalí

La Voz de Dalí está impulsada por el modelo de text-to-speech Eleven Multilingual V2 de ElevenLabs, junto con GPT-4 de OpenAI, que maneja las respuestas conversacionales. La voz IA fue entrenada con muestras de entrevistas, escritos y patrones de habla de Dalí para crear una personalidad digital lo más fiel posible al artista.Eleven Multilingual V2 text-to-speech model, alongside OpenAI’s GPT-4, which handles conversational responses. The AI voice was trained on samples from Dalí’s interviews, writings, and speech patterns to create a digital persona as true to the artist as possible. 

Este entendimiento se combina con el procesamiento de audio de baja latencia de ElevenLabs, permitiendo respuestas de voz instantáneas y realistas. Los modelos de IA continúan aprendiendo y refinando las interacciones con el tiempo, mejorando la interacción.

Martin Pagh Ludvigsen describió cómo se unió la idea: “Dos de los miembros de nuestro equipo creativo se encontraron con un demo del modelo de voz de ElevenLabs en una llamada de servicio al cliente. Eso inspiró una idea — ¿por qué no crear una exposición conversacional donde la gente pudiera hablar con Dalí?”

Superando Barreras de Idioma

Un desafío fue que los primeros idiomas de Dalí eran el catalán, español y francés. Sin embargo, las capacidades multilingües de ElevenLabs permitieron al equipo entrenar el modelo en inglés mientras preservaban los distintivos patrones de habla de Dalí.

Curiosamente, cuando la IA de Dalí habla español, lo hace con acento catalán, reflejando su estilo de habla auténtico. Hasta ahora, los visitantes han respondido positivamente a esta atención al detalle. El equipo descubrió que podían acercarse más al acento catalán al entrenar el modelo de voz con ejemplos de Dalí hablando en inglés, en lugar de español.

Entrenando al Dalí Digital

Entrenar la voz de Dalí requirió un proceso iterativo. El equipo ejecutó múltiples versiones del modelo, refinando el resultado hasta lograr la coincidencia más cercana posible.

Otro desafío fue asegurar que la personalidad de Dalí fuera recreada fielmente. Como explicó Beth Harrison del Museo Dalí: “Nuestro objetivo era dar vida a Dalí en su Museo. Necesitábamos que su personalidad digital se sintiera lo más real posible.”

Para lograr esto, el equipo elaboró un prompt detallado para GPT-4 basado en el habla y escritos grabados de Dalí, asegurándose de que la voz no solo sonara como Dalí, sino que también respondiera como él.

La primera prueba real de la IA fue en South by Southwest (SXSW) en Austin, Texas, donde se presentó un demo previo al lanzamiento. Aunque el sistema aún estaba en desarrollo, la precisión de la voz y las respuestas surrealistas de Dalí impresionaron al público.

Surrealismo Inesperado

Uno de los resultados más sorprendentes del proyecto ha sido la espontaneidad en las respuestas de Dalí.

Beth Harrison compartió: “Algunas respuestas son tan surrealistas que solo Dalí podría haberlas ideado. Incluso lo hemos visto responder a una pregunta con otra pregunta — casi como si estuviera deliberadamente participando en la conversación.”

Esto no fue programado en la IA, sino que surgió naturalmente de su diseño.

Privacidad y Experiencia del Usuario

La exposición está diseñada teniendo en cuenta la privacidad. Los visitantes hacen preguntas a través del teléfono una a la vez, y aunque las respuestas se graban, las preguntas públicas no se almacenan.

Además, no hay un proceso de registro, lo que hace que la experiencia sea fluida e íntima. La sensación táctil del auricular del teléfono mejora la interacción, reforzando la ilusión de hablar directamente con Dalí.

¿Qué Sigue?

El equipo ya está explorando futuras instalaciones, empujando los límites de la tecnología y la creatividad para traer el mundo visionario de Dalí a la vida de maneras nuevas e inesperadas.

Pregunta a Dalí ha demostrado que la IA puede hacer más que replicar el habla — puede recrear la esencia de un artista. A través de esta instalación, los visitantes pueden experimentar el ingenio, el encanto y el misterio del surrealista de una manera profundamente personal.