ElevenLabs AI 음성, 살바도르 달리의 목소리를 초현실적으로 되살리다

살바도르 달리는 1989년에 세상을 떠났지만, 그가 떠난 지 30여 년이 지난 지금도 전화를 걸어 삶과 우주, 그리고 — 코끼리의 꿈에 관해 이야기할 수 있습니다.

이번 주, 달리 미술관은 미국 플로리다주 세인트피터즈버그에서 미국 내 누구나 772-ASK-DALI로 전화해 재현된 작가의 목소리와 실시간으로 대화할 수 있는 AI 기반 경험인 "Dial Dalí"를 선보였습니다. 통화는 Twilio를 통해 관리됩니다.

크리에이티브 에이전시 Goodby Silverstein & Partners(GS&P)와 협업해 개발한 이 프로젝트는 ElevenLabs의 고급 음성 기술을 활용해 달리 특유의 목소리를 재현합니다.

딥페이크나 정적인 음성 녹음과 달리, 이 AI 경험은 역동적인 양방향 대화를 지원합니다. 발신자는 달리에게 그토록 궁금했던 실존적 질문을 던지고, 작가 본인의 목소리와 놀랍도록 흡사한 음성으로 AI가 생성한 답변을 들을 수 있습니다.

예술에 관해 물어보세요. 시간도, 꿈도, 랍스터도, 좋아하는 음식도 좋습니다. 또는 պարզապես 생일 축하 인사를 건네세요. AI 달리는 그의 모든 글과 연설을 학습했습니다. 오직 달리만이 할 수 있는 방식으로 이야기해 줄 것입니다.

달리의 목소리는 달리 미술관 전시에서만 이용할 수 있지만, 상징적인 목소리를 ElevenReader 앱에서 만나볼 수 있습니다. 마야 안젤루, 버트 레이놀즈, 로런스 올리비에, 제리 가르시아, 주디 갈런드 등의 목소리가 포함됩니다.

Dial Dalí의 제작 과정

GS&P 팀은 달리의 아카이브 녹음과 인터뷰를 활용해 이를 ElevenLabs의 독자적인 음성 복제 기술에 입력하여 음성 모델을 만들었습니다. 누구나 ElevenLabs의 인스턴트 또는 프로페셔널 음성 복제 도구로 이를 할 수 있습니다. 단, 음성의 출처를 확인하므로 해당 목소리를 사용할 권리가 있어야 합니다.

ElevenLabs의 다국어 및 억양 보존 기능을 활용해 GS&P는 달리 특유의 어조와 리듬, 그리고 스페인어와 영어를 자연스럽게 오가는 순간까지 세심하게 재현했으며, 작가만의 고유한 말투를 놀랄 만큼 정확하게 담아냈습니다.

이 최신 경험은 ElevenLabs의 기술로 구현된 달리 미술관의 이전 설치 작품 Ask Dalí를 기반으로 합니다. 해당 전시에서 미술관 방문객은 달리의 유명한 랍스터 전화기 복제품을 들고 작가와 일대일 음성 대화를 나눌 수 있었습니다. 이 전시만으로도 75,000건이 넘는 AI 기반 대화가 이루어졌으며, 각각은 고유하고 대본 없이 실시간으로 제공되었습니다.

ElevenLabs의 기술은 이 프로젝트들에서 핵심적인 역할을 합니다. 창작과 접근성 모두를 위한 사용 사례에 맞춰 설계된 ElevenLabs의 음성 AI 플랫폼은 풍부한 감정 표현, 높은 충실도, 자연스러운 억양을 갖춘 즉각적인 음성 생성을 지원합니다. Dial Dalí 경험에서는 AI가 GPT-4와 통합되어, 음성이 단순히 말하는 것을 넘어 달리의 페르소나로 지능적이고 인간다운 대화를 나눌 수 있습니다.

랍스터 전화기

GS&P 공동 회장 제프 굿비는 "달리의 랍스터 전화기는 전화기가 언제나 초현실주의적 사물이었음을 보여줍니다. 이제 우리는 이를 문자 그대로 현실로 만들었습니다"라고 말했습니다. 달리의 기이함은 이 경험의 핵심입니다. 발신자는 그에게 인생 조언이나 현대 미술에 대한 생각, 심지어 AI에 대한 견해까지 물어볼 수 있습니다. 실시간으로 생성되는 답변은 초현실주의, 통찰, 재치가 어우러진 것입니다… 달리가 생전에 잘 알려졌던 모든 특징이 담겨 있습니다.

이 프로젝트는 2024년 5월 11일, 달리의 120번째 생일이 되었을 날에 맞춰 시작됐으며 여름 내내 관객의 참여를 이어가는 것을 목표로 합니다. 미국 어디에서나 이 번호로 전화할 수 있어, 전국의 사람들에게 미술관 현장 경험의 일부를 제공합니다.

ElevenLabs에게 이 프로젝트는 더 큰 사명을 보여줍니다. 엔터테인먼트, 교육, 접근성, 문화유산을 위해 AI로 인간의 목소리를 보존하고 확장하는 것입니다. 이 사례에서는 과거의 상징적인 목소리에 새 생명을 불어넣어, 그것이 현재와 상호작용하게 하는 일입니다.

이것이 효과적인 이유

자연스러운 음성 합성과 생성형 AI를 결합해 Dial Dalí 프로젝트는 AI와 예술을 둘러싼 대화에 특별한 무언가를 더합니다. 이는 단순히 AI가 무엇을 만들 수 있는지에 관한 이야기가 아니라, AI가 우리가 무엇을 기억하고, 새롭게 상상하며, 다시 발견하도록 도울 수 있는지에 관한 이야기입니다.

살바도르 달리는 한때 이렇게 말했습니다, “중요한 것은 혼란을 없애는 것이 아니라 퍼뜨리는 것이다.” ElevenLabs는 그에게 다시 목소리를 부여함으로써, 가장 유쾌하게 초현실주의적인 방식으로 바로 그 일을 하고 있는지도 모릅니다

GS&P 공동 창립자 제프 굿비는 “달리의 랍스터 전화기는 전화기가 언제나 초현실주의적 사물이었음을 보여줍니다. 이제 우리는 이를 문자 그대로 현실로 만들었습니다. Dial Dalí를 통해 누구나 미래에 관해 여전히 할 말이 있는 과거의 목소리와 연결될 수 있습니다”라고 말했습니다.

달리 미술관 총괄 디렉터 행크 하인은 “달리는 새로운 현실을 상상했습니다 — 그리고 전 세계가 그 상상력과 직접 대화할 수 있도록 초대함으로써 그의 생일을 기리게 되어 자랑스럽습니다. 이 경험은 그의 정신과 유머, 시대를 초월한 호기심을 담아냅니다”라고 말했습니다.