ElevenLabs AI 음성, 살바도르 달리의 목소리를 초현실적으로 되살리다

살바도르 달리는 1989년에 세상을 떠났지만, 그가 세상을 떠난 지 30여 년이 지난 지금도 전화를 걸어 삶과 우주, 그리고 코끼리의 꿈에 대해 이야기할 수 있습니다.

이번 주, 달리 미술관은 플로리다주 세인트피터즈버그에서 미국 내 누구나 772-ASK-DALI로 전화해 재현된 작가의 목소리와 실시간으로 대화할 수 있는 AI 기반 경험인 "Dial Dalí"를 선보였습니다. 통화는 Twilio를 통해 관리됩니다.

크리에이티브 에이전시 Goodby Silverstein & Partners(GS&P)와 협업해 개발한 이 프로젝트는 ElevenLabs의 첨단 음성 기술로 달리 특유의 목소리를 재현합니다.

딥페이크나 정적인 음성 녹음과 달리, 이 AI 경험은 역동적인 양방향 대화를 지원합니다. 전화를 건 사람은 달리에게 뜨거운 실존적 질문을 던지고, 작가 본인의 목소리와 놀라울 만큼 닮은 음성으로 AI가 생성한 답변을 들을 수 있습니다.

예술에 관해 물어보세요. 시간, 꿈, 바닷가재, 좋아하는 음식도 좋습니다. 아니면 그저 생일을 축하한다고 말해 보세요. AI 달리는 그의 모든 글과 연설을 학습했습니다. 달리만의 방식으로 이야기해 드립니다.

달리의 목소리는 달리 미술관 전시에서만 이용할 수 있지만, ElevenReader 앱에서는 마야 안젤루, 버트 레이놀즈, 로런스 올리비에, 제리 가르시아, 주디 갈런드를 비롯한 다른 상징적인 목소리를 경험할 수 있습니다.

Dial Dalí가 만들어진 과정

GS&P 팀은 달리의 아카이브 녹음과 인터뷰를 활용해 ElevenLabs의 독자적인 음성 복제 기술에 학습시켜 음성 모델을 만들었습니다. 누구나 ElevenLabs의 인스턴트 또는 프로페셔널 음성 복제 도구로 이를 할 수 있습니다. 다만 음성의 출처를 확인하므로 해당 목소리를 사용할 권리가 있어야 합니다.

ElevenLabs의 다국어 및 억양 보존 기능을 활용해 GS&P는 달리 특유의 톤과 리듬, 때때로 자연스럽게 스페인어와 영어를 오가는 방식까지 세심하게 재현했으며, 작가만의 화법을 놀라울 만큼 정확하게 담아냈습니다.

이 최신 경험은 ElevenLabs가 지원한 달리 미술관의 이전 설치 작품인 Ask Dalí를 기반으로 합니다. 해당 전시에서 미술관 방문객은 달리의 유명한 바닷가재 전화기 복제품을 들고 작가와 일대일 음성 대화를 나눌 수 있었습니다. 이 전시에서만 75,000건이 넘는 AI 기반 대화가 이루어졌으며, 모든 대화는 고유하고 대본 없이 실시간으로 진행됐습니다.

ElevenLabs의 기술은 이 프로젝트들의 핵심 역할을 합니다. 창작과 접근성 모두를 위한 사용 사례를 염두에 두고 설계된 ElevenLabs의 음성 AI 플랫폼은 풍부한 감정 표현, 높은 충실도, 자연스러운 억양을 갖춘 음성을 즉시 생성합니다. Dial Dalí 경험에서는 AI가 GPT-4와 통합되어, 달리의 페르소나로 단순히 말하는 것을 넘어 지능적이고 사람 같은 대화를 나눌 수 있습니다.

바닷가재 전화기

GS&P 공동 회장인 제프 굿비는 "달리의 바닷가재 전화기는 전화기가 언제나 초현실주의적 오브제였음을 보여줍니다. 이제 이를 문자 그대로 구현했습니다"라고 말했습니다. 달리의 기이함은 이 경험의 핵심입니다. 전화를 건 사람은 삶의 조언이나 현대 미술에 대한 생각, AI를 어떻게 생각하는지까지 물어볼 수 있습니다. 실시간으로 생성되는 답변은 초현실주의와 통찰, 재치가 어우러진 것으로, 달리가 생전에 알려졌던 모든 특징을 담고 있습니다.

이 프로젝트는 2024년 5월 11일, 달리의 120번째 생일이 되었을 날에 맞춰 시작됐으며 여름 내내 관객과 소통을 이어갈 예정입니다. 미국 어디에서나 이 번호로 연결할 수 있어, 전국의 관객에게 미술관 현장 경험의 일부를 선사합니다.

ElevenLabs에게 이 프로젝트는 더 큰 사명을 보여줍니다. 엔터테인먼트, 교육, 접근성, 문화유산 등 어떤 목적이든 AI로 인간의 목소리를 보존하고 확장하는 일입니다. 이 사례에서는 과거의 상징적인 목소리에 새 생명을 불어넣어 현재와 소통하게 하는 것이 핵심입니다.

작동하는 이유

자연스러운 음성 합성과 생성형 AI를 결합한 Dial Dalí 프로젝트는 AI와 예술을 둘러싼 논의에 특별한 무언가를 더합니다. 이는 단순히 AI가 무엇을 만들 수 있는지에 대한 이야기가 아니라, AI가 우리가 기억하고, 새롭게 상상하고, 다시 발견하도록 어떻게 도울 수 있는지에 관한 이야기입니다.

살바도르 달리는 한때 이렇게 말했습니다 . “중요한 것은 혼란을 없애는 것이 아니라 퍼뜨리는 것이다.” ElevenLabs는 그에게 다시 목소리를 부여함으로써, 가장 유쾌하게 초현실주의적인 방식으로 바로 그 일을 하고 있는지도 모릅니다.

GS&P 공동 창립자 제프 굿비는 “달리의 바닷가재 전화기는 전화기가 언제나 초현실주의적 오브제였음을 보여줍니다. 이제 이를 문자 그대로 구현했습니다. Dial Dalí를 통해 누구나 미래에 대해 여전히 할 말이 있는 과거의 목소리와 연결될 수 있습니다”라고 말했습니다.

달리 미술관 총괄 디렉터 행크 하인은 “달리는 새로운 현실을 상상했습니다. 전 세계가 그 상상력과 직접 대화하도록 초대하며 그의 생일을 기릴 수 있어 자랑스럽습니다. 이 경험에는 그의 정신과 유머, 시대를 초월한 호기심이 담겨 있습니다”라고 말했습니다.