달리의 목소리: AI가 초현실주의 거장을 다시 불러오다

플로리다 세인트피터즈버그에 위치한 달리 미술관은 1982년에 전설적인 초현실주의 화가 살바도르 달리의 삶과 예술을 기념하기 위해 문을 열었습니다. 이 컬렉션에는 그림, 일러스트, 조각, 책, 사진 등 2,400점이 넘는 작품이 전시되어 있습니다.

미술관은 달리의 열정적인 후원자이자 친구였던 A. 레이놀즈와 엘리너 모스 부부가 수집한 작품들로 설립되었습니다. 40년 넘게 이들의 개인 컬렉션은 미국 내 최대 규모의 달리 작품 모음으로 성장했고, 현재도 미술관 큐레이터들이 전시를 계속 확장하고 있습니다.

이제 AI 기반 설치 작품인 달리에게 질문하기 덕분에 예술가의 존재가 디지털로 재현되었습니다. 이 프로젝트는 미술관과 크리에이티브  에이전시 굿바이 실버스틴 & 파트너스(GS&P)와 협력해 개발되었으며, ElevenLabs AI 음성 및 음성 복제 기술을 활용해 방문객들이 달리의 유명한 랍스터 전화기를 통해 그와 대화할 수 있도록 했습니다.

방문객들은 예술가의 목소리와 스타일로 질문을 하고 답변을 들을 수 있습니다.

AI와 초현실주의의 만남

이 전시는 첨단 음성 기술과 인터랙티브한 초현실주의 인터페이스를 결합했습니다. 출시 이후 달리에게 질문하기에서는 예술, 역사부터 현대 이슈, 개인적인 생각까지 다양한 주제로 7만 5천 건이 넘는 대화가 이루어졌습니다.

GS&P의 프로젝트 리드 마틴 파그 루드비그센은 달리의 목소리 프로젝트의 영감을 이렇게 설명했습니다. “원래는 사람들이 미술관을 둘러보며 사용할 수 있는 가이드를 만들고자 했어요. 하지만 너무 복잡해져서, 한 장소에서 달리와 Q&A 채팅을 할 수 있도록 집중하게 됐죠.”

매체로 랍스터 전화를 사용한 것은 달리가 전화기에 대해 갖고 있던 흥미와 애증을 반영합니다. 그는 이 유명한 초현실주의 오브제를 네 가지 색상과 여섯 개의 오프 화이트 모델로 제작했으며, 그 중 하나가 미술관에 자랑스럽게 전시되어 있습니다.

미술관의 혁신에 대한 노력

비영리 기관인 달리 미술관은 기술을 적극적으로 도입해왔습니다. 정기적인 VR 체험과 함께 달리 라이브즈라는 AI로 생성된 실물 크기 비디오로 예술가를 재현한 상설 전시도 운영 중입니다. 2018년 시작된 이 수상 경력의 전시는 미술관에서 가장 인기 있는 디지털 체험 중 하나로 자리 잡았습니다.

달리의 목소리는 어떻게 작동할까

달리의 목소리는 ElevenLabs의 Eleven Multilingual V2 텍스트 음성 변환 모델과 OpenAI의 GPT-4가 결합되어 대화형 답변을 제공합니다. AI 음성은 달리의 인터뷰, 저작, 말투 샘플을 학습해 예술가와 최대한 비슷한 디지털 페르소나를 만들었습니다.

이러한 이해력은 ElevenLabs의 저지연 오디오 처리와 결합되어 즉각적이고 자연스러운 음성 응답을 가능하게 합니다. AI 모델은 시간이 지날수록 계속 학습하고 상호작용을 개선해 몰입감을 높입니다.

마틴 파그 루드비그센은 아이디어가 어떻게 탄생했는지 설명했습니다. “우리 크리에이티브 팀 두 명이 고객센터 통화에서 ElevenLabs 음성 모델 데모를 접했어요. 그때 아이디어가 떠올랐죠. ‘사람들이 달리와 대화할 수 있는 전시를 만들면 어떨까?’”

언어 장벽 극복하기

한 가지 어려움은 달리의 모국어가 카탈루냐어, 스페인어, 프랑스어였다는 점이었습니다. 하지만 ElevenLabs의 다국어 기능 덕분에 팀은 영어로 모델을 학습시키면서도 달리 특유의 말투를 살릴 수 있었습니다.

흥미롭게도, 달리의 AI가 스페인어로 말할 때 카탈루냐 억양이 드러나 실제 말투를 잘 반영합니다. 지금까지 방문객들은 이런 세심한 디테일에 긍정적으로 반응했습니다. 팀은 달리가 영어로 말하는 예시로 음성 모델을 학습시켰을 때 카탈루냐 억양을 더 잘 구현할 수 있었다고 밝혔습니다 ,  스페인어로 학습시켰을 때보다.

디지털 달리 훈련시키기

달리의 목소리를 훈련시키는 데는 반복적인 과정이 필요했습니다. 팀은 여러 버전의 모델을 실행하며 결과물을 다듬어 가장 비슷한 목소리를 구현할 때까지 개선했습니다.

또 다른 과제는 달리의 개성을 충실히 재현하는 것이었습니다. 달리 미술관의 베스 해리슨은 “우리의 목표는 미술관에서 달리를 다시 살아나게 하는 것이었습니다. 디지털 페르소나가 실제처럼 느껴져야 했죠.”라고 설명했습니다.

이를 위해 팀은 달리의 녹음된 음성과 저작을 바탕으로 GPT-4에 사용할 상세 프롬프트를 만들어, 목소리뿐 아니라 답변도 달리답게 하도록 했습니다.

AI의 첫 실전 테스트는 텍사스 오스틴의 사우스 바이 사우스웨스트(SXSW)에서 진행된 사전 공개 데모에서 이뤄졌습니다. 시스템이 아직 개발 중이었음에도 목소리의 정확성과 달리다운 초현실적인 답변이 관객들에게 깊은 인상을 남겼습니다.

예상치 못한 초현실주의

이 프로젝트에서 가장 놀라운 결과 중 하나는 달리의 답변에서 드러나는 즉흥성이었습니다.

베스 해리슨은 “어떤 답변은 너무 초현실적이라 달리만이 할 수 있을 것 같아요. 심지어 질문에 또 다른 질문으로 답하는 경우도 있었죠. 마치 일부러 대화를 이어가는 것처럼요.”라고 전했습니다.

이런 부분은 AI에 따로 프로그래밍된 것이 아니라 설계 과정에서 자연스럽게 나타난 결과입니다.

개인정보 보호와 사용자 경험

이 전시는 개인정보 보호를 고려해 설계되었습니다. 방문객들은 한 번에 한 명씩 전화기를 통해 질문하고, 답변은 녹음되지만 공개된 질문은 저장되지 않습니다.

또한 별도의 회원가입 절차가 없어 더욱 자연스럽고 친밀한 경험을 제공합니다. 전화기 수화기를 직접 들고 대화하는 촉감이 몰입감을 높여, 달리와 직접 대화하는 듯한 착각을 줍니다.

앞으로의 계획

팀은 이미 미래의 새로운 설치 작품을 구상 중입니다. 기술과 창의성의 한계를 뛰어넘어 달리의 독창적인 세계를 더욱 새롭고 예상치 못한 방식으로 선보일 예정입니다.

달리에게 질문하기  는 AI가 단순히 목소리를 복제하는 것을 넘어 예술가의 본질까지 재현할 수 있음을 보여주었습니다. 이 설치 작품을 통해 방문객들은 초현실주의자의 재치와 매력, 신비로움을 더욱 깊이 있게 경험할 수 있습니다.