ElevenLabs와 Y7, SF 영화로 만나다

Y7와의 협업으로 탄생한 독특한 1시간짜리 SF 영화 Report 5923를 소개하게 되어 기쁩니다. 아래에서 Y7 아티스트들이 제작 경험을 직접 들려드립니다. 이들은 철학적·이론적 요소를 엮어 사운드, 음향 전쟁, 바이러스로서의 오디오라는 주제를 탐구합니다. ElevenLabs는 이 프로젝트에서 예술과 AI를 결합할 수 있도록 지원했습니다. Y7의 창작 과정과 Report 5923에 생명을 불어넣은 방식을 자세히 알아보세요.

Report 5923 는 다양한 AI 도구와 기법을 활용해 주로 제작한 1시간짜리 SF 영화입니다. 영화는 민족지학적 보고서처럼 보이는 자료를 작성하며 세 행성을 오가는 주인공 셰벡의 여정을 따라갑니다. 사운드, 음향 전쟁, 바이러스로서의 오디오는 이야기 전반에 반복적으로 등장하는 주제이며, 작품은 더 넓게는 세계 구축과 테크노 낙관주의에 관한 개념을 다룹니다. 이 작업은 우리가 사랑하는 철학 및 이론 저작에서 접한 아이디어, 특히 질 들뢰즈와 펠릭스 가타리의 사상을 활용하고자 합니다.

이 작품은 처음에 FACT에서 진행 중인 작업으로 선보였습니다. FACT는 영국 리버풀의 갤러리이자 영화관으로, 아티스트·연구자·큐레이터를 지원하기 위해 마련된 2023년 6월의 이틀간 워크숍 마지막 날에 작품을 발표해 달라고 요청했습니다. ‘Turning Together’라는 제목의 이 프로그램은 사변 소설 작가 어슐러 K. 르 귄이 말한 ‘모어’에서 이름을 따왔습니다. 이는 서로의 이야기를 듣고 관계를 맺는 데 뿌리를 둔 소통 방식입니다. 상영 후 ElevenLabs가 Report 와 전반적인 작업에서 ElevenLabs 도구를 활용했다는 소식을 듣고, 영화 완성을 위한 지원금을 신속하게 제공해 준 덕분에 매우 운이 좋았습니다. 

FACT가 르 귄을 언급한 데 영감을 받아, AI와 함께 대본을 공동 집필하기 위해 그녀의 소설 The Dispossessed 로 OpenAI GPT-3.5 모델을 파인튜닝하기로 했습니다. 파인튜닝은 ChatGPT와 상호작용하는 것과 다릅니다. 파인튜닝은 모델이 이미 학습한 일반적인 언어 지식에 더해 새로운 데이터 세트를 전문적으로 학습하도록 만드는 과정입니다. 학습이 끝나면 새 모델은 데이터 세트의 스타일로 새로운 텍스트를 생성할 수 있으며, temperature라는 파라미터를 통해 원본을 얼마나 따를지 조절할 수 있습니다. temperature가 낮을수록 텍스트 출력은 더 파편적이고 무작위적이며, 높을수록 데이터 세트의 구절을 그대로 반복할 가능성이 커집니다. 적절한 균형을 찾는 것이 중요합니다. 파인튜닝된 모델을 르 귄의 분위기를 추출한 것이라고 생각해 보세요. 이런 의미에서 새로운 형태의 팬픽입니다. 우리는 함께 명사인 ‘어슐러 K. 르 귄’을 동사로 바꿨습니다. 이제 그림을 그리고, 조각하고, 노래하듯 르 귄하기를 할 수 있게 되었습니다. 

여러 temperature를 실험하면서 이야기의 윤곽이 드러나기 시작했습니다. AI와 공동 집필하는 과정은 윌리엄 버로스와 데이비드 보위식 컷업 기법을 떠올리게 합니다. 서로 다른 텍스트 출력 조각을 연결하기 시작했고, 때로는 AI가 떠올려 준 아이디어를 바로 다시 입력했으며, 때로는 좋아하는 작가들의 관련 구절을 입력했습니다. 결국 누가 무엇을 썼는지, 아이디어가 어디에서 왔는지 구분하기 어려워졌습니다. 물론 이는 전통적인 저작 방식과도 크게 다르지 않을 것입니다. 굳이 추정하자면 글의 공로는 우리 쪽이 약 60, AI가 40 정도입니다. 전체 이야기의 구조는 AI가 만들어낼 수 있는 것이 아니었습니다. 기술적으로는 ChatGPT로 가능하겠지만, ChatGPT로 스토리텔링 구조를 다루기 시작하면 곧 매우 정형적이고 이상할 만큼 해피엔딩에 의존한다는 점이 드러납니다. 

대본 개발과 동시에 AI 도구, 주로 Midjourney와 Runway의 Gen-2를 활용해 이야기를 시각화했습니다. 가장 큰 난관 중 하나는 슈몬 바사르가 ‘Midjourney의 중간성’이라고 부른 현상에 맞서는 일이었습니다. 이는 많은 텍스트-콘텐츠 도구에 내재한 키치한 DeviantArt 미학으로의 성향이며, 여성에 대한 여성혐오적이고 유아화된 묘사와 함께 나타나는 경우가 많습니다. 이를 해결하기 위해 먼저 프롬프트에 기술적인 사진 용어를 가득 넣어 과도하게 스타일화된 이미지에서 벗어나려 했습니다. 이것이 Report 에 미친 주요 영향 중 하나는 주인공 셰벡을 젊은 여성에서 나이 든 여성으로 바꾸게 된 점입니다. Midjourney는 프롬프트를 입력하면 나이 든 여성을 흔히 혐오스러운 공포의 대상으로 묘사합니다. 우리는 이것이 주인공을 위한 훨씬 풍부하고 전복적이며 복합적인 미학적 토대라고 느꼈습니다. 르 귄이 Space Crone 에서 나이 든 여성이 은하 간 여행을 위한 이상적인 지구 대표자가 될 것이라고 주장한 점도 이를 뒷받침합니다. 

AI와 작업할 때 우리의 방식은 종종, 물론 항상 그렇지는 않지만, 글리치와 오류를 받아들이는 것입니다. AI가 가리거나 모방하는 일을 잊어버리는 순간을 만들고자 합니다. AI를 유도하고 프롬프트를 입력하며 탈옥시켜, 프로그래밍된 스타일적 관습을 되풀이하는 대신 자기 환각을 역전파하는 듯한 결과물을 내놓는 곳으로 이끄는 것입니다. 마치 AI가 기대되는 모습보다 자기 자신에 더 가까운 방식으로 행동하는 것처럼 말입니다.

AI는 Report 에 사운드로 생명을 불어넣는 데도 활용되었습니다. 텍스트-오디오 도구와 원시 오디오 신경망을 통해 분주한 역 플랫폼의 폴리 사운드부터 재생되는 테이프 머신 소리, 더 나아가 사운드트랙을 위한 신시사이저·추상화된 보컬·폴리리듬 드럼 패턴까지 만들어냈습니다. 이어 ElevenLabs의 음성 합성 도구로 이야기를 내레이션하고 캐릭터에 생명을 불어넣었습니다. Report 5923 는 우리가 구성한 신경망의 집합체입니다. 제작하는 동안 우리가 즐거웠던 만큼, 여러분도 즐겁게 감상하시길 바랍니다!