INTERSPEECH 2022의 Eleven

행사 후기

올해 INTERSPEECH 컨퍼런스를 막 마치고 돌아왔습니다. 지난 몇 달간 개발해 온 모든 기술을 선보이고 피드백을 받을 수 있었던, 지금까지 최고의 기회였습니다.

이 분야 최고의 전문가들로부터 배우고 아이디어를 나누며, 앞으로의 협력 관계를 구축할 수 있어 뜻깊었습니다. 특히 음성 복제, 음성 합성(TTS), 음성 변환(VC) 분야에서 활동하는 훌륭한 스타트업 팀들을 만났습니다. Supertone과 LOVO가 그중 일부입니다. Meta와 Google 같은 업계 선도 기업들과 TTS 및 VC 소프트웨어 개발의 비하인드 작업에 관해 이야기 나눌 수 있었던 것도 무척 기뻤습니다.

곧바로 본격적인 논의에 들어갔습니다. 저희 작업에 대한 진심 어린 열정은 기대를 훌쩍 뛰어넘었고, 이보다 더 기쁠 수 없었습니다. 이후 4일 동안 앞서 언급한 세 가지 음성 기술 분야의 연구와 진전을 논의했습니다. 이는 내년 초 출시를 계획하고 있는 독자적 자동 더빙 도구 버전 1.0을 개발하기 위한 매우 중요한 첫걸음입니다.

가장 중요했던 점은 음성을 충실하게 복제할 수 있음을 입증하는 것이었습니다. 즉, 알고리즘을 학습시키는 원본 음성 데이터와 합성으로 생성된 동일 음성 간의 유사성을 유지할 수 있다는 것을 보여주는 일이었습니다. 두 번째로는, 탁월한 운율과 음색을 제공하는 TTS 도구가 가장 인간적이고 자연스러운 합성 음성 플랫폼의 일부가 되는 방향으로 나아가고 있음을 증명하는 일이 중요했습니다.

새로 생성된 발화가 특정 인물이 말한 것으로 즉시 식별될 수 있어야 하므로, 전자는 당연히 중요합니다. 화자 정체성을 정확히 보존해야 하기 때문입니다. 음색과 말하기 속도는 의도를 전달하며, სწორედ 이것이 음성을 인간적으로 들리게 하는 핵심이므로 운율과 음색도 중요합니다. 궁극적인 목표는 프로그램이 단지 단어를 유창하게 발음하는 데 그치지 않고, 마치 자신이 말하는 내용을 이해하는 것처럼 적절한 감정을 발화에 담아내는 것입니다.

TTS 데모

아래에서 컨퍼런스 중 사용한 TTS 데모를 확인할 수 있습니다. 첫 번째 링크는 원본 비디오이고, 이어서 동일한 메시지를 다른 목소리로 말한 샘플이 나옵니다. 참고로 이것은 음성 변환이 아니라 텍스트 음성 변환입니다. 원본 비디오에서 말한 단어를 적어 넣은 것이 유일한 입력값이었으며, 이를 바탕으로 들리는 음성을 생성했습니다. 모든 운율과 억양은 알고리즘 자체가 처리하며, 후처리는 전혀 적용하지 않았습니다. 누구의 목소리인지 알아맞힐 수 있는지 확인해 보세요!

다음 글에서는 텍스트 입력으로 음성을 생성하는 Eleven TTS 기술을 더 자세히 소개하겠습니다.

기술이 마음에 들고 베타 테스터가 되고 싶다면, 여기를 클릭해 신청할 수 있습니다.

원본:

Eleven Labs 음성 복제 TTS:

형식보다 내용

컨퍼런스를 앞둔 몇 달 동안, 저희는 기술을 입증할 수 있는 샘플을 제공하고 독자적인 연구를 선보이는 데 거의 모든 노력을 집중했습니다. INTERSPEECH는 연구 컨퍼런스인 만큼, 특히 이렇게 명확한 목적을 지닌 자리에서는 내용이 형식에 우선해야 한다고 확신했습니다. 하지만 컨퍼런스 당일에는 기술에 너무 집중한 나머지 브랜딩이 지나치게 미니멀해 보일 수도 있겠다는 농담을 하기도 했습니다. 곧 주요 기업들을 비롯한 다른 참가자들도 더 소박한 구성을 선택한 것을 보고 안도했고, 어쩌면 확신을 얻기도 했습니다!

내년까지

한국 방문은 Eleven에 큰 성공이었으며, 더욱 힘차게 나아갈 동력이 되었습니다. 앞으로 1년 동안 연구와 이를 선보이는 방식 모두에서 이룰 수 있는 발전을 생각하면 벌써 기대됩니다. 그때쯤이면 프로덕션 수준의 더빙 도구를 준비해, 사람들의 목소리로 그들이 구사하지 못하는 언어를 말할 수 있게 되기를 바랍니다.