Eleven v4를 소개합니다역대 가장 감성적인 모델, Eleven v4를 만나보세요.

콘텐츠로 건너뛰기

실시간 더빙으로 가는 길

게시일
최종 업데이트

듣기이 글 오디오로 듣기

실시간 더빙이라고 하면, 은하수를 여행하는 히치하이커를 위한 안내서에 나오는 바벨피시를 떠올리는 사람도 있습니다. 

바벨피시는 “뇌파 에너지를 먹고, 무의식적 주파수를 흡수한 뒤 의식적 주파수의 매트릭스를 뇌의 언어 중추로 배출합니다.” 실제로는 귀에 바벨피시를 넣으면 누군가 어떤 언어로 말하든 즉시 모국어로 말하는 것처럼 들린다는 뜻입니다(원본 오디오는 전혀 들리지 않습니다). 

뇌파를 읽을 수 있기 전까지는 화자의 말을 듣고 목표 언어로 번역해야 합니다. 화자의 입에서 나오는 단어를 하나씩 바로 번역하려 하면 현실적인 어려움이 따릅니다. 

영어를 스페인어로 번역하려는 상황을 생각해 보세요. 화자가 “The”로 시작합니다. 스페인어에서 “The”는 남성 명사에는 “El”, 여성 명사에는 “La”로 번역됩니다. 따라서 더 들어보기 전에는 “The”를 확실하게 번역할 수 없습니다. 

Realtime Dubbing Diagram 1

화자가 “The running water”라고 이어 말한다고 가정해 보겠습니다. 이제 앞의 세 단어를 “El agua corriente”로 번역할 정보가 충분합니다. 문장이 “The running water is too cold for swimming”으로 이어진다면 아주 좋습니다. 

Real-time dubbing diagram 2

하지만 화자가 “The running water buffalo…”라고 이어 말한다면, 되돌아가야 합니다. 

Real-time dubbing diagram 3

더 자세히 설명하자면, 화자가 “The running water buffalo protected her calf”라고 이어 말할 경우 문장을 “El búfalo”가 아니라 “La búfala”로 시작했어야 합니다.

청자의 초기 해석이 틀릴 가능성이 높은 방식으로 시작하는 이런 “가든패스” 문장은 여러 언어에 존재합니다. 

일부 활용 사례에서는 더빙을 너무 빠르게 시작한 뒤 되돌아가야 한다는 점을 감수할 수 있습니다. 다른 경우에는 정확도를 높이기 위해 지연 시간을 추가할 수 있습니다. 모든 더빙 활용 사례에는 어느 정도의 지연이 본질적으로 존재하므로, 여기서는 오디오를 지속적으로 스트리밍하고 번역된 콘텐츠를 다시 받을 수 있는 서비스를 “실시간” 더빙으로 정의합니다.

Translation Pipeline

실시간 더빙의 최적 활용 사례

실시간 더빙의 가장 적합한 상업적 활용 사례는 다음과 같은 경우입니다.

  • 전 세계 시청자가 있는 경우
  • 라이브 콘텐츠인 경우
  • 방송에 어느 정도 지연이 허용되는 경우

스포츠

2019년 Forbes 보도에 따르면 NBA는 해외 TV 중계권으로 5억 달러를 벌어들이고 있습니다. NFL은 미래의 핵심 수익 동력으로 국제적 확장을 보고 있으며, 현재 브라질, 영국, 독일, 멕시코에서 경기를 개최하고 있습니다. 

대부분의 스포츠 경기는 라이브 시청을 목적으로 하지만, 사람들은 인지하지 못하더라도 이미 어느 정도의 지연에 익숙합니다. 경기장에서 촬영된 영상이 집의 화면에 도달하기까지 걸리는 시간은 5초에서 몇 분까지 다양할 수 있습니다.

일반적으로 현장에는 영상을 제작 시설로 스트리밍하는 여러 카메라 및 음향 담당자가 있습니다. 제작 시설에서는 카메라 피드를 전환하고, 오디오를 믹싱하며, 그래픽을 오버레이하고, 해설을 추가합니다. 욕설이나 기타 예기치 못한 콘텐츠를 확인하고 음소거 처리하기 위해 의도적으로 추가 지연을 넣기도 합니다.

주 제작 피드는 방송 네트워크로 전송되며, 방송 네트워크는 자체 브랜딩과 광고를 추가한 뒤 지역 네트워크에 콘텐츠를 배포합니다. 마지막으로 라스트 마일 제공업체가 케이블, 위성 피드, 스트리밍 서비스를 통해 소비자에게 콘텐츠를 전달합니다.

Broadcast latency

많은 제작자는 더빙을 위해 최대 20초의 추가 지연을 더하는 것이 허용 가능하다고 말합니다. 시청자가 모국어로 들을 수 있다는 장점은 이러한 추가 지연을 충분히 상쇄합니다.

스포츠 기업은 양질의 제품을 제공하는 것을 가장 중요하게 여기며, 그 핵심은 중계진의 감정과 타이밍을 효과적으로 담아내는 것이라고 생각합니다. “슛! 골입니다!”는 열정적으로 전달되어야 합니다. 

더빙 서비스의 기반이 되는 ElevenLabs의 음성 복제 모델은 원래 화자의 감정과 전달 방식을 포착할 수 있습니다. 번역과 달리, 맥락이 많다고 해서 항상 더 좋은 결과로 이어지지는 않습니다. 다만 아직 스페인 축구 해설가 수준의 감정 표현에는 이르지 못했습니다!

각 음성 복제는 입력값의 평균입니다. “남은 시간이 2분밖에 없으니 더 공격적으로 나와야 합니다.”처럼 평이하게 전달된 문장과 “슛! 골입니다!”를 결합하면, 결과물인 복제 음성은 두 전달 방식의 평균이 됩니다. 

Dubbing Studio Soccer Announcer

현재는 트랜스크립트 번역보다 음성 복제에 더 짧은 맥락 길이를 적용해 이 문제를 해결할 수 있습니다. 앞으로는 더빙 모델에 이미지나 비디오와 같은 추가 맥락을 제공하거나, 원래 화자의 “감정 트랜스크립트”를 만들어 더빙 오디오의 전달 방식을 지시함으로써 추가적인 개선을 이룰 것으로 기대합니다.

뉴스 방송

“라이브” 스포츠와 마찬가지로 뉴스 방송도 지연을 추가하는 제작 파이프라인을 거칩니다. 미디어 기업과의 대화를 통해 알게 된 점은 감정을 정확히 살리는 일이 중요하긴 하지만, 대부분의 뉴스 앵커는 전달 방식이 매우 일관적이어서 그 중요도는 낮고 상대적으로 쉽다는 것입니다. 하지만 번역은 정확하면서도 뉘앙스를 살려야 합니다. 

자동 번역 서비스에 오류가 발생할 가능성 외에도, 일부 개념에는 직접 대응하는 번역이 없습니다. 다음 사례를 살펴보세요.

“공동체는 추모의 날을 맞아 모였고, 생존자들은 자신의 이야기를 나누었으며 원로들은 치유를 위한 전통 기도를 올렸다.”

스페인어: “La comunidad se reunió para un día conmemorativo, donde los sobrevivientes compartieron sus historias y los ancianos realizaron oraciones tradicionales para la sanación.”

기술적으로는 정확하지만, 역사적 트라우마의 맥락에서 “survivors”와 “sobrevivientes”는 서로 다른 무게감을 지닙니다. 영어에서 전자는 흔히 회복력과 존엄성을 암시하는 반면, “sobrevivientes”는 피해자성을 강조할 수 있습니다. 마찬가지로 “performed prayers”와 “realizaron oraciones”도 경건함의 정도가 다릅니다. “performed”는 의식의 중요성을 인정하지만, “realizaron”은 좀 더 절차적으로 들릴 수 있습니다.

보너스 - 대화형 더빙으로 가는 길

서로 다른 언어를 구사하는 사람들이 자연스럽게 대면 대화를 나누려면 거의 즉각적인 번역이 필요합니다. 

LLM의 다음 토큰 예측 확률을 활용하면 문장이 어떤 방향으로 이어질 가능성이 높은지 실시간으로 파악하는 모델을 만들 수 있습니다.

LLM Probabilities - Hugging Face

이미지 출처 - Hugging Face “텍스트 생성 방법”

이 다음 토큰 예측 모델을 개별 화자에 맞춰 파인튜닝하면, 그 화자가 다음에 무엇을 말할지 합리적으로 이해할 수 있습니다. 이 정보를 활용하면 화자가 다음에 말할 내용을 높은 확신으로 예측할 때 번역과 음성 생성을 미리 진행하는 방식으로 “선행 대응”할 수 있습니다.

흥미롭게 읽으셨나요? AI 오디오의 미래를 함께 만들어 가고 싶으신가요? 채용 중인 포지션을 확인하세요.

유사한 기사

최고 품질의 AI 오디오로 창작하세요