AI 더빙 API: 오디오와 비디오 대량 더빙 방법

불과 몇십 년 전만 해도 비디오 더빙은 스튜디오를 예약하고, 대상 언어의 성우를 고용해 모든 대사를 녹음하고(재녹음까지 하고), 최종 결과물을 받기까지 몇 주를 기다려야 하는 일이었습니다.

AI 더빙 API는 이 과정을 몇 번의 REST 호출로 줄여 줍니다. 오디오나 비디오를 보내면 원본의 타이밍과 감정 표현을 유지한 채 새로운 언어로 더빙된 결과물을 받을 수 있습니다.

이 가이드에서는 AI 더빙 API의 작동 방식과 프로덕션급 API가 단순히 이어 붙인 파이프라인과 다른 점을 설명합니다. 또한 이제 Dubbing v2를 모든 워크플로에 제공하는 ElevenLabs의 새로운 더빙 API를 통합하는 방법도 살펴봅니다.

요약

• AI 더빙 API는 원본 오디오 또는 비디오를 받아 새로운 언어로 더빙된 결과물을 반환합니다.
• Dubbing v2는 원본 퍼포먼스를 조건으로 활용하는 오디오-투-오디오 모델로, 감정, 톤, 전달 방식이 모든 더빙에 반영됩니다.
• ElevenLabs 더빙 API는 동기화 인식 번역으로 90개 이상의 언어를 지원합니다.
• 개발자는 몇 번의 REST 호출만으로 더빙 프로젝트를 만들고, 대상 언어를 추가하고, 완성된 더빙을 다운로드할 수 있습니다.
• 엔터프라이즈 고객은 원본 트랜스크립트와 번역을 수정한 뒤 변경한 세그먼트만 다시 생성할 수 있습니다. 

AI 더빙 API란 무엇인가요?

AI 더빙 API는 한 언어의 오디오 또는 비디오를 받아 대상 언어의 더빙 오디오를 반환하는 프로그래밍 인터페이스입니다. 원본 트랜스크립션, 대사 번역, 각 화자의 음성 복제, 대상 언어 음성 생성, 원본 타이밍에 맞춘 출력 정렬까지 현지화 전 과정을 자동화합니다.

개발자들은 음성 텍스트 변환, 기계 번역, 텍스트 음성 변환 서비스를 연결해 임시 더빙 파이프라인을 만들어 왔지만, 대규모 워크로드에는 안정적이지 않습니다.

단계마다 화자 정체성이 분절되고 타이밍이 어긋날 수 있으며, 감정이 풍부했던 대사는 단조롭게 바뀝니다.

목적에 맞게 설계된 더빙 API에는 이러한 문제를 해결하는 다양한 추가 기능이 포함됩니다. 화자 분리와 음성 보존부터 내부 동기화와 음성 복제까지, 고품질 AI 더빙 API는 평면적인 번역이 아니라 원래 화자가 말하는 듯한 결과를 만듭니다.

AI 더빙의 작동 방식: 오디오-투-오디오와 캐스케이드 파이프라인

대부분의 자동 더빙 시스템은 캐스케이드 파이프라인입니다. 원본 오디오를 트랜스크립션하고, 트랜스크립트를 번역한 뒤, 그 텍스트로 새 음성을 합성합니다. 망설임, 긴장감, 풍자, 속삭이는 혼잣말처럼 원시 트랜스크립트에 담기지 않는 요소는 합성이 시작되기 전에 모두 사라집니다.

ElevenLabs의 Dubbing v2는 다른 방식을 취합니다. 

Dubbing v2는 트랜스크립트가 아닌 원본 녹음을 직접 조건으로 활용하는 오디오-투-오디오 모델을 제공합니다. 모델이 퍼포먼스에 대한 설명을 읽는 대신 직접 듣기 때문에 톤, 감정, 감정적 뉘앙스가 더빙으로 전달됩니다.

Dubbing v2는 사람 품질의 80~90% 수준의 더빙을 생성하는 것으로 추정되며, 이제 AI 더빙은 영화 같은 콘텐츠에도 활용할 수 있습니다.

Dubbing v2의 핵심 기능은 세 가지가 더 있습니다:

• 동기화 인식 번역: 모델이 타이밍을 고려해 번역하므로 더빙 오디오의 시작과 끝이 별도 설정 없이 원본과 맞춰집니다. 비디오 조작이나 립싱크는 필요하지 않습니다. 오디오는 원본 대사가 있던 위치에 정확히 배치됩니다.
• 자동 음성 복제: 모든 번역은 수동 복제 단계 없이 원본 화자의 복제 음성으로 제공됩니다. 여러 화자가 있는 경우에도 지원되는 모든 언어에서 화자 정체성, 음높이, 음색이 유지됩니다.
• 로케일 수준 정확도: Dubbing v2는 브라질 포르투갈어의 pt-BR 같은 언어 코드를 통한 로케일 제어로 라틴 아메리카 스페인어와 카스티야 스페인어 등 지역별 변형을 구분합니다.

AI 더빙 API를 선택할 때 확인할 사항

개발자 파이프라인용 AI 더빙 API를 평가할 때는 몇 가지 핵심 기준을 확인해야 합니다.

최고의 AI 더빙 API가 갖춘 주요 기능은 다음과 같습니다:

• 폭넓은 언어 및 로케일 지원: 90개 이상의 폭넓은 언어 지원과 지역별 변형 등을 세부적으로 지정할 수 있는 기능을 확인하세요.
• 퍼포먼스 보존: 시스템이 원본 오디오를 조건으로 활용하는지, 트랜스크립트를 활용하는지 확인하세요. 감정이 더빙에서도 살아남는지는 오디오-투-오디오 아키텍처가 결정합니다.
• 매끄러운 동기화 품질: 더빙 오디오가 원본 타이밍에서 벗어나면 수작업 정리에 몇 시간이 걸립니다. 후처리 부담을 피하려면 동기화가 기본적으로 작동해야 합니다.
• 다중 화자 및 배경 처리 기능: AI 더빙 API는 겹치는 화자나 음향 효과를 손쉽게 처리해야 합니다. 또한 클립 내 배경 음악이나 믹스도 보존해야 합니다.
• 편집 및 재생성: 트랜스크립트를 수정하고 번역을 다듬은 뒤 영향을 받은 세그먼트만 다시 생성할 수 있는 더빙 API라면 전체 파일을 다시 더빙할 필요가 없습니다.
• 규정 준수:엔터프라이즈 워크로드는 콘텐츠가 시스템을 통과하기 전에 SOC 2, GDPR, ISO 27001 규정을 준수해야 합니다.

이 가이드의 나머지 부분에서는 위 목록의 모든 기능을 제공하는 ElevenLabs 더빙 API를 살펴봅니다.

ElevenLabs 더빙 API로 오디오와 비디오를 더빙하는 방법

더빙 API는 프로젝트를 중심으로 구성됩니다. 각 프로젝트에는 하나의 원본 파일과 그 트랜스크립트가 포함됩니다. 더빙할 대상 언어마다 언어를 하나씩 추가할 수 있으며, 각 언어에는 자체 번역과 출력이 생성됩니다.

아래의 기본 생성 및 가져오기 워크플로는 ElevenAPI 플랫폼의 모든 사용자가 이용할 수 있습니다.

1) 더빙 프로젝트 만들기

원본 미디어를 파일 업로드 또는 공개 URL로 전송하세요. 인증에는 xi-api-key 헤더의 API 키를 사용합니다. 프로젝트를 식별할 수 있도록 선택적 참조 라벨을 전달하고, 제품명이나 브랜드명에 맞춰 트랜스크립션과 번역을 유도하는 키텀을 지정할 수 있습니다.

URL로 만들기

curl -X POST https://api.elevenlabs.io/v1/dubbing/project \
  -H "xi-api-key: $ELEVENLABS_API_KEY" \
  -F "source_url=https://example.com/promo.mp4" \
  -F "source_language=en" \
  -F "reference=Q3 marketing video"

파일 업로드로 만들기

curl -X POST https://api.elevenlabs.io/v1/dubbing/project \
  -H "xi-api-key: $ELEVENLABS_API_KEY" \
  -F "file=@promo.mp4" \
  -F "source_language=en" \
  -F "reference=Q3 marketing video"

응답으로 상태가 queued인 project_id가 반환됩니다. source_language를 생략하면 모델이 트랜스크립션 중에 자동으로 감지합니다.

2) 프로젝트가 준비될 때까지 폴링하기

원본은 비동기적으로 트랜스크립션되므로 상태가 ready가 될 때까지 프로젝트를 폴링하세요. 

curl https://api.elevenlabs.io/v1/dubbing/project/{project_id} \
  -H "xi-api-key: $ELEVENLABS_API_KEY"

준비된 프로젝트에는 원본 트랜스크립트가 생성되어 있으며 대상 언어 추가를 기다리고 있습니다. 언어별 진행 상태는 각 언어에 저장되므로, 이 시점부터 프로젝트 상태는 ready로 유지됩니다. 

3) 대상 언어 추가하기

대상마다 언어를 하나씩 추가하세요. cloning_strength 설정(0~10, 기본값 7)은 원본 음성과의 유사도와 대상 언어에서의 자연스러운 전달 간 균형을 제어합니다. 

curl -X POST https://api.elevenlabs.io/v1/dubbing/project/{project_id}/language \
  -H "xi-api-key: $ELEVENLABS_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"target_language": "es", "voice_settings": {"cloning_strength": 7}}'

각 언어는 queued, processing 단계를 거쳐 completed 상태가 됩니다.

5개 언어로 더빙하려면 동일한 프로젝트에 대해 5번 호출하세요. 원본은 한 번만 트랜스크립션되고, 모든 언어는 이를 기반으로 번역됩니다.

4) 더빙 결과물 다운로드하기

상태가 completed가 되면 해당 언어를 가져오세요. 응답에는 더빙 오디오용 서명된 다운로드 URL이 포함됩니다.

curl https://api.elevenlabs.io/v1/dubbing/project/{project_id}/language/{language_id} \
  -H "xi-api-key: $ELEVENLABS_API_KEY"

다운로드 URL은 시간 제한이 있으므로 새 링크가 필요할 때마다 언어를 다시 가져오세요.

이 네 단계로 생성, 폴링, 언어 추가, 다운로드로 이루어진 완전 자동화 더빙 루프를 구축할 수 있습니다.

API를 통한 더빙 편집 및 재생성

출력 자동화로 대부분의 사용 사례를 처리할 수 있지만, 프리미엄 현지화에서는 완성도를 위해 문구를 사람이 직접 검토해야 하는 경우가 많습니다. 더빙 API는 엔터프라이즈 고객에게 번역의 양쪽 측면을 세그먼트 수준에서 제어할 수 있는 기능을 제공합니다. 

원본 트랜스크립트는 모든 언어가 번역하는 단일 기준 소스이며 완전히 편집할 수 있습니다. 잘못 인식된 대사를 수정하고, 화자 배정을 바로잡거나, 모든 세그먼트의 타이밍을 조정할 수 있습니다:

curl -X PATCH https://api.elevenlabs.io/v1/dubbing/project/{project_id}/transcript/segment/{segment_id} \
  -H "xi-api-key: $ELEVENLABS_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"text": "Welcome to our latest product demo."}'

각 대상 언어에는 모든 원본 세그먼트와 해당 번역이 쌍으로 연결된 자체 트랜스크립트가 제공됩니다. 번역도 같은 방식으로 편집할 수 있습니다.

자체 원본 트랜스크립트와 번역을 가져올 수도 있습니다. 그러면 기존 현지화 워크플로가 문구를 제어하고 모델이 음성을 처리합니다.

더빙이 완료된 후 트랜스크립트가 변경되면 해당 언어는 stale로 표시되며, 한 번의 호출로 현재 텍스트를 기반으로 다시 생성할 수 있습니다.

curl -X POST https://api.elevenlabs.io/v1/dubbing/project/{project_id}/language/{language_id}/transcript/regenerate \
  -H "xi-api-key: $ELEVENLABS_API_KEY"

재생성은 원본 미디어 길이의 최대 1배까지 무료이므로, 번역을 반복해서 수정해도 더빙 비용이 늘어나지 않습니다. 1배 할당량을 초과하면 표준 더빙 요금으로 재생성 비용이 청구됩니다.

AI 더빙 API 활용 사례

비디오 더빙 API는 대량의 오디오를 현지화해야 할 때 유용합니다. 수동 더빙은 시간과 노력이 많이 들지만, AI 더빙 API를 사용하면 이 과정을 크게 앞당길 수 있습니다.

AI 더빙 API의 몇 가지 활용 사례는 다음과 같습니다:

• 미디어 제작 플랫폼: 사용자가 앱을 벗어나지 않고 실험할 수 있도록 크리에이터 제작 워크플로에 더빙 기능을 직접 구축하세요.
• 교육 및 지원 콘텐츠:전 세계에서 인재를 채용하는 기업은 콘텐츠를 여러 언어로 현지화해 모든 사용자를 위한 온보딩 교육 비디오를 지원할 수 있습니다.
• 스트리밍 및 미디어: 현지화 파이프라인은 여러 지역에 공개할 장편 시리즈나 기타 미디어를 자동으로 더빙할 수 있습니다. 
• 마케팅 자료:수십 개 언어로 성우 대사를 다시 녹음하지 않고도 다국어 비디오 캠페인을 전개하세요.
• 에듀테크:교육 플랫폼은 강사의 음성을 보존하면서 강의 비디오를 서비스하는 모든 시장의 언어로 더빙할 수 있습니다. 

전반적으로 더빙 API는 고품질 현지화 콘텐츠를 대규모로 제작할 수 있는 접근성 높은 선택지를 제공합니다.

Dubbing v2, 이제 ElevenAPI에서 제공

더빙 API는 셀프서비스 및 엔터프라이즈 개발자 모두에게 제공되며, Dubbing v2는 모두가 이용할 수 있고 엔터프라이즈 워크스페이스에는 편집 엔드포인트도 제공됩니다. 

더빙 API에서 전체 기능을 살펴보거나, 가입하고 API 키를 만들어 몇 분 안에 첫 더빙을 실행해 보세요.

더빙 API FAQ