제품더빙

더빙 스튜디오

더빙을 세밀하게 제어하세요.

더빙 스튜디오는 유지 관리 모드입니다. 중요한 버그 수정만 계속 제공되며, 새로운 기능 개발은 계획되어 있지 않습니다. 기존 더빙 스튜디오 고객은 중단 없이 계속 이용할 수 있습니다.

더빙 스튜디오 프로젝트 만들기

  1. 모델로 Dubbing v1을 선택한 다음 Dubbing project를 선택합니다.
  2. Create Dub을 클릭합니다. 더빙 스튜디오 프로젝트가 생성되면 열 수 있습니다.

핵심 개념

화자 카드

더빙 스튜디오 화자 카드

화자 카드에는 소스 비디오 대화의 원본 트랜스크립션과 번역(추가한 경우)이 표시됩니다. ‘Transcribe Audio’를 클릭하여 원본 음성을 다시 트랜스크립션하거나, 화살표를 클릭하여 기존 트랜스크립션을 다시 번역할 수 있습니다.

트랜스크립션 및 번역 편집

트랜스크립션과 번역은 모두 자유롭게 편집할 수 있습니다. 화자 카드 내부를 클릭하고 텍스트를 입력하여 편집하세요.

화자 식별

화자 카드 왼쪽 상단에서 각 화자의 이름을 확인할 수 있습니다. 화자 이름을 변경하거나 클립을 다른 화자에게 다시 할당하려면 타임라인을 사용해야 합니다.

타임라인

타임라인에는 더빙 스튜디오의 여러 중요한 요소가 있으며, 아래의 다양한 섹션에서 더 자세히 설명합니다.

기본 탐색

타임라인을 탐색하는 주요 방법은 3가지입니다.

  1. 커서를 클릭하고 드래그
  2. 가로로 스크롤
  3. 타임라인 오른쪽에서 특정 타임코드 입력

클립 조정 및 오디오 다시 생성

  1. 클립 왼쪽 또는 오른쪽의 핸들을 드래그하여 길이를 조정합니다.
  2. 새로고침 아이콘을 클릭하여 해당 클립의 오디오를 다시 생성합니다.

더빙 스튜디오 조정 및 다시 생성

동적 생성과 고정 생성

참고: 기본적으로 더빙 스튜디오의 모든 재생성은 고정 생성입니다. 즉, 텍스트 양과 관계없이 시스템이 클립 길이를 고정으로 유지합니다. 텍스트를 변경하지 않고 클립 길이를 조정하거나 클립에 많은 단어를 추가 또는 제거하면 음성이 크게 빨라지거나 느려질 수 있습니다.

‘I’m doing well.‘이라는 문구가 있는 클립을 예로 들어 보겠습니다. 이 클립이 10초 동안 재생되도록 설정되어 있고 고정 생성으로 오디오를 만들었다면, 음성이 느리고 길게 늘어진 것처럼 들립니다.

또는 세그먼트를 마우스 오른쪽 버튼으로 클릭하고 옵션에서 선택하여 동적 생성을 사용할 수 있습니다. 이 기능은 클립 길이를 텍스트 길이에 맞게 조정하여 오디오가 더 자연스럽게 들리도록 합니다.

단, 동적 생성을 사용하면 비디오의 동기화와 타이밍에 영향을 줄 수 있으므로 주의하세요. 예를 들어 단어가 많은 클립에 동적 생성을 선택했는데 다음 클립 전까지 충분히 늘어날 공간이 없다면, 오디오가 제대로 생성되지 않을 수 있습니다.

더빙 스튜디오 동적 생성

오래된 오디오

오래된 오디오는 여러 이유(클립 길이 변경, 설정 변경, 트랜스크립션/번역 변경 등)로 다시 생성해야 하는 오디오를 의미합니다. 오래된 클립을 개별적으로 다시 생성하거나 ‘Generate Stale Audio’를 클릭하여 모든 오래된 오디오 클립을 한 번에 생성할 수 있습니다.

클립 기록

클립을 마우스 오른쪽 버튼으로 클릭하고 ‘Clip History’를 선택하면 이전 생성 결과를 확인하고 가장 잘 들리는 결과를 선택할 수 있습니다.

클립 분할 및 병합

  1. 클립을 분할하려면 커서를 특정 타임코드로 이동하고 ‘Split’을 클릭합니다.
  2. 두 클립을 병합하려면 클립 끝을 서로 드래그한 후 ‘Merge.‘를 클릭합니다.

더빙 스튜디오 병합

클립을 분할하고 병합하면 타임라인 위의 화자 카드가 이러한 변경 사항을 반영하여 업데이트됩니다.

클립을 다른 화자에게 다시 할당

클립을 다른 화자에게 다시 할당하려면 세그먼트를 클릭하고 다른 트랙으로 드래그합니다.

더빙 스튜디오 클립 다시 할당

추가 오디오 트랙

타임라인 하단의 작업 버튼을 사용하여 새 오디오 트랙을 추가합니다.

더빙 스튜디오 트랙 추가

음성 설정

음성 선택

특정 화자 트랙에서 오디오 생성에 사용할 음성을 선택하려면 화자 이름 근처 타임라인 왼쪽에 있는 설정 톱니바퀴 아이콘을 클릭합니다.

더빙 스튜디오에서 선택할 수 있는 음성은 크게 3가지 유형입니다.

  1. 클립 복제 - 각 클립의 소스 오디오를 기반으로 클립마다 고유한 음성 복제를 생성합니다.
  2. 트랙 복제 - 특정 화자의 모든 소스 오디오를 기반으로 전체 트랙에 하나의 음성 복제를 생성합니다.
  3. 기타 음성 - 상세한 메타데이터와 태그를 갖춘 보이스 라이브러리의 수천 개 음성 중에서도 적합한 음성을 선택할 수 있습니다.

클립을 마우스 오른쪽 버튼으로 클릭하고 ‘Create Voice from Selection.‘을 선택하면 특정 클립의 음성을 만들고 저장하여 재사용할 수도 있습니다.

트랙 수준 및 클립 수준 설정

음성 설정은 두 수준에서 지정할 수 있습니다.

  1. 트랙 수준 - 변경 사항이 트랙의 모든 클립에 적용되어 안정성과 일관성을 높일 수 있습니다.

  2. 클립 수준 - 변경 사항이 특정 클립에만 적용됩니다. 클립 수준 설정을 지정하려면 타임라인 오른쪽의 패널을 사용하세요. ‘inherit track settings’ 토글을 비활성화하고 원하는 설정을 구성합니다.

더빙 스튜디오 음성 설정

내보내기

더빙 스튜디오 오른쪽 하단에서 ‘Export’를 클릭하여 내보내기 메뉴를 엽니다.

더빙 스튜디오는 현재 다음 내보내기 형식을 지원합니다.

  • AAC(오디오)
  • MP3(오디오)
  • WAV(오디오)
  • 오디오 트랙 .zip
  • 오디오 클립 .zip
  • AAF(타임라인 데이터)
  • SRT(자막/캡션)
  • CSV(화자, start_time, end_time, 트랜스크립션, 번역)

내보낼 때 올바른 언어를 선택했는지 확인하세요.

추가 기능

  • 보이스오버 트랙: 보이스오버 트랙은 새 화자를 만듭니다. 타임라인에서 원하는 위치를 클릭하여 클립을 추가할 수 있습니다. 클립을 만든 후 위의 화자 카드에 원하는 텍스트를 입력하세요. 먼저 해당 텍스트를 번역한 다음 “Generate”를 누르면 됩니다. 화면 오른쪽의 마이크 아이콘을 클릭하여 보이스 체인저 도구를 사용할 수도 있습니다. 자신의 음성을 사용한 뒤 선택한 음성으로 변경할 수 있습니다.
  • SFX 트랙: SFX 트랙을 추가한 후 해당 트랙의 아무 곳이나 클릭하여 SFX 클립을 만듭니다. 독립형 SFX 기능과 마찬가지로 위의 화자 카드에 프롬프트를 입력하고 “Generate”를 클릭하면 새 SFX 오디오가 생성됩니다. SFX 클립의 길이를 늘리거나 줄이고 타임라인에서 자유롭게 이동하여 프로젝트에 맞출 수 있습니다. 이 경우 반드시 “stale” 버튼을 누르세요.
  • 오디오 업로드: 이 옵션을 사용하면 SFX, 음악 또는 배경 트랙처럼 음성이 없는 트랙을 업로드할 수 있습니다. 이 트랙에 음성이 포함되어 있더라도 감지되지 않으므로 번역하거나 수정할 수 없다는 점에 유의하세요.

수동 더빙

정확한 더빙 스크립트를 이미 준비했고 더빙 스튜디오 프로젝트가 정확한 클립과 화자 할당을 따르도록 하려는 경우, 생성 중에 수동 모드 옵션을 선택할 수 있습니다.

수동 더빙을 만들려면 다음이 필요합니다.

  1. 비디오 파일
  2. 배경 오디오 파일
  3. 전경 오디오 파일
  4. 각 행에 화자, start_time, end_time, 트랜스크립션 및 번역 필드가 포함된 CSV

CSV 파일이 올바르게 처리되려면 미리 정의된 형식을 엄격히 따라야 합니다. 지원되는 3가지 타임코드의 샘플은 아래를 참조하세요.

  • 초
  • 시:분:초:프레임
  • 시:분:초,밀리초

CSV 파일 예시

speaker,start_time,end_time,transcription,translation
Adam,"0.10000","1.15000","Hello, how are you?","Hola, ¿cómo estás?"
Adam,"1.50000","3.50000","I'm fine, thank you.","Estoy bien, gracias."
화자start_timeend_time트랜스크립션번역
Joe0:00:00.0000:00:02.000안녕!Hallo!
Maria0:00:02.0000:00:06.000오, 안녕, Joe. 오랜만이야.Oh, hallo, Joe. Es ist schon eine Weile her.
Joe0:00:06.0000:00:11.000응, 알아. 바빴어.Ja, ich weiß. War beschäftigt.
Maria0:00:11.0000:00:17.000그래? 뭐 하면서 지냈어?Ja? Was hast du gemacht?
Joe0:00:17.0000:00:23.000주로 여행했어.Hauptsächlich gereist.
Maria0:00:23.0000:00:30.000내가 아는 곳에 갔어?Oh, irgendwo, das ich kenne?
Joe0:00:30.0000:00:36.000스페인.Spanien.

FAQ

더빙 스튜디오는 유지 관리 모드이며, 중요한 버그 수정만 제공됩니다.

트랙 클론은 더빙 프로젝트의 전체 트랙에서 파생된 음성 복제를 의미합니다. 즉, 해당 트랙의 모든 클립을 조합하여 음성 복제가 만들어집니다. 이는 기본 동작으로, 모든 클립의 특성을 어느 정도 결합한 음성 복제를 만드는 데 적합하며 일반적으로 AI가 제대로 된 복제를 생성할 수 있는 충분한 데이터를 제공합니다. 하지만 전체 구간에서 음성이 크게 바뀌는 경우 다소 불안정한 음성이 생성될 수 있습니다.

반면 클립 클론은 트랙의 특정 클립에서 파생된 음성 복제를 의미합니다. 이를 통해 특정 클립으로 서로 다른 음성 복제를 만들고, 원하는 톤이나 연기가 있는 다른 클립에 같은 음성을 할당할 수 있습니다. 특정 트랙에 원하는 연기가 정확히 담겨 있어 이를 다른 클립에도 적용하고 싶거나, 전체 트랙에 적용하고 싶은 경우에 유용합니다.

도움이 되는 팁으로, 마음에 들고 음성이 좋다고 느껴지는 클립을 찾아 마우스 오른쪽 버튼을 클릭해 해당 클립에서 클론을 만든 다음, 그 클론을 전체 트랙에 할당하여 일관된 음성을 구현할 수 있습니다. 이는 하나의 팁일 뿐 모든 상황에 효과적인 것은 아니지만, 경우에 따라 매우 잘 작동할 수 있습니다.

기본적으로 새 더빙을 만들면 최신 Dubbing v2 모델이 사용됩니다. v2 모델로 생성한 더빙은 자동으로 만들어집니다. 앱 내에서 콘텐츠를 편집할 수 있는 옵션은 없습니다. API를 통한 트랜스크립트 편집 및 오디오 재생성은 엔터프라이즈 요금제에서만 사용할 수 있습니다.

더빙 스튜디오를 사용하려면 모델로 Dubbing v1을 선택한 다음 더빙 프로젝트를 선택하세요.

기존 자동 더빙을 더빙 프로젝트로 변환할 수는 없습니다.

새 더빙 프로젝트는 더빙 프로젝트 목록의 맨 위에 표시되며, 생성 중 여러 단계를 거칩니다.

처리가 완료되면 점 3개 아이콘을 클릭하고 편집을 선택하여 더빙 프로젝트를 여세요.

더빙 스튜디오에 대한 자세한 내용은 개요를 참조하세요.

기본적으로 새 더빙을 만들면 최신 더빙 v2 모델이 사용됩니다. v2 모델로 만든 더빙은 자동으로 생성됩니다. 더빙 v2에는 앱 내 편집 버튼이 없습니다.

편집 버튼은 기존 v1 더빙 모델에서만 사용할 수 있는 더빙 스튜디오를 사용할 때에만 제공됩니다. 더빙 스튜디오를 사용하려면 모델로 더빙 v1을 선택한 다음 더빙 프로젝트를 선택하세요.

더빙 v2에서는 엔터프라이즈 요금제에서만 API를 통해 트랜스크립트를 편집하고 오디오를 재생성할 수 있습니다.

참고: 더빙 스튜디오는 유지 관리 모드이며, 중요한 버그 수정만 제공됩니다.

더빙된 오디오 또는 비디오를 다운로드할 수 없다면 다른 브라우저를 사용해 보고 광고 차단기와 팝업 차단기를 해제하세요.

이 문제는 Brave 브라우저에서 가장 자주 보고되지만 다른 브라우저에서도 발생할 수 있습니다. 대부분의 경우 브라우저를 바꾸거나 차단기를 비활성화하면 문제가 해결됩니다.

요금제를 다운그레이드하거나 구독을 완전히 취소하면 즉시 음성 복제 및 프로페셔널 음성 복제와 같은 유료 기능을 더 이상 사용할 수 없습니다. 하지만 현재로서는 데이터를 삭제하지 않으며, 다시 업그레이드할 준비가 되었을 때도 데이터는 그대로 유지됩니다.

현재 ElevenLabs는 Dubbing의 일부로 립싱크를 제공하지 않습니다. 립싱크는 타사 모델을 통해 이미지 & 비디오, Flows 및 Studio에서 사용할 수 있습니다.

Dubbing은 더빙할 각 언어에 대해 원본 미디어의 분당 요금이 부과됩니다. 정확한 요금은 사용하는 더빙 모델에 따라 다릅니다. 자세한 내용은 요금제 페이지를 참조하세요. 앱에서는 더빙이 시작되기 전에 총비용이 표시되며, 이를 확인할 수 있습니다.

Dubbing API로 생성한 더빙 프로젝트에는 최소 1개 언어 요금이 부과됩니다. 프로젝트를 생성하면 원본 길이를 기준으로 1개 언어 더빙 비용이 선불로 청구되며, 이 비용은 첫 번째 대상 언어에 적용됩니다.

  • 프로젝트 생성 시 원본을 준비하는 동안 요금이 부과되며, 첫 번째 언어를 추가할 때가 아닙니다.
  • 처음 추가하는 언어(또는 프로젝트 생성 시 target_language로 대기열에 추가한 언어)는 추가 비용 대신 이 선불 요금이 적용됩니다.
  • 추가하는 각 언어는 대기열에 추가할 때 별도로 요금이 부과됩니다.

실패 처리

  • 프로젝트 준비에 실패하는 경우(예: 원본을 트랜스크립션할 수 없는 경우) 생성 비용이 환불됩니다.
  • 추가 언어 생성에 실패하면 해당 비용이 환불됩니다.
  • 첫 번째 언어는 프로젝트 생성 비용으로 선불 처리됩니다. 생성에 실패해도 생성 비용은 환불되지 않지만 선불 금액은 사라지지 않습니다. 계속 사용할 수 있으므로 동일 프로젝트에서 해당 언어를 재시도해도 추가 비용이 발생하지 않습니다.
  • 프로젝트 또는 언어를 삭제해도 이미 실행 중인 더빙 비용은 환불되지 않습니다.

Dubbing은 무료 요금제를 포함한 모든 요금제에서 사용할 수 있습니다. 무료 요금제에서 생성한 더빙에는 워터마크가 자동으로 추가되며, 이를 제거할 수 없습니다. 유료 구독에서는 워터마크가 적용되지 않습니다.

Dubbing v2의 경우 API를 통한 트랜스크립트 편집 및 오디오 재생성은 엔터프라이즈 요금제에서만 사용할 수 있습니다.

ElevenLabs는 뛰어난 더빙을 만들겠다는 아이디어에서 출발했습니다. 원본 성우의 목소리와 원래의 연기를 유지하면서 원하는 모든 언어로 완벽한 더빙을 제작해, 모든 콘텐츠에 더 쉽게 접근할 수 있도록 하는 도구입니다.

시작하려면 더빙으로 이동해 오디오 또는 비디오 파일을 업로드하거나 YouTube, TikTok 또는 다른 온라인 플랫폼의 비디오 URL을 붙여 넣어 더빙하세요 .

언어 선택 선택기에서 더빙할 언어를 선택하세요. 여기서 선택한 언어별로 요금이 부과됩니다. 자세한 내용은 더빙 비용은 얼마인가요?를 참조하세요. 

기본적으로 최신 더빙 모델인 v2를 사용합니다. v2 모델로 만든 더빙은 자동으로 생성됩니다. 앱 내에서 콘텐츠를 편집하는 옵션은 제공되지 않습니다. API를 통한 트랜스크립트 편집 및 오디오 재생성은 엔터프라이즈 요금제에서만 사용할 수 있습니다.

웹사이트에서 더빙 v2를 사용할 때 업로드 파일은 2GB 및 180분 제한이 있으며, 두 제한을 모두 충족해야 합니다.

더빙의 개념과 사용 방법에 대한 자세한 설명 및 가이드를 원한다면 전체 문서를 여기에서 읽어 보시기를 권장합니다.

더빙을 편집할 수 있는 더빙 스튜디오 프로젝트를 만들려면 모델로 더빙 v1을 선택한 다음 더빙 프로젝트를 선택하세요.

참고: 더빙 스튜디오는 유지 관리 모드이며, 중요한 버그 수정만 제공됩니다.

더빙 스튜디오는 다음 형식으로 출력할 수 있습니다.

  • MP4 (비디오)
  • AAC (오디오)
  • AAF (타임라인 데이터)
  • SRT (자막)
  • WAV (오디오 - 화자별 별도 트랙, zip 파일로 다운로드)

더빙 v2는 단일 무손실 오디오 파일을 반환합니다.

더빙된 비디오는 프로덕션 마스터가 아닌 고품질 미리 보기입니다. 주로 1080p로 출력되며 원본 해상도와 일치하지 않을 수 있습니다. 오디오는 더빙 v1에서는 모노, 더빙 v2에서는 최대 스테레오이므로 5.1 및 기타 멀티채널 오디오는 유지되지 않습니다. 프로덕션 용도로는 더빙된 오디오를 다운로드하여 원본 비디오의 오디오 트랙을 교체하세요.

더빙에는 다음 형식의 오디오 및 비디오 파일을 업로드할 수 있습니다. 비디오는 최대 4K 해상도까지 지원합니다.

  • AAC
  • AIFF
  • AVI
  • FLAC
  • M4A
  • M4V
  • MKV
  • MOV
  • MP3
  • MP4
  • MPEG
  • MPG
  • OGA
  • OGG
  • OPUS
  • WAV
  • WEBA
  • WEBM
  • WMV
  • 3GPP
No results