보이스 체인저 소개

보이스 체인저는 원래 음성 변환이라고 불렸습니다. AI 음성 에이전트의 맥락에서 ‘음성 변환’은 하나의 모델이 오디오 입력과 출력을 직접 처리하는 융합 아키텍처를 뜻하기도 합니다. ElevenAgents는 플랫폼에 고급 계단식 아키텍처를 사용합니다. 자세히 알아보기: 계단식 모델과 융합 모델 비교.

보이스 체인저

음성 합성에 보이스 체인저를 추가했습니다. 보이스 체인저는 한 사람의 음성 녹음을 다른 사람이 말한 것처럼 들리게 바꾸면서도 원래의 연기는 보존하는 음성 변환 도구입니다. 즉, 녹음에 담긴 감정, 타이밍, 속도, 발음이 출력 음성에도 그대로 전달됩니다.

이를 통해 텍스트 음성 변환 프롬프트만으로는 항상 구현하기 어려운 수준의 제어가 가능합니다. 주요 사용 방법은 두 가지입니다.

음성에서 더 풍부한 감정 표현 추출 모든 음성이 텍스트 음성 변환 프롬프트를 통한 감정 지시에 똑같이 잘 반응하는 것은 아닙니다. 보이스 체인저를 사용하면 표현력이 풍부한 음성을 녹음하거나 업로드하고, 그 감정 표현 범위를 다른 음성으로 재현할 수 있습니다. 전문 내레이터의 목소리를 더 따뜻하게 만들거나 어린이 책 캐릭터를 더 장난스럽게 표현해야 한다면, 직접 연기한 뒤 보이스 체인저로 대상 음성에 전달할 수 있습니다.

음성 전달 방식 미세 조정 ElevenLabs의 텍스트 음성 변환 모델은 일반적으로 별도 설정 없이도 억양을 잘 처리합니다. 하지만 특정 문장을 어떻게 전달할지, 즉 어디에 강세를 둘지, 휴지가 어떻게 느껴질지, 리듬은 어떤 느낌일지 정밀하게 제어해야 한다면 보이스 체인저로 직접 목소리를 들려준 다음 원하는 어떤 음성에도 그 전달 방식을 적용할 수 있습니다. 보이스 체인저를 Studio에 직접 통합하면 더욱 유용해질 것이지만, 목표는 같습니다. 바로 출력 결과를 정밀하게 제어하는 것입니다.

커뮤니티 회원이 제공한 사용 안내를 확인해 보세요:

연구

소스 음성을 대상 음성으로 변환하려면 소스 음성의 내용을 대상 음성의 특성으로 표현해야 합니다. 유용한 비유로 얼굴 교체를 들 수 있습니다. 두 얼굴을 가져와 하나로 합쳐, 한 사람의 특징을 다른 사람의 매핑된 구조 안에 렌더링하는 앱과 같습니다.

이를 위해 얼굴 이미지를 가져와 그 속성을 매핑합니다. 아래 예시의 마커가 바로 이 역할을 합니다. 다른 얼굴이 렌더링될 범위를 나타냅니다.

음성 변환의 핵심은 대상 음성의 음소를 사용해 소스 음성의 내용을 렌더링하는 것입니다. 하지만 얼굴 교체 예시와 마찬가지로 여기에는 절충점이 있습니다. 한 얼굴의 속성을 매핑하기 위해 더 많은 마커를 사용할수록, 그 안에 매핑하는 얼굴에 더 많은 제약이 생깁니다. 마커가 적으면 제약도 줄어듭니다.

음성 변환도 마찬가지입니다. 대상 음성에 더 큰 우선순위를 둘수록 소스 음성과 동기화가 어긋날 위험이 커집니다. 반대로 우선순위를 충분히 두지 않으면 그 음성의 특징을 이루는 많은 요소를 잃을 수 있습니다. 예를 들어 누군가 화를 내며 소리치는 녹음을 속삭이는 목소리로 렌더링한다면 문제가 생길 수 있습니다. 소스 음성의 감정에 지나치게 우선순위를 두면 속삭이는 목소리라는 인상이 사라지고, 속삭이는 말투를 지나치게 강조하면 소스 음성의 감정적 에너지를 잃게 됩니다.

제품 및 최근 업데이트

사전 제작 음성 변경 사항

음성 합성에서 기본으로 제공되는 음성을 변경하고 있습니다. 일부 음성은 지원을 종료하고 새로운 음성으로 교체하며, 앞으로 몇 주 안에 20개 이상의 음성을 추가할 예정입니다.

각 음성을 언제까지 사용할 수 있을 것으로 예상되는지 UI에서도 안내하기 시작할 예정입니다. 12월 한 달 동안 음성 다양성을 개선하기 위해 음성 공유 및 사용 보상 기능을 개편합니다. 자세한 내용은 곧 안내해 드리겠습니다.

Eleven Turbo v2 및 uLaw 8kHz 형식

Turbo v2는 ElevenLabs 팀이 수개월간 연구한 결과물입니다. 실시간 상호작용을 위해 설계되었지만 어떤 사용 사례에도 활용할 수 있습니다. 또한 IVR 시스템용 표준 (m)uLaw 8kHz 형식도 지원합니다.

Studio의 정규화 및 메타데이터

이제 Studio는 게인 조정과 다이내믹 압축을 포함한 업계 표준 오디오북 제출 가이드라인을 지원합니다. Studio 프로젝트에 메타데이터(ISBN, 저자, 제목)를 직접 삽입할 수도 있습니다.

발음 사전

가장 많이 요청받은 기능 중 하나였습니다. 지난달에는 영어 모델에서 IPA 및 CMU 사전을 사용해 발음을 지정할 수 있도록 SSML 태그 지원을 추가했습니다. 이제 Studio UI에서 발음 사전을 지원하여 IPA, CMU 또는 단어 대체(별칭)를 사용해 발음을 지정한 파일을 업로드할 수 있습니다. 사전 파일에는 업계 표준 오픈 .PLS 어휘 파일 형식을 사용합니다.

현재 Turbo v2 English는 IPA와 CMU를 지원합니다. 단어 대체는 모든 모델과 언어에서 지원됩니다. 전체 문서는 여기에서 확인할 수 있습니다.

피드백이 있다면 Discord에서 언제든지 알려주세요!

보이스 체인저 사용해 보기

원하는 방식으로 말하고, 연기 표현을 완벽하게 제어하면서 완전히 다른 목소리로 전달되는 결과를 들어보세요. 속삭임, 웃음, 억양, 섬세한 감정 표현까지 담아낼 수 있습니다.