Eleven v4를 소개합니다역대 가장 감성적인 모델, Eleven v4를 만나보세요.

콘텐츠로 건너뛰기

가장 정확한 음성 텍스트 변환 모델, Scribe v3 및 v3 Live 소개

작성자
Min Kim
게시일
최종 업데이트

듣기이 글 오디오로 듣기

오디오 기반 제품은 회의 메모, 음성 에이전트, 더빙, 임상 문서화, 수십 년간의 콘텐츠를 아우르는 방송 아카이브 등 모두 트랜스크립트에서 시작합니다. 처음부터 정확한 트랜스크립트를 만드는 일은 중요합니다. 모든 오류는 이후 단계로 이어지며, 나중에 수정하는 데 훨씬 더 큰 비용이 들기 때문입니다.

하지만 실제 환경의 오디오는 복잡합니다. 회의에서 여러 사람이 동시에 말하기도 하고, 번화한 거리의 고객이 문장 중간에 멈추기도 하며, 두 사람 모두 모국어가 아닌 언어로 말하는 지원 통화도 있습니다.

오늘 ElevenLabs는 바로 이러한 환경을 위해 설계된 두 가지 새로운 음성 텍스트 변환 모델을 출시합니다:

  • 녹음 오디오용 Scribe v3는 102개 언어에서 Scribe v2보다 단어 오류가 27% 적고, 테스트한 모든 모델 중 가장 정확한 화자 레이블을 제공합니다.
  • Scribe v3 Live는 실시간 오디오용 저지연 버전으로, Scribe v2 Realtime보다 오류가 43% 적습니다. 또한 처음으로 화자 분리(누가 무엇을 말했는지 라벨링) 기능과 향상된 턴 감지 기능을 포함합니다.

Scribe v3 Live는 오늘부터 ElevenAgents에서 사용할 수 있습니다. 두 모델 모두 ElevenAPI에서 제공되며, Scribe v2에서 전환하려면 모델 ID를 한 줄만 변경하면 됩니다.

Scribe v3를 만든 피드백

Scribe는 회의 메모 앱, 컨택 센터, 임상 문서화 도구, 음성 에이전트를 위해 수억 시간의 트랜스크립션을 지원해 왔습니다. 다양한 사용 사례에서 이를 기반으로 제품을 개발하는 팀들은 계속해서 같은 다섯 가지를 요청했습니다.

회의 및 노트 작성 팀은 빠르게 주고받는 대화와 3명 이상이 참여하는 상황에서 더 뛰어난 화자 분리를 원했습니다. 음성 에이전트 팀은 발신자가 문장 중간에 멈추거나 숫자를 천천히 읽을 때 무음 타이머가 통화를 끊는다고 말했습니다. 실시간 처리 성능이 배치 처리보다 눈에 띄게 낮았기 때문에, 라이브 제품을 만드는 팀은 속도를 위해 정확도를 포기하고 있었습니다. 인도의 고객들은 통화자가 문장 중간에 힌디어와 영어를 전환하더라도 힌디어 성능이 영어와 같기를 바랐습니다. 또한 “123”처럼 표기되는 숫자부터 제품 카탈로그나 의약품 목록에 쓸 만큼 긴 핵심 용어 목록까지, 많은 팀이 출력 결과를 더 세밀하게 제어하기 원했습니다.

화자 레이블, 턴 감지 및 출력 결과에 대한 더욱 세밀한 제어

혼잡한 공간에서도 안정적인 화자 분리

회의 트랜스크립트에서는 정확한 단어를 인식하는 것만큼 올바른 화자를 식별하는 것도 중요합니다. Scribe v3는 기존 모델 대부분이 성능을 내지 못하는 3명 이상 화자의 녹음에서 Scribe v2보다 화자 분리 오류가 17% 적습니다. Scribe v3 Live는 실시간 트랜스크립션에도 처음으로 화자 분리를 제공하며, 테스트한 차선의 실시간 모델보다 화자 분리 오류가 39% 적습니다.

대화를 이해하는 턴 감지

자연스러운 대화를 위해 음성 에이전트는 화자가 언제 말을 마쳤는지 정확히 예측해야 합니다. 기존 턴테이킹 시스템은 무음 구간을 기준으로 이를 판단합니다. 하지만 무음만으로 판단하면 절충이 필요합니다. 임곗값을 짧게 설정하면 문장 중간에 멈춘 사람의 말을 끊을 수 있고, 길게 설정하면 에이전트가 느리게 느껴집니다. Scribe v3 Live는 오디오뿐 아니라 대화의 맥락도 활용하므로, 숫자 중간에 잠시 멈춘 발신자의 말이 끊기지 않습니다. 이는 ElevenAgents에서 이미 사용 중인 턴 감지 기능이며, 이제 ElevenAPI에서도 사용할 수 있습니다.

언어, 용어 및 서식에 대한 더욱 세밀한 제어

Scribe v3는 녹음에 포함될 수 있는 언어에 대한 힌트를 추론하고, 숫자를 숫자 또는 단어 중 어떤 형식으로 반환할지 선택할 수 있게 합니다. 핵심 용어 프롬프팅은 브랜드명, 약어, 전문 용어처럼 등장할 것이 확실한 최대 1,000개의 용어를 지원합니다. 또한 트랜스크립트 편집 기능은 “모든 날짜를 YYYY-MM-DD 형식으로 작성”과 같이 일반 영어로 작성한 서식 규칙을 적용합니다.

Scribe v3 Live에는 문장 중간에 언어를 전환하는 대화를 위한 다국어 모드가 추가됩니다. 목록으로 관리하기에는 너무 큰 어휘를 위한 핵심 용어 라이브러리도 제공합니다. 핵심 용어 프롬프팅이 등장할 것이 확실히 예상되는 용어를 다룬다면, 핵심 용어 라이브러리는 등장할 수도 있는 수천 개의 용어를 보관하고 모델은 가능성 높은 일치 항목을 들었을 때만 이를 참조합니다.

Scribe v3의 성능

ElevenLabs는 동일한 데이터세트에서 Scribe v2, Scribe v2 Realtime 및 기타 인기 음성 텍스트 변환 모델과 두 모델을 비교 평가했습니다. 다국어 정확도는 102개 언어의 짧고 깨끗한 낭독 음성을 테스트하는 내부 버전의 FLEURS 벤치마크로 측정했습니다. FLEURS는 모든 클립에 화자가 한 명뿐이므로 화자 분리를 측정할 수 없습니다. 이에 따라 16개 언어의 실제 회의, 에이전트 통화, 음성 메모로 구성된 자체 데이터세트도 만들었습니다. 곧 이를 오픈 소스로 공개할 예정입니다.

화자 분리

Scribe v3는 테스트한 모든 모델 가운데 가장 낮은 화자 분리 오류율을 기록했습니다. 전체적으로 Scribe v2보다 오류가 12% 적고, 3명 이상 화자가 있는 녹음에서는 17% 적습니다.

Diarization error rate of Scribe v3 vs. competing models

다국어 트랜스크립션 정확도

트랜스크립트의 의미가 바뀔 때만 오류로 계산하는 의미 기반 WER과 함께 단어 오류율(WER)을 보고합니다.

FLEURS의 102개 언어 전반에서 Scribe v3는 Scribe v2와 비교해 WER을 27% 줄였으며, 테스트한 모든 언어에서 개선되었습니다. 트랜스크립션이 비교적 쉬운 언어에서는 독일어가 42%, 스페인어가 35%, 영어가 23% 개선되었습니다. 트랜스크립션이 더 어려운 언어에서는 개선 폭이 더 큽니다. 스와힐리어는 34%, 타밀어는 29%, 태국어는 28% 감소했습니다.

Scribe v3 reduces word and semantic error rates across languages versus v2.

Scribe v3는 두 모델이 모두 지원하는 언어를 기준으로 비교했을 때, 테스트한 다른 모든 배치(비스트리밍) 모델보다도 단어 오류가 적습니다.

Chart shows Scribe v3 outperforming comparison models in word and semantic error rates.

실시간 화자 분리

16개 언어로 구성된 실제 환경 데이터세트의 영어 부분에서 Scribe v3 Live의 화자 분리 오류율은 3.1%로, 테스트한 다른 실시간 모델의 5.9%~7.3%와 비교됩니다.

Scribe v3 Live has the lowest diarization error at 3.1%, outperforming competitors.

표준 화자 분리 점수에는 누락된 단어와 같은 트랜스크립션 오류도 포함되며, 실시간 모델은 배치 모델보다 더 많은 단어를 놓칩니다. 각 단어가 올바른 화자에게 할당되었는지만 측정하기 위해, 점수를 매기기 전에 각 모델의 트랜스크립트를 기준 답안에 정렬했습니다. 이 방식은 모든 모델의 오류율을 낮추므로, 이 결과는 위의 배치 화자 분리 결과와 비교할 수 없습니다.

실시간 다국어 정확도

실시간 모델에서는 의미 기반 WER을 우선으로 봅니다. 스트리밍 모델은 문장 전체를 듣기 전에 텍스트를 작성하며, 각 제공업체는 진행 과정에서 숫자, 문장부호, 대소문자를 서로 다르게 처리합니다. 표준 WER은 의미가 같아도 이러한 차이를 오류로 계산하므로, 의미 기반 WER이 더 공정한 비교 기준입니다.

102개 언어 전반에서 Scribe v3 Live는 Scribe v2 Realtime과 비교해 의미 기반 WER을 43%, WER을 31% 줄였습니다. 모든 언어에서 개선되었으며, 테스트한 다른 모든 실시간 모델보다 오류율이 낮습니다.

실시간 트랜스크립션이 뒤처져 왔던 언어에서 개선 폭이 가장 큽니다. 그리스어는 77%, 덴마크어는 54%, 크로아티아어는 45% 개선되었고, 힌디어는 36% 개선되었습니다.

Scribe v3 has lower semantic word error rates than v2 across all tested languages.

방법론 안내: 평균을 내기 전에 각 언어를 개별적으로 평가했으므로, 102개 언어가 모두 동일한 비중으로 반영됩니다. 많은 공개 결과는 모든 클립을 하나의 점수로 통합하는데, 이 방식은 더 낮은 수치가 나오는 경향이 있습니다. 따라서 서로 다른 방식으로 측정한 결과는 직접 비교할 수 없습니다.

몇 퍼센트포인트의 정확도가 지니는 가치

이번 출시를 포함해 모든 모델 출시는 퍼센트 수치를 동반하지만, 실제 환경에서 몇 퍼센트포인트가 무엇을 의미하는지 수치만으로 파악하기는 어렵습니다. 분당 150단어로 진행되는 1시간 회의는 약 9,000단어이므로, 단어 오류율 4%와 2%의 차이는 잘못된 단어 180개입니다. 누군가 말한 매분마다 3개의 오류가 발생하는 셈입니다. 화자 분리 오류는 단어가 아닌 시간으로 측정되므로, 같은 회의에서 1퍼센트포인트는 잘못된 이름으로 표시된 음성 36초에 해당합니다.

이러한 오류의 비용은 어디에서 발생하느냐에 따라 달라집니다. 팟캐스트 트랜스크립트에서 잘못된 단어는 오타에 불과하지만, 실적 발표 통화에서 “fifteen”을 “fifty”로 잘못 들으면 애널리스트의 모델에 그대로 반영됩니다. 오류는 이름, 숫자, 약어, 전문 용어에 집중되기도 하는데, 이는 요약이나 에이전트가 가장 정확히 처리해야 하는 단어들입니다.

ElevenAgents에서 처음부터 정확하게 처리하기

음성 에이전트는 이 영향을 가장 크게 받습니다. 단 하나의 숫자를 잘못 인식해도 통화를 시작하는 검증이 실패할 수 있기 때문입니다. 네덜란드의 200만 가구와 기업에 에너지를 공급하는 Eneco는 ElevenAgents에서 음성 에이전트를 운영하며, 출시 전에 Scribe v3 Live를 테스트했습니다. 실제 고객 통화에서 에이전트는 네덜란드 우편번호를 첫 시도에 정확히 인식하는 비율이 40% 더 높았고, 번지수는 15% 더 높았습니다. 

Eneco의 시니어 프로덕트 매니저 Ruud Huigsloot는 “ElevenLabs는 Eneco의 진정한 파트너입니다. 포워드 배치 엔지니어들과 함께 음성 에이전트를 더욱 개선하기 위해 노력하고 있습니다. 이렇게 이른 단계부터 의미 있는 결과를 확인할 수 있어 기쁘며, 앞으로도 협업을 이어가기를 기대합니다.”라고 말했습니다.

엔터프라이즈를 위한 설계

Scribe v3와 Scribe v3 Live는 기본적으로 미국에서 실행되며, 데이터 레지던시 요구 사항이 있는 엔터프라이즈 고객을 위해 분리된 EU, 인도 및 싱가포르 환경에서도 제공됩니다. Zero Retention Mode는 요청이 완료되는 즉시 오디오와 텍스트를 삭제합니다. 두 모델은 SOC 2, ISO 27001 및 PCI DSS Level 1 프로그램의 적용을 받으며, 비즈니스 제휴 계약을 통해 HIPAA 적격으로 이용할 수 있고 프라이빗 배포도 가능합니다.

지금 시작하기

Scribe v3 Live는 ElevenAgents에서 사용할 수 있으며, v3와 v3 Live는 모두 ElevenLabs 앱의 기본 모델입니다. 가입하고 사용해 보세요.

Automatic speech recognition settings with Scribe v3 Live selected and model options displayed.

두 모델 모두 오늘부터 ElevenAPI에서도 사용할 수 있습니다. 기존 통합은 모델 ID를 scribe_v3 또는 scribe_v3_live로 변경하면 업그레이드됩니다. 

import { ElevenLabsClient } from "@elevenlabs/elevenlabs-js";

const elevenlabs = new ElevenLabsClient();
const connection = await elevenlabs.speechToText.realtime.connect({
  modelId: "scribe_v3_live",
  commitStrategy: "turn_prediction",
});

의료 팀을 위해 ElevenAgents에서 의료 대화에 최적화된 Scribe v3 Live 버전도 출시합니다.

작성자

Min은 ElevenLabs의 Growth 팀에서 ElevenAPI와 On-Prem/On-Device를 담당하고 있습니다. 이전에는 Stainless에서 두 번째 GTM 채용 인력으로서 제품 마케팅을 이끌었고, 그전에는 WorkOS의 초기 PMM으로서 출시, 세일즈 지원, 콘텐츠, 성장을 주도했습니다.

유사한 기사

최고 품질의 AI 오디오로 창작하세요