단어 오류율(WER): 핵심 개념, 공식, 활용법

이론적으로 단어 오류율(WER)은 자동 음성 인식(ASR) 도구의 정확도를 판단하는 지표입니다. WER이 낮을수록 최종 전사본의 정확도는 높고, 오류율이 높을수록 잘못 전사된 정보가 많다는 뜻입니다. 

실제로 WER은 의료 전사 소프트웨어가 환자에게 처방전의 ‘15밀리그램’이 필요하다고 기록할지, ‘50밀리그램’이 필요하다고 기록할지를 가를 수 있습니다. 고객의 요구를 정확히 전사하는 지원 도구와 사용자를 답답하게 만드는 도구의 차이이기도 합니다.

이 글에서는 WER의 의미와 계산 방법, 그리고 자체 ASR 제공업체를 벤치마킹하는 데 활용하는 방법을 살펴보겠습니다.

요약

• 단어 오류율은 대치, 삭제, 삽입의 세 가지 오류 수를 기준 전사본의 단어 수로 나눈 값입니다.
• WER 공식은 WER = (S + D + I) / N입니다. 
• WER 점수가 낮을수록 최종 결과물의 정확도가 높습니다.
• WER 5% 미만은 좋은 기준이지만, 법률 또는 의료 전사에는 더 낮은 단어 오류율이 필요할 수 있습니다.
• WER은 모든 오류를 동일하게 취급하므로 맥락을 읽는 데 완벽한 지표는 아닙니다. 의미 단어 오류율(SWER) 같은 새로운 지표는 발화의 의미가 보존되었는지를 측정해 이 문제를 해결하고자 합니다.

단어 오류율이란 무엇인가요?

단어 오류율(WER)은 텍스트 음성 변환 모델에서 음성 인식 정확도를 측정하는 표준 지표입니다. STT 시스템이 전사 중 잘못 처리한 내용을 대치, 삭제, 삽입을 기준으로 나타낸 0~1의 값입니다(0.8은 오류율 80%를 의미).

대치는 단어가 잘못된 단어로 바뀐 경우입니다. 삭제는 단어가 완전히 누락된 경우입니다. 마지막으로 삽입은 실제로 말하지 않은 단어가 전사본에 추가된 경우입니다. WER은 이 세 요소를 모두 사용한 뒤 정확한 전사본의 단어 수로 나누어, 다른 제공업체와 비교할 수 있는 수치를 제공합니다.

WER 공식은 다음과 같습니다:

각 항목의 의미:

• S: 대치(단어가 틀림)
• D: 삭제(단어가 누락됨)
• I: 삽입(추가 단어가 있음)
• N: 기준 전사본의 총 단어 수

WER은 소수 또는 백분율로 표현할 수 있습니다. 모델이 전사 과정에서 더 적은 오류를 낼수록 WER이 낮아지고 점수도 더 좋습니다. 

실제로 WER 10%는 회의 전사본의 단어 10개 중 약 1개를 다시 확인해야 한다는 의미입니다. 

음성 인식 시스템에서 단어 오류율이 중요한 이유는 무엇인가요?

단어 오류율은 팀이 여러 제공업체를 비교할 때 사용할 수 있는 객관적인 지표입니다. 마케팅 주장을 걷어내고 음성 인식 모델의 정확도를 명확히 보여 줍니다. 근거를 바탕으로 판단하면, 옵션을 검토하는 모든 기업은 현재 이 분야를 선도하는 모델이 무엇인지 분명히 파악할 수 있습니다.

출처: Artificial Analysis (2026년 7월 10일 접속).

2026년 7월 기준, Artificial Analysis의 독립 연구는 ElevenLabs의 Scribe v2가 비스트리밍 전사 모델의 AA-AgentTalk 데이터 세트에서 WER 1.5%를 기록하며 업계 최저 WER을 보유한 것으로 평가했습니다.

공급업체 평가를 넘어 WER은 제품 수준에서도 실제 영향을 미칩니다. WER이 12%인 의료 전사 소프트웨어는 환자 기록에 심각한 오류를 초래할 수 있습니다. 고객 지원 통화의 오전사는 부정확한 감정 분석이나 잘못된 분류 같은 후속 문제로 이어질 수 있습니다.

이러한 사용 사례별 문제를 넘어, ASR 시스템이 실패했을 때 가장 큰 영향을 받는 사람들은 전사본이 음성 콘텐츠에 접근할 수 있는 유일한 방법인 경우가 많습니다. 월드 와이드 웹 컨소시엄은 접근성 이니셔티브에서 기대하는 최소 기준에 관한 광범위한 문서를 제공합니다.

단어 오류율 계산 방법: 공식과 예시

단어 오류율 계산은 절차만 알면 간단합니다. 앞서 살펴본 대로 사용할 공식은 WER = (S + D + I) / N입니다. 모든 항은 위에서 설명했지만, 빠르게 정리하면 대치, 삭제, 삽입, 그리고 전사본의 총단어 수를 뜻하는 N입니다.

WER 계산 방법은 다음과 같습니다:

1. 기준 전사본 만들기: 사람의 전사와 검수를 통해 오디오 클립의 정확한 전사본을 만듭니다. 
2. STT 도구 사용: ASR 플랫폼으로 오디오 클립을 전사하여, 테스트에 사용할 AI 전사본을 생성합니다.
3. 두 버전 정렬: 동적 프로그래밍(특히 레벤슈타인 알고리즘)을 사용해 최소 편집 횟수를 찾습니다. 이 알고리즘은 뒤에서 자세히 설명하겠습니다.
4. 공식 적용: AI 생성 버전과 사람이 검수한 원본을 비교해 총 오류 수를 세고, WER = (S + D + I) / N으로 정확한 WER을 계산합니다.

문서상으로는 꽤 기술적으로 보이지만, 실제로는 훨씬 간단합니다. 아래 예시로 살펴보겠습니다.

기준 전사본: 댈러웨이 부인은 꽃을 직접 사겠다고 말했다.

ASR 출력: 댈러웨이 양은 꽃을 직접 사겠다고 말했다.

총 오류를 계산하면 총 9개 단어 중 S 1개와 D 1개가 있습니다. 

공식을 적용하면 WER = 2 / 9 = 0.222 = 22.2%입니다. 

Python으로 단어 오류율 계산하기

수동 방식도 훌륭하지만 Python으로 WER을 계산하면 시간을 절약할 수 있습니다. jiwer 라이브러리가 이 모든 과정을 완전히 자동으로 처리합니다.

jiwer 문서를 참고하면 ASR 시스템을 평가하고 WER 같은 핵심 지표를 생성하도록 설계된 패키지를 설치할 수 있습니다. 다운로드한 후에는 다음 코드로 Python에서 WER을 빠르게 계산할 수 있습니다:

from jiwer import wer

reference = "the quick brown fox jumps over the lazy dog"
asr = "the quick brown fox leaps over the last lazy dog"

print(wer(reference, asr))  # 0.222

이 예시에서 ASR 출력은 원본 기준 텍스트와 두 곳에서 다릅니다. ‘jumps’라는 단어가 ‘leaps’로 잘못 전사되었고(대치), ‘lazy’ 앞에 ‘last’가 삽입되었습니다(삽입). 기준 전사본의 9개 단어에서 2개의 오류가 발생했으므로 단어 오류율(WER)은 0.222, 즉 22.2%입니다.

단어 오류율과 다른 인식 지표 비교

WER은 ASR 정확도를 계산하는 표준 지표이지만, 활용할 수 있는 다른 도구도 있습니다. 예를 들면 다음과 같습니다:

• 문자 오류율(CER): WER과 마찬가지로 전사 정확도를 측정하지만 단어가 아닌 문자 수준에서 측정합니다. 명확한 단어 경계가 없는 언어(scriptio continua)나 철자에 민감한 작업에 적합합니다.
• 일치 오류율(MER): 대치, 삽입, 삭제를 WER과 약간 다르게 처리하여 전사 오류의 비율을 측정합니다. 문장에서 잘못된 오류의 비율에 초점을 맞춥니다.
• 손실된 단어 정보(WIL): 전사 중 원본 정보가 얼마나 손실되었는지 추정하며, WER의 직접적인 오류 수 대신 이해 가능성을 측정합니다.
• 임베딩 오류율(EmbER): 전사본 간의 의미론적 분석을 제공합니다. WER을 넘어 올바른 단어와 잘못 전사된 단어 간의 의미적 거리에 대한 인사이트를 제공합니다.

각 지표는 서로 다른 상황에 가장 적합합니다. 다음 표를 참고하세요:

레벤슈타인 거리 예시: WER의 수학적 원리

단어 오류율은 본질적으로 원본과 가설 출력 간 거리의 척도입니다. 이 차이를 수학적으로 이해하기 위해 레벤슈타인 거리를 사용합니다.

레벤슈타인 거리는 한 시퀀스를 다른 시퀀스로 변환하는 데 필요한 최소 단위 편집 횟수를 계산합니다. WER에서는 구체적으로 대치, 삽입, 삭제 편집을 뜻합니다. 예를 들어 Cat을 Mat으로 바꾸려면 문자 ‘C’를 ‘M’으로 바꿔야 하므로 레벤슈타인 거리는 1입니다.

CER 계산에서는 이를 훨씬 더 자주 보게 되지만, WER은 레벤슈타인 거리를 단어 수준으로 확장합니다. 각 단위가 문자가 아니라 하나의 완전한 단어이며, 실제 거리는 ASR 출력을 정확한 원본으로 바꾸는 데 필요한 단어 편집 횟수입니다. 

각 셀이 원본 전사본과 ASR 전사본 간의 총거리를 나타내는 행렬을 만듭니다. 레벤슈타인 거리는 행렬을 왼쪽 위에서 오른쪽 아래까지 채우며, 마지막 셀이 단어 수준의 총편집 횟수를 알려 줍니다. 이 수를 N으로 나누면 WER입니다. 

이 행렬은 보통 개별 문자로 계산하지만, 이해를 돕기 위해 앞선 예시를 확장한 버전을 소개합니다. 

단어 오류율에 관한 흔한 함정과 오해

특히 STT API가 더 쉽게 접근 가능해지고 ASR 소프트웨어가 더 광범위한 에이전트 스택의 일반적인 구성 요소가 되면서, 다양한 도구 간 비교가 많이 이루어질 것입니다. 

자체 단어 오류율을 계산하기 전에 알아두어야 할 몇 가지 흔한 문제와 오해가 있습니다.

• 모든 오류는 동일하다: WER은 모든 오류를 똑같이 중요하게 취급합니다. 많은 상황에서는 문제가 없지만, 일부 사용 사례에서는 용납할 수 없습니다. 예를 들어 병원에서는 좋은 WER로 여겨지는 5% 오류도 이해하기 어려울 수 있습니다. 단 한두 개의 오류만으로도 환자가 위험에 처할 수 있기 때문입니다. 이러한 한계로 인해 모든 단어가 정확히 일치하는지가 아니라 문장의 의미가 보존되었는지를 측정하려는 의미 단어 오류율(SWER) 같은 새로운 지표가 개발되었습니다. 
• WER은 100%를 넘을 수 있다: 앞서 WER이 0과 1 사이의 값이라고 했지만, 100%를 넘는 WER도 가능합니다. 삽입 오류로 인해 원본 전사본의 총단어 수보다 더 많은 단어가 생길 수 있기 때문입니다. 대표적인 예는 ‘I’m’을 ‘I am’으로 전사하는 경우로, 하나가 둘이 됩니다. 
• 낮은 WER이 항상 더 좋은 것은 아니다: 문서상으로 WER 5%는 WER 10%보다 좋습니다. 하지만 5%를 구성하는 오류가 문장의 맥락을 크게 바꾸고 10%의 오류는 그렇지 않다면, 전체 상황을 반영하지 못합니다. 맥락은 여전히 매우 중요하며, SWER 같은 지표는 이러한 의미적 영향을 포착하기 위해 개발되고 있습니다.

2024년 Apple은 위의 마지막 요점을 탐구한 흥미로운 연구를 발표했습니다. 사람이 ASR의 가독성을 기준으로 WER 9.4%를 평가했을 때, 동일한 문단에 WER 2.2%만 부여했습니다. 테스트 사례에서 사람들은 많은 경우 ‘오류’를 중요하지 않은 것으로 판단했으며, 기계보다 4배 이상 관대한 Human WER이 산출되었습니다.

WER의 업계 벤치마크

이상적인 WER은 ASR 기술을 사용하는 산업 또는 사용 사례에 크게 좌우됩니다. WER 5% 미만은 업계 벤치마크이지만, 의료나 법률 전사 같은 특정 산업에는 훨씬 더 낮은 비율이 필요합니다. 

Artificial Analysis의 2026년 7월 연구에서 ElevenLabs의 Scribe v2는 WER 1.5%를 기록했습니다. 다만 이러한 통계는 일반적으로 영어를 주언어로 수행한 연구라는 점을 기억해야 합니다. 다른 언어에서 STT 기술은 효과가 떨어질 수 있습니다. 

ElevenLabs Docs에서는 일반 WER 구간을 Scribe v1과 Scribe v2가 지원하는 모든 언어별로 정리합니다.

ElevenAPI로 인식 정확도 높이기

전사 품질이 중요한 애플리케이션이나 제품을 구축할 때, 잘 선택한 ASR API와 평범한 API의 차이는 먼저 WER에서, 그다음에는 사용자 경험에서 드러납니다. 

ElevenLabs Scribe는 텍스트 음성 변환 레이어로, ElevenAPI를 통해 이용할 수 있습니다. 90개 이상의 언어와 업계 최고 수준의 WER을 제공하며, 화자 분리, 단어 수준 타임스탬프, 핵심 용어 프롬프팅, 엔터티 감지 등의 기능을 지원합니다.

ElevenLabs Docs에서 ElevenAPI에 대해 자세히 알아보거나 가입하여 지금 시작하세요. 

단어 오류율 FAQ