단어 오류율(WER): 핵심 개념, 공식, 활용법

이론적으로 단어 오류율(WER)은 자동 음성 인식(ASR) 도구의 정확도를 판단하는 지표입니다. WER가 낮을수록 최종 전사본이 더 정확하며, 오류율이 높을수록 잘못 전사된 정보가 많다는 뜻입니다.

실제로 WER는 환자가 ‘15밀리그램’이 아닌 ‘50밀리그램’ 처방을 받는다고 기록하는 의료 전사 소프트웨어의 차이를 만들 수 있습니다. 고객의 요구를 정확하게 전사하는 지원 도구와, 사용자를 답답하게 만드는 도구의 차이이기도 합니다.

이 글에서는 WER이 무엇인지, 계산 방법, 그리고 직접 ASR 제공업체를 평가할 때 어떻게 활용할 수 있는지 알아봅니다.

요약

• 단어 오류율은 치환, 삭제, 삽입의 세 가지 오류 유형을 집계해 기준 전사본의 단어 수로 나눈 값입니다.
• WER 공식은 WER = (S + D + I) / N 입니다.
• WER 점수가 낮을수록 최종 결과가 더 정확합니다.
• WER 5% 미만이면 좋은 기준이지만, 법률이나 의료 전사는 더 낮은 단어 오류율이 필요할 수 있습니다.
• WER는 모든 오류를 동일하게 취급하기 때문에, 맥락을 고려한 평가에는 완벽한 지표가 아닙니다. 의미 기반 오류율(SWER)과 같은 새로운 지표는 발화의 의미가 보존되었는지 측정하려고 시도합니다.

단어 오류율이란?

단어 오류율(WER)은 텍스트 음성 변환 모델에서 음성 인식 정확도를 측정하는 표준 지표입니다. 0~1 사이의 값(예: 0.8은 80% 오류율)을 나타내며, STT 시스템이 전사할 때 잘못 인식한 부분을 치환, 삭제, 삽입 오류로 구분해 계산합니다.

치환은 단어가 잘못된 단어로 바뀐 경우, 삭제는 단어가 완전히 누락된 경우, 삽입은 원래 말하지 않은 단어가 추가된 경우입니다. WER는 이 세 가지를 모두 합한 뒤, 정답 전사본의 단어 수로 나눠 다른 업체와 비교할 수 있는 수치를 제공합니다.

WER 공식은 다음과 같습니다:

WER = (S + D + I) / N

여기서:

• S: 치환(단어가 잘못됨)
• D: 삭제(단어가 누락됨)
• I: 삽입(추가 단어가 있음)
• N: 기준 전사본의 전체 단어 수

WER는 소수점이나 백분율로 표현할 수 있습니다. WER가 낮을수록 모델이 전사할 때 오류가 적었다는 의미입니다.

실제로 WER가 10%라면, 회의 전사본에서 10개 중 1개 단어는 다시 확인이 필요하다는 뜻입니다.

음성 인식 시스템에서 단어 오류율이 중요한 이유는?

단어 오류율은 팀이 다양한 제공업체를 객관적으로 비교할 수 있는 지표를 제공합니다. 마케팅 문구를 넘어 실제 음성 인식 모델의 정확도를 명확하게 보여줍니다. 데이터에 기반해 평가하면, 어떤 모델이 이 분야에서 선두인지 쉽게 파악할 수 있습니다.

출처: Artificial Analysis 2026년 7월 10일 기준.

2026년 7월 기준, 독립 연구기관인 Artificial Analysis는 ElevenLabs의 Scribe v2가 AA-AgentTalk 데이터셋의 비스트리밍 전사 모델 중 업계 최저 WER(1.5%)를 기록했다고 평가했습니다.

업체 평가를 넘어, WER는 제품 수준에서도 실제 영향을 미칩니다. WER가 12%인 의료 전사 소프트웨어는 환자 기록에 치명적인 오류를 남길 수 있습니다. 고객 지원 통화에서 잘못된 전사는 감정 분석 오류나 잘못된 분류 등 추가적인 문제로 이어질 수 있습니다.

이런 특정 사례 외에도, ASR 시스템이 실패할 때 가장 큰 영향을 받는 사람들은 전사본이 유일한 접근 수단인 사용자들입니다. World Wide Web Consortium은 접근성 향상을 위한 최소 기준에 대해 자세한 문서를 제공합니다.

단어 오류율 계산 방법: 공식과 예시

단어 오류율 계산은 단계만 알면 간단합니다. 앞서 살펴본 공식은 WER = (S + D + I) / N입니다. 각 용어는 위에서 설명했지만, 빠르게 참고하면 치환, 삭제, 삽입, 그리고 전체 단어 수(N)입니다.

WER 계산 방법은 다음과 같습니다:

1. 기준 전사본 만들기: 오디오 클립을 정확하게 전사하려면 사람이 직접 전사하고 검증하세요.
2. STT 도구 사용: ASR 플랫폼을 이용해 오디오 클립을 전사하고, 테스트용 AI 전사본을 만듭니다.
3. 두 버전 정렬: 동적 프로그래밍(특히 Levenshtein 알고리즘)을 사용해 최소 편집 횟수를 찾습니다. 이 알고리즘은 뒤에서 더 자세히 설명합니다.
4. 공식 적용: AI가 생성한 전사본과 사람이 검증한 전사본을 비교해 전체 오류 수를 세고, WER = (S + D + I) / N 공식으로 정확한 WER을 계산합니다.

이론상으로는 복잡해 보이지만, 실제로는 훨씬 쉽습니다. 아래 예시로 확인해보세요.

기준 전사본: Mrs. Dalloway said she would buy the flowers herself.

ASR 결과: Miss Dalloway said she would buy flowers herself.

전체 오류를 계산하면, 9개 단어 중 1개의 치환(S)과 1개의 삭제(D)가 있습니다.

공식에 따라 계산하면: WER = 2 / 9 = 0.222 = 22.2%입니다.

파이썬으로 단어 오류율 계산하기

수동 계산도 좋지만, 파이썬으로 WER을 계산하면 시간을 절약할 수 있습니다. jiwer 라이브러리가 이 모든 과정을 자동으로 처리해줍니다.

jiwer 공식 문서를 참고해 패키지를 설치하면, ASR 시스템 평가와 WER 등 핵심 지표 산출에 특화된 기능을 사용할 수 있습니다. 설치 후 아래 코드를 활용해 파이썬에서 WER을 빠르게 계산할 수 있습니다:

from jiwer import wer

reference = "the quick brown fox jumps over the lazy dog"
asr = "the quick brown fox leaps over the last lazy dog"

print(wer(reference, asr))  # 0.222

이 예시에서 ASR 결과는 기준 전사본과 두 부분이 다릅니다. ‘jumps’가 ‘leaps’로 잘못 전사(치환)됐고, ‘last’가 ‘lazy’ 앞에 삽입(삽입)되었습니다. 기준 전사본 9개 단어 중 두 개 오류가 있어 WER은 0.222 또는 22.2%가 됩니다.

단어 오류율과 다른 인식 지표 비교

WER가 ASR 정확도 계산의 표준 지표이지만, 사용할 수 있는 다른 도구도 있습니다. 예를 들어:

• 문자 오류율(CER): WER와 비슷하지만, 단어 단위가 아니라 문자 단위로 전사 정확도를 측정합니다. 단어 경계가 명확하지 않거나 철자에 민감한 언어에 적합합니다.
• 일치 오류율(MER): 치환, 삽입, 삭제를 WER와 약간 다르게 처리하며, 문장 내에서 잘못된 오류의 비율에 집중합니다.
• 단어 정보 손실(WIL): 전사 과정에서 원래 정보가 얼마나 손실됐는지 추정해, WER의 직접적인 오류 개수 대신 이해 가능성을 측정합니다.
• 임베딩 오류율(EmbER): 전사본 간 의미적 분석을 제공합니다. WER를 넘어, 올바른 단어와 잘못된 전사 간 의미적 거리를 파악할 수 있습니다.

각 지표는 상황에 따라 더 적합하게 쓰입니다. 아래 표를 참고하세요:

Levenshtein 거리 예시: WER의 수학적 원리

단어 오류율은 원본과 예측 결과 간의 거리(차이)를 측정하는 지표입니다. 이 차이를 수학적으로 이해하려면 Levenshtein 거리를 사용합니다.

Levenshtein 거리는 한 시퀀스를 다른 시퀀스로 바꾸는 데 필요한 최소 단위 편집 횟수를 셉니다. WER에서는 치환, 삽입, 삭제 편집이 해당됩니다. 예를 들어 Cat을 Mat으로 바꾸려면 ‘C’를 ‘M’으로 바꿔야 하므로 Levenshtein 거리는 1입니다.

CER 계산에서는 문자 단위가 많지만, WER는 Levenshtein 거리를 단어 단위로 확장해 사용합니다. 각 단위가 문자가 아니라 단어이며, ASR 결과를 정확한 원본으로 바꾸는 데 필요한 단어 편집 횟수를 측정합니다.

행렬을 만들어 각 셀이 원본 전사본과 ASR 전사본 간의 총 거리를 나타냅니다. Levenshtein 거리는 좌상단에서 우하단까지 행렬을 채우며, 마지막 셀이 전체 단어 단위 편집 횟수가 됩니다. 이 수를 N으로 나누면 WER이 계산됩니다.

이 행렬은 보통 문자 단위로 계산하지만, 여기서는 이해를 돕기 위해 앞선 예시를 단어 단위로 확장했습니다.

단어 오류율 관련 흔한 오해와 주의점

특히 STT API가 더 쉽게 접근 가능해지고 ASR 소프트웨어가 다양한 에이전트 스택에 보편화되면서, 여러 도구 간 비교가 많아질 것입니다.

직접 단어 오류율을 계산하기 전에 알아두면 좋은 흔한 문제와 오해가 있습니다.

• 모든 오류는 동일하게 취급됨: WER는 모든 오류를 똑같이 중요하게 봅니다. 많은 상황에서는 괜찮지만, 일부 환경에서는 용납될 수 없습니다. 예를 들어 병원에서 5% 오류율은 좋은 WER로 간주되지만, 한두 개 오류만으로도 환자에게 위험할 수 있습니다. 이런 한계 때문에 의미 기반 오류율(SWER) 등 새로운 지표가 개발되고 있습니다.
• WER가 100%를 넘을 수 있음: 앞서 WER가 0~1 사이라고 했지만, 실제로는 100%를 넘는 경우도 있습니다. 삽입 오류로 인해 원본보다 단어 수가 더 많아질 수 있기 때문입니다. 예를 들어 ‘I’m’을 ‘I am’으로 전사하면 한 단어가 두 단어가 됩니다.
• WER가 낮다고 항상 더 좋은 것은 아님: WER 5%가 10%보다 더 좋아 보이지만, 5%에 해당하는 오류가 문장 의미를 크게 바꾼 반면 10% 오류는 그렇지 않다면, 실제 맥락은 다를 수 있습니다. 의미적 영향까지 반영하려면 SWER 같은 지표가 필요합니다.

2024년, Apple은 위에서 언급한 마지막 포인트를 다룬 흥미로운 연구를 발표했습니다. 사람이 9.4% WER 전사본의 가독성을 평가할 때, 동일한 문장에 대해 단 2.2%의 WER만을 부여했습니다. 이 예시에서 사람들은 많은 ‘오류’를 중요하지 않게 여겨, 기계보다 4배 이상 관대한 Human WER을 산출했습니다.

WER 업계 기준

이상적인 WER은 사용하는 산업이나 용도에 따라 크게 달라집니다. WER 5% 미만이 업계 기준이지만, 의료·법률 전사 등 특정 분야는 훨씬 더 낮은 오류율이 필요합니다.

Artificial Analysis의 2026년 7월 연구에서 ElevenLabs Scribe v2는 1.5% WER을 기록했습니다. 다만, 이런 통계는 대부분 영어를 기준으로 진행된다는 점을 기억해야 합니다. 다른 언어의 STT 기술은 동일한 성능을 보장하지 않을 수 있습니다.

ElevenLabs Docs에서는 일반 WER 구간을 Scribe v1과 Scribe v2가 지원하는 모든 언어별로 안내합니다.

ElevenAPI로 인식 정확도 높이기 시작하기

전사 품질이 중요한 애플리케이션이나 제품을 만들 때, 잘 선택한 ASR API와 평범한 API의 차이는 WER에서 먼저 드러나고, 곧 사용자 경험에서도 차이가 납니다.

ElevenLabs Scribe는 텍스트 음성 변환 레이어로 ElevenAPI를 통해 사용할 수 있습니다. 90개 이상의 언어 지원과 업계 최고 수준의 WER 외에도, 화자 분리, 단어 단위 타임스탬프, 주요 용어 프롬프트, 엔터티 감지 등 다양한 기능을 제공합니다.

ElevenLabs Docs에서 ElevenAPI에 대해 더 알아보거나, 지금 가입해 바로 시작하세요.

단어 오류율 FAQ