더 스마트한 워크플로로 텍스트 음성 변환 정확도 문제 해결하기

텍스트 음성 변환(STT) 정확도는 세 가지 요소에 따라 달라집니다. 오디오 품질, 화자의 말하는 방식, 그리고 사용하는 단어입니다. 소음과 과도한 압축은 녹음에서 세부 정보를 제거하며, 성능이 뛰어난 모델도 겹치는 음성이나 낯선 전문 용어에는 어려움을 겪을 수 있습니다. 이 가이드에서는 각 STT 문제가 발생하는 원인과 해결 방법을 설명합니다.

트랜스크립션 오류는 텍스트에만 머물지 않습니다. 임상 기록에서 잘못 인식된 약물명이나 통화 기록의 잘못된 계좌번호는 검색과 분석부터 발화 내용을 기반으로 작동하는 AI 에이전트까지 해당 텍스트를 사용하는 모든 시스템에 영향을 미칩니다. 정확도가 낮으면 누군가 수동으로 오류를 찾아 수정해야 하므로 검토 시간도 늘어납니다. 

다행히 대부분의 STT 정확도 문제는 해결할 수 있습니다. 많은 해결 방법은 기존 구성이나 녹음 설정을 조금만 변경하면 되므로, 모델 설정을 바꾸지 않고도 문제를 해결할 수 있습니다.

이 주제는 음성 인식 정확도, ASR 정확도 또는 트랜스크립션 정확도라고도 합니다. 텍스트 음성 변환, 음성 인식, 자동 음성 인식(ASR)은 모두 음성 오디오를 텍스트로 변환하는 같은 과정을 의미합니다. 이 가이드의 해결 방법은 어떤 용어를 사용하든 적용할 수 있습니다.

요약

• 텍스트 음성 변환 정확도는 오디오 입력 품질, 화자 특성, 어휘 및 문맥 문제에 따라 달라집니다.
• 정확도 문제를 해결하려면 파이프라인의 어느 단계(입력, 처리 또는 출력)에서 변경할 수 있는지 파악하세요.
• 16kHz 이상으로 녹음하고 무손실 형식을 사용하며, 마이크는 화자 입에서 4~6인치 거리에 배치하세요.
• 보이스 아이솔레이션, 화자 분리 또는 멀티채널 녹음, 키텀 프롬프팅을 사용해 소음, 겹치는 화자, 전문 용어를 처리하세요.
• 단어 오류율(WER)로 정확도를 측정하고, 사용 사례에서 어떤 오류가 가장 중요한지 확인하세요.

텍스트 음성 변환 정확도 문제의 원인은 무엇인가요?

배경 음악과 주변 대화 소리가 있는 붐비는 식당에서 녹음된, 강한 억양의 교수가 복잡한 이론 물리학을 설명하는 오디오를 트랜스크립션해 달라는 요청을 받았다고 생각해 보세요. 디지털 컴퓨터 시스템은 본래 음향의 다양성에 맞춰져 있지 않습니다. STT를 효과적으로 작동시키려면 상당한 학습과 미세 조정이 필요하며, 최신 AI 도구는 매우 효과적이지만 여전히 많은 문제가 출력에 영향을 줄 수 있습니다. 하지만 원인을 이해하면 트랜스크립션 워크플로에서 해결할 수 있습니다.

부정확한 텍스트 음성 변환에는 세 가지 주요 원인이 있습니다.

• 오디오 입력 품질 문제
• 화자 특성
• 어휘 및 문맥 문제

원인마다 해결 방법이 다르며, 아래 섹션에서 차례로 다룹니다.

오디오 품질 문제

먼저 오디오 녹음 자체에 문제가 있을 수 있습니다. 마이크 문제로 음성이 왜곡되거나 잘릴 수 있습니다. 장소의 음향으로 인한 잔향, 녹음의 낮은 신호 대 잡음비(SNR), 낮은 샘플링 레이트는 모두 녹음에서 중요한 음성학적 정보를 제거할 수 있습니다.

화자 특성

조용한 장소에서 중립적인 억양으로 말하는 한 명의 화자는 비교적 쉽게 트랜스크립션할 수 있습니다. 하지만 우리가 트랜스크립션하려는 녹음은 대개 그런 유형이 아닙니다. 낯선 억양과 끊기는 말투 또는 비전형적인 말하기 리듬은 표준화된 음성으로 학습된 STT 모델을 혼란스럽게 할 수 있습니다. 혼선이나 겹치는 화자 역시 모델이 발화를 정확히 분석하는 능력을 저해할 수 있습니다.

어휘 및 문맥 문제

마지막으로 발화 내용도 일부 STT 모델에는 어려움이 될 수 있습니다. 업계 전문 용어와 새 제품명은 STT 모델이 학습 중 접하지 못한 언어일 수 있습니다. 모델은 통계적으로 가장 가능성 높은 출력을 선택하므로, 익숙하지 않은 발화는 최상위 예측이 아닐 수 있습니다. 숫자나 수학 표현, 또는 숫자로 표기될 수 있는 발화도 명확하게 트랜스크립션되지 않을 수 있습니다.

동음이의어는 소리는 같지만 철자가 다른 단어입니다. STT 모델은 이를 구분할 만큼 충분한 문맥 이해가 필요합니다. 예를 들어 “the bear ambled across the bare mountainside.”라는 문장에서 모델은 동물은 “bear”로, 덮이지 않은 표면을 뜻하는 형용사는 “bare”로 철자가 다르다는 점을 알아야 합니다.

오디오부터 출력까지 텍스트 음성 변환 정확도 문제 해결하기

텍스트 음성 변환 처리는 명확히 정의된 여러 단계로 이루어집니다. 정확도 문제를 해결하려면 해당 파이프라인의 어느 지점에서 변경할 수 있는지 파악해야 합니다. 크게 보면 STT 프로세스는 다음과 같이 나뉩니다.

• 입력
• 처리
• 출력

각 단계에는 고유한 실패 방식과 해결 방법이 있습니다.

업스트림 입력 정확도 문제

녹음 환경에 문제가 있을 수 있습니다. 일반적인 문제로는 배경 소음이나 울림이 있습니다. 녹음 장비가 고장 난 경우에도 문제가 발생할 수 있습니다.

이 단계의 문제를 해결하려면 일반적으로 문제 원인을 분리해 해결해야 합니다. 예를 들어 STT 도구가 큰 배경 소음에 취약하다는 것을 안다면, 더 잘 통제할 수 있는 환경에서 대화를 진행하는 것이 좋습니다.

피할 수 없는 소음은 오디오가 모델에 도달하기 전에 보이스 아이솔레이션을 적용하세요.

처리 단계의 정확도 문제

STT 엔진용 API 구성 방식은 처리 결과에 영향을 줄 수 있습니다. 프롬프트 구조와 선택한 모델도 품질과 부정확성의 수에 영향을 미칠 수 있습니다.

이 단계의 문제를 해결하려면 자체 오디오로 설정을 테스트해야 합니다. 동일한 샘플 녹음을 각 후보 모델에 적용하고 단어 오류율을 비교한 뒤, 한 번에 하나의 설정만 바꾸며 개선하세요. 

소음이 있는 통화나 특정 지역 억양처럼 한 종류의 음성을 모델이 계속 놓친다면, 실제 사용할 환경에서 서로 다른 모델의 정확도를 테스트하세요. 

다운스트림 출력 정확도 문제

이 단계는 품질 관리 계층으로, 전문화된 프로세스가 주 엔진이 놓쳤을 수 있는 트랜스크립션 오류와 모호성을 정리합니다. STT 파이프라인은 흔히 규칙 기반 패턴 매칭을 사용해 형식을 표준화합니다(예: “ten dollars”를 “$10.00”으로 변경). 이를 역텍스트 정규화(ITN)라고 합니다. 하지만 화자가 이런 표현을 비표준 방식으로 사용하거나 잘못 발음하면, 경직된 찾기 및 바꾸기 매칭 도구는 이를 잡아내지 못합니다.

휴먼 인 더 루프 (HITL)가 출력 품질을 확인하는지도 고려해야 합니다. 그렇지 않으면 부정확한 내용이 실제 운영 출력에 포함될 수 있습니다. 사람이 수행하는 모든 작업과 마찬가지로 인적 오류가 발생할 가능성이 있습니다.

이 단계에서 문제를 해결한다는 것은 주 엔진이 남긴 오류를 잡아내는 것입니다. 트랜스크립트를 참조 샘플과 비교해 반복되는 오류를 찾은 다음, 해당 용어에 맞춘 규칙이나 사용자 지정 사전을 추가할 수 있습니다. 특히 중요한 트랜스크립션에는 항상 사람의 검토 단계를 추가하세요.

더 나은 오디오로 음성 인식 정확도 높이기

녹음 중 오디오 품질을 개선하면 많은 다운스트림 정확도 문제를 줄일 수 있습니다. 더 높은 샘플링 레이트를 사용하고 압축은 최소화하거나 사용하지 않으며, 가능한 한 선명한 녹음 환경을 유지하세요.

샘플링 품질

녹음에는 16kHz 또는 44.1kHz 오디오를 사용하세요. 기존 전화 품질의 8kHz 오디오 샘플링 이하에서는 STT 모델이 분석하기 어려울 수 있습니다. 모델에는 소리가 먹먹하고 뭉개져 들리며, 통화 중 사람이 할 수 있는 것처럼 화자에게 다시 말해 달라고 요청할 수도 없습니다.

샘플링 레이트는 해당 레이트의 절반까지의 주파수만 재현할 수 있습니다. 이를 시스템의 나이퀴스트 주파수라고 합니다. 8kHz에서는 4kHz 이상의 모든 주파수가 잘리며, 특히 STT 모델이 마찰음(“s”와 “f” 소리)과 파열음(“p”와 “t” 소리)을 구분하기 어려워집니다.

압축

MP3나 AAC 같은 손실 형식으로 녹음하면 음성의 미세한 차이도 사라질 수 있습니다. 모델이 활용할 신호가 줄어듭니다. FLAC 또는 PCM WAV 같은 무손실이나 비압축 형식을 사용하세요.

녹음 환경

마이크 사용 시 오디오 엔지니어링 모범 사례를 따르세요. 무지향성 마이크는 통제된 환경에서 가장 잘 작동합니다. 그렇지 않은 경우에는 음성을 분리하는 데 지향성 마이크가 더 적합합니다. 마이크는 화자 입에서 4~6인치(10~15cm) 거리에 배치하고, 화자가 더 가까이 몸을 기울이지 않도록 하세요. 가까이 다가가면 근접 효과가 발생해 저주파가 증폭되고 녹음이 탁해집니다.

가능하면 마이크에 팝 필터도 사용하세요. 팝 필터는 파열 자음을 말할 때 생기는 공기 파열음을 분산합니다(예: “p”, “b” 소리).

더 나은 음성 인식을 위한 배경 소음 줄이기

앞선 섹션에서 언급했듯, 가능하면 화자 입에서 4~6인치 거리의 근접 마이킹 녹음을 사용하세요. 녹음을 탁하게 만드는 백색 소음과 배경 소음은 피하세요. 현장 녹음 경험이 없으면 알아차리기 어려운 일반적인 소음원으로는 HVAC 시스템의 윙윙거림, 키보드 타이핑 소리, 일반적인 거리 소음 등이 있습니다. 이 모든 소음은 STT 모델의 음성 분석 능력을 저해할 수 있습니다.

하지만 배경 소음을 피할 수 없는 경우가 많습니다. 이때는 오디오를 STT 모델로 보내기 전에 전처리 단계로 보이스 아이솔레이션을 적용하는 것이 좋습니다. 보이스 아이솔레이션은 소프트웨어 알고리즘 또는 가벼운 특수 신경망 모델을 사용해 음성 녹음에서 배경 오디오를 필터링합니다.

억양, 겹치는 화자, 전문 용어 처리하기

최신 다국어 모델은 다양한 음성 데이터로 학습되지만, 실제 환경의 오디오를 처리할 때 정확도는 여전히 달라질 수 있습니다. 관련 사용자층의 샘플 오디오를 사용해 여러 모델에서 자체 벤치마크를 실행하세요. 활용할 수 있는 과거 서비스 통화가 있다면, 실제로 트랜스크립션하려는 억양, 리듬, 말하기 패턴이 포함된 통화를 트랜스크립션해 보세요.

출력에서 오류를 확인하고 관련 패턴을 파악하세요. 모델이 젊은 연령층이 쓰는 속어에 어려움을 겪나요? 자주 접하는 특정 지역 억양에서 실수하나요?

겹치는 화자 처리하기

겹치는 음성을 정확히 트랜스크립션하는 두 가지 주요 도구는 화자 분리와 멀티채널 녹음입니다. 화자 분리 프로세스는 원본 오디오 입력을 개별적으로 인식된 화자별로 분할합니다. 화자가 명확하게 번갈아 말할 때 효과적입니다.

모든 음성 스트림을 하나의 오디오 트랙으로 섞는 대신, 네이티브 멀티채널 녹음을 사용하면 각 화자를 별도 채널에 유지할 수 있으며 STT 모델은 이를 식별하고 독립적으로 처리할 수 있습니다. 각 화자가 녹음에서 기본적으로 분리되므로 음성 모델이 사후에 화자 분리를 수행할 필요가 없습니다.

키텀 프롬프팅으로 긍정적 편향 제공하기

브랜드명, 새 제품명, 업계 전문 용어 및 기타 고유 용어는 STT 모델의 학습 데이터에 포함되지 않았다면 정확히 트랜스크립션되지 않는 경우가 많습니다. 키텀 프롬프팅은 모델이 우선하도록 원하는 특정 철자를 STT 모델에 제공하는 프로세스입니다. 보통 일대일 치환 프롬프트가 아니라, 문맥에 따라 원하는 사용자 지정 철자를 모델이 선택하도록 편향을 주는 방식입니다.

숫자, ID, 약물명을 정확히 트랜스크립션하기

숫자, 계좌 ID, 우편번호, 약물명은 작은 오류가 가장 큰 비용을 초래하는 영역입니다. 모델은 “fifteen”을 “fifty”로 잘못 듣거나, hydroxyzine과 hydralazine처럼 한 음절 차이인 두 약물명을 혼동할 수 있습니다. 

다음 세 단계가 도움이 됩니다.

• 키텀 프롬프팅 사용: 예상되는 약물명, 제품명 및 기타 용어의 철자를 모델이 우선하도록 설정하세요.
• 역텍스트 정규화(ITN) 적용: 예를 들어 “ten dollars”를 “$10.00”으로 바꾸어, 말로 표현된 숫자의 형식을 일관되게 지정하세요.
• 중요 필드 검증 추가: 약물 용량과 계좌번호 같은 필드에는 사람의 검토나 알려진 목록과의 자동 검증을 사용하세요.

전체 WER이 낮아도 가장 중요한 단어에서 발생하는 오류를 가릴 수 있으므로, 이러한 필드는 별도로 테스트하세요.

음성 인식의 단어 오류율로 품질 측정하기

단어 오류율(WER)은 STT 엔진의 정확도를 평가하는 데 유용한 지표입니다. 여러 모델 테스트에서 WER을 비교하면 모델 간 상대적 정확도를 파악할 수 있습니다.

WER 계산 방식은 다음과 같습니다.

WER = (S + D + I) / N

• 대체(S): 트랜스크립션에서 STT 엔진이 잘못된 단어를 출력한 횟수입니다(예: “look” 대신 “took”).
• 삭제(D): 완전히 놓친 단어의 수입니다.
• 삽입(I): 실제로 말하지 않았는데 추가한 단어의 수입니다.
• 전체 참조 단어 수(N): 샘플 음성 입력에 포함된 전체 단어 수입니다.

WER은 모든 오류에 동일한 가중치를 부여한다는 점에 유의해야 합니다. 예를 들어 “look”을 “took”으로 대체하는 오류는 브랜드명이나 약물 용량처럼 중요한 수치를 잘못 인식하는 오류와 동일하게 계산됩니다. 여러 모델의 WER을 확인하세요.

좋은 단어 오류율이란 무엇인가요?

적절한 목표는 오디오와 사용 사례에 따라 다르므로, 단 하나의 좋은 WER은 없습니다. 깨끗한 단일 화자 오디오는 화자가 겹치는 소음 많은 통화보다 오류율이 훨씬 낮습니다. 눈에 띄는 수치에 의존하지 말고 자체 녹음으로 모델을 비교하세요.

전문 오디오의 기준점으로 Scribe v2 Medical은 공개 의료 ASR 벤치마크에서 최고 성능 모델 중 하나입니다. 최신 수치는 현재 벤치마크 결과를 확인하세요.

새 모델이 출시되면 벤치마크 결과도 달라집니다. 비교하기 전에 현재 결과를 확인하세요.

정확도와 정밀도: 트랜스크립션 팀이 측정해야 할 것

정확도는 트랜스크립션 출력이 발화된 ‘정답’ 입력과 얼마나 근접하게 일치하는지를 의미합니다. 단어 오류율은 정확도를 측정합니다.

정밀도는 STT 모델의 긍정 예측이 얼마나 신뢰할 수 있는지를 의미합니다. 정밀도가 높은 모델은 복잡한 음성에 대해 여러 번 실행해도 같은 단어를 선택합니다. 모델이 어떤 단어를 출력하면, 그 단어가 발화에 있었다고 신뢰할 수 있습니다. 하지만 정밀도가 높은 모델도 많은 단어를 삭제한다면 정확도는 낮을 수 있습니다.

더 정확한 트랜스크립션을 위해 ElevenAPI 시작하기

ElevenAPI를 사용하면 ElevenLabs의 텍스트 음성 변환 모델인 Scribe v2와 함께, 이 가이드에서 다룬 정확도 문제를 해결하는 기능을 이용할 수 있습니다. 이름과 전문 용어를 위한 키텀 프롬프팅, 겹치는 화자를 위한 멀티채널 트랜스크립션, 그리고 화자 분리가 제공됩니다.

API를 사용하지 않고 트랜스크립션하려면 ElevenCreateive STT도 이용할 수 있습니다.

지금 ElevenAPI로 고품질 텍스트 음성 변환을 시작하거나 ElevenAPI의 텍스트 음성 변환 기능을 자세히 알아보세요.

텍스트 음성 변환 정확도 관련 자주 묻는 질문