타임스탬프 및 이벤트 태깅을 포함한 오디오 전사는 어떻게 작동하나요?

네이티브 단어 수준 전사 모델은 오디오 녹음 또는 실시간 스트림을 입력으로 받아 음성 및 비음성 사운드를 나타내는 태그와 타임스탬프가 포함된 토큰 객체의 구조화된 배열을 출력합니다. 각 토큰은 word, spacing, audio_event의 세 가지 유형 중 하나입니다. 오디오 이벤트에는 웃음, 박수 또는 기타 배경음이 포함될 수 있습니다.

이 글에서는 타임스탬프가 포함된 오디오 전사가 작동하는 방식과 강제 정렬에 의존하는 기존 전사보다 더 유연하고 강력한 이유를 살펴보겠습니다.

요약

• 단어 수준 전사는 구조화된 타임스탬프 기반의 음성 데이터 및 비언어적 오디오 이벤트 배열을 직접 출력합니다.
• 이는 전체 텍스트 블록을 출력하는 기존 자동 음성 인식 모델과 대조됩니다. 해당 텍스트에 원본 오디오의 타임스탬프를 추가하려면 두 번째 강제 정렬 과정을 거쳐야 하며, 시간이 더 걸리고 컴퓨팅 오버헤드도 늘어납니다.
• 이벤트 태그를 사용하면 웃음이나 박수와 같은 비언어적 콘텐츠를 포착할 수 있습니다. 이 데이터는 검색할 수 있으므로 청중 반응을 기반으로 하이라이트나 바이럴 가능성이 높은 순간을 찾는 데 활용할 수 있습니다.
• 구조화된 출력 데이터를 애플리케이션에 전달하여 고정밀 자막 생성, 검색 가능한 오디오 아카이브, 자동화된 소셜 미디어 클리핑 등 다양한 용도로 활용할 수 있습니다.
• Scribe의 단어 수준 전사는 최대 5개 채널을 지원하며, 각 채널은 독립적으로 전사됩니다.

타임스탬프 및 이벤트 태그가 포함된 오디오 전사란 무엇인가요?

타임스탬프 전사는 자동 음성 인식 (ASR)의 한 형태로, 전사 과정에서 단어와 박수 같은 기타 오디오 이벤트의 정확한 시작 및 종료 지점을 추적합니다. 출력 결과는 완전히 구조화되어 탐색할 수 있는 데이터입니다.

기존 ASR 전사는 오디오를 사람이 읽을 수 있는 큰 텍스트 블록으로 분석합니다. 사람을 위한 자막과 전사문을 제공하지만, 데이터로 활용하기에는 그다지 유용하지 않습니다.

타임스탬프를 포함해 구조화하려면 보조 머신러닝 서비스를 다시 거쳐 텍스트를 오디오에 매핑해야 합니다. 결국 비슷한 출력을 생성할 수는 있지만, API에서 네이티브로 제공되는 대신 여러 처리 단계를 거쳐야 하므로 지연 시간과 추가 컴퓨팅 오버헤드가 발생합니다.

오디오에 탐색 기능 추가하기

타임스탬프 및 이벤트 태그 기반 전사의 핵심 장점은 사람이 읽을 수 있을 뿐 아니라 기계도 읽을 수 있다는 점입니다. 이는 다음과 같은 중요한 비즈니스 활용 사례로 이어집니다.

• 규정 준수 감사: 전사문에서 키워드를 검색하고 민감한 데이터가 언급된 모든 지점의 정확한 타임스탬프를 확인할 수 있습니다.
• 비디오 제작 및 편집: 비디오 제작 소프트웨어는 화면에서 말하는 내용에 맞춰 자막을 밀리초 단위로 동기화할 수 있습니다. 청중 반응에도 적절한 라벨을 붙일 수 있습니다.
• 검색 가능한 아카이브: 홍보, 영업, 교육팀 등은 대량의 고객 인터뷰, 전시회 연설, 웨비나 또는 타운홀 미팅을 방대한 검색 가능 아카이브로 전사할 수 있습니다.
• 마케팅 분석 및 고객 감정: 이벤트 태깅은 기본 텍스트 전사에서 사라질 수 있는 청중 반응에 라벨을 붙일 수 있습니다.

네이티브 단어 수준 타임스탬프의 장점은 무엇인가요?

표준 음성 텍스트 변환 모델은 음성을 처리할 때 보통 문장이나 문단 전체 단위로 나눕니다. 단어별 타임스탬프를 원한다면 두 번째 단계에서 강제 정렬을 수행하도록 별도의 처리 계층을 구축해야 합니다. 이 과정은 인프라와 지연 시간을 추가하며, 오류가 발생할 가능성도 높입니다. 예를 들어 빠른 발화나 큰 배경 소음에 묻힌 음성을 처리하려 할 때 타이밍이 어긋나거나 완전히 실패할 수 있습니다.

타임스탬프 전사는 Scribe처럼 단어 단위의 더 세밀한 수준에서 전사하여 이 문제를 피할 수 있습니다. 단일 API 호출로 수행되므로 추가 인프라나 스크립팅이 필요하지 않습니다. 모델이 전사와 동시에 타임스탬프를 계산하므로 음성 데이터는 항상 오디오를 정확히 반영합니다.

타임스탬프 및 이벤트 태그 기반 전사는 어떻게 작동하나요?

Scribe를 예로 들어보겠습니다.

네이티브 단어 수준 전사 모델은 오디오 피드의 음성 소리를 구조화된 토큰 객체 배열로 매핑합니다. 모든 토큰에 word, spacing, audio_event 중 하나의 유형을 지정합니다.

• word: 시작 및 종료 시간과 speaker_id 태그가 기록된 인식된 개별 발화 단어입니다.
• spacing: 명시적으로 태그된 무음 또는 발화 중간의 멈춤입니다. 자막 서비스가 적절한 속도를 유지하는 데 유용합니다. 일본어, 중국어 표준어, 태국어, 라오어, 버마어, 광둥어처럼 단어 사이에 공백을 사용하지 않는 인식 언어에는 사용되지 않습니다.
• audio_event: 웃음이나 박수처럼 의미 있는 비언어적 오디오입니다. 모델은 이를 별도의 이벤트 유형으로 구조화하며, 오디오를 환각된 음성으로 억지로 변환하지 않습니다.

실시간 스트리밍 파라미터

단어 수준 전사 모델에는 실시간 WebSocket 오디오 전사를 지원하는 특수 기능도 포함될 수 있습니다. 예를 들면 다음과 같습니다.

• include_timestamps=true: 이 파라미터를 사용하면 최종 처리된 각 오디오 청크의 끝에서 전송되는 committed_transcript_with_timestamps JSON 메시지에 단어 수준 타임스탬프가 포함되므로, 스트림이 실행 중인 동안에도 타임스탬프를 받을 수 있습니다. 오디오 이벤트 태그는 tag_audio_events도 활성화된 경우에만 포함됩니다.
• include_language_detection=true: 이 파라미터는 감지된 서로 다른 음성 언어와 모델의 감지 신뢰도 점수를 연결에 태그하도록 합니다. 이를 통해 다국어 자막을 실시간으로 운영할 수 있습니다.

음성 텍스트 변환 모델은 비음성 이벤트에 어떻게 태그를 지정하나요?

tag_audio_events 파라미터를 활성화하면 Scribe가 오디오 이벤트에 태그를 지정합니다. 이 경우 단어와 마찬가지로 구체적인 시작 및 종료 시간에 태그와 타임스탬프를 추가합니다. 가장 흔한 반응인 웃음과 박수뿐 아니라 발소리나 배경 음악처럼 맥락상 의미가 있을 수 있는 다양한 주변 소리에도 태그를 지정할 수 있습니다.

가장 직접적으로는 중요한 맥락을 더해 전사문과 자막을 더 풍부하게 만듭니다. 단순하고 평면적인 텍스트를 읽을 때는 독자가 풍자를 파악하기 더 어려울 수 있습니다. [laughter] 태그는 전사문을 풍부하게 하고 감정적 울림을 더합니다.

더 나은 분석

이벤트 태깅은 다운스트림 분석도 더 깔끔하게 만듭니다. 분석 도구가 하나의 비구조화된 텍스트 블록을 파싱할 필요가 없기 때문입니다. 네이티브 단어 수준 전사는 오디오 이벤트를 구조화된 데이터로 분리하므로, 필요할 때 도구에서 이를 간단히 필터링하고 순수한 언어 콘텐츠만 분석할 수 있습니다.

spacing 토큰은 멈춤을 눈에 보이게 하므로 분석할 수 있습니다. 예를 들어 고객 서비스 상담원이 통화 중 얼마나 오래 침묵했는지 측정하는 등 감정 분석 및 QA 활용 사례에 유용할 수 있습니다.

더 쉬운 타임스탬프 검색

또는 특정 이벤트를 직접 검색할 수도 있습니다. 제품 테스트 인터뷰에서 감정 분석을 수행한다면 의미 있는 감정 반응을 정확히 추출할 수 있습니다. 소셜 미디어 계정을 운영한다면 1시간짜리 연설에서 웃음을 빠르게 검색해 바이럴될 가능성이 가장 높은 클립을 찾을 수 있습니다.

구조화된 타임스탬프 전사문의 실용적인 활용 사례는 무엇인가요?

전사 과정에서 네이티브로 구조화된 데이터를 얻으면 여러 중요한 용도로 활용할 수 있습니다.

캡션 및 자막 생성

중간 처리 없이 타임스탬프 전사문을 SRT 및 VTT를 포함한 제작용 자막 형식으로 직접 내보낼 수 있습니다. 비디오 편집 도구는 단어 타이밍을 사용해 발화되는 단어를 자막에서 강조할 수 있습니다.

전사 모델은 단어 단위로 처리하므로 빠른 발화도 쉽게 분석할 수 있습니다. 기존 모델은 빠르게 쏟아지는 말이나 겹치는 음성에서 어려움을 겪을 수 있지만, Scribe 같은 단어 수준 모델은 깔끔하고 구조화된 전사 결과를 출력할 수 있습니다.

오디오 및 비디오 검색

기존 전사는 텍스트 블록에서 키워드를 일치시킬 수 있지만, 강제 정렬 없이는 특정 문구가 발화된 시점으로 이동할 수 없습니다. 단어 수준 전사에서 키워드를 검색하면 완전히 인덱싱되어 오디오에서 해당 문구가 발화된 정확한 초 단위 시점으로 이동합니다. 이를 통해 오디오 아카이브를 완전히 검색 가능한 참조 카탈로그로 만들 수 있습니다. 이 기능은 대규모 미디어 라이브러리, 팟캐스트 네트워크, 기업 아카이브를 관리할 때 특히 유용합니다.

규정 준수 및 위험 감사

예를 들어 QA를 위해 고객 서비스 통화를 녹음하는 경우처럼 민감한 정보가 포함된 오디오를 녹음해야 할 때가 많습니다. 이러한 통화에는 민감하거나 규제 대상인 개인 정보가 포함될 가능성이 가장 높습니다. 

분석용 오디오 데이터를 보유하면서 규정을 준수하려면 전사문에서 민감한 데이터를 실시간으로 수정할 수 있는 방법이 필요합니다. 네이티브 단어 수준 타임스탬프를 사용하면 ElevenLabs의 엔터티 감지와 같은 기능을 활용할 수 있습니다. 이 기능은 신용카드 번호나 이름 같은 민감한 엔터티를 표시하고 오프셋과 타임스탬프를 반환하므로, 전사문이 스트리밍되는 동안 이를 가릴 수 있습니다.

예를 들어 본인 확인 통화에서 신용카드 번호, 어머니의 결혼 전 성, 생년월일, 고객 이름이 발화되는 즉시 감지하고 수정할 수 있습니다.

자동화된 소셜 미디어 클리핑

긴 형식의 콘텐츠에서 하이라이트를 찾기 위한 키워드 검색도 프로그래밍 방식으로 자동화할 수 있습니다. 예를 들어 선거 연설이나 기업 세미나의 중요한 순간을 강조할 수 있습니다. 이를 통해 최근 콘텐츠를 YouTube, LinkedIn 또는 TikTok용으로 전문적으로 편집된 하이라이트로 만들 수 있습니다.

멀티채널 및 다중 화자 타이밍

Scribe는 최대 5개 채널을 독립적으로 병렬 전사할 수 있습니다. 각 채널에는 화자 ID와 타임스탬프가 할당됩니다. 이는 대화가 오가는 상황에서 어려움을 겪는 경우가 많은 표준 음향 화자 분리보다 안정적입니다. 멀티채널 녹음에서 Scribe의 화자 할당은 순수하게 결정론적입니다. 즉, 채널 0은 speaker_0에, 채널 1은 speaker_1에 매핑되는 방식입니다.

동시에 말하려는 화자를 인식하고 각 화자의 음성에 대해 독립적인 타임스탬프를 생성할 수 있습니다. 서로 다른 언어를 사용해도 됩니다.

필요한 형식으로 타임스탬프 데이터 내보내기

기존 전사문을 여러 형식으로 배포하려면 파싱 스크립트를 직접 작성해야 할 가능성이 높습니다. Scribe는 사용 목적에 따라 전사문을 여러 형식으로 내보낼 수 있습니다. 전체 스키마 정의는 다음에서 확인할 수 있습니다 ElevenLabs Create Transcript API 레퍼런스.

개발자를 위한 구조화된 데이터: JSON

Scribe는 데이터를 다운스트림 애플리케이션에 전달할 수 있는 스키마로 원하는 개발자를 위해 JSON 내보내기를 지원합니다. 예를 들어 개발자는 이 JSON 데이터를 사용하여 조직을 위한 인터랙티브 미디어 또는 시맨틱 검색 데이터베이스를 구축할 수 있습니다. word, spacing, audio_event 토큰의 전체 배열은 시작 및 종료 오프셋과 화자 ID를 포함해 출력됩니다.

미디어 자막: SRT 및 VTT

Scribe는 수동 동기화 없이 Adobe Premiere 또는 기타 제작 애플리케이션에 직접 전달할 수 있는 SRT 및 VTT 전사문을 출력할 수 있습니다.

사람이 읽기 쉬운 형식: TXT, DOCX 및 PDF

독자가 보기 편한 형식으로도 전사문을 출력할 수 있습니다. 이러한 형식에서는 텍스트의 가독성을 높이고 법적 또는 감사 문서에 적합하도록 Scribe가 저수준 타이밍 마커를 제거합니다. 예를 들어 세션 직후 이사회 회의록을 효율적으로 배포하거나, SEO를 위해 팟캐스트 전사문을 게시하거나, 법적 기록을 보관해야 할 때 유용합니다.

ElevenLabs 타임스탬프 및 이벤트 태그 기반 전사 시작하기 

네이티브 단어 수준 전사는 워크플로에 필요한 구조화된 데이터를 빠르고 효율적으로 제공합니다.

지금 ElevenAPI에서 Scribe로 오디오 전사를 시작하거나 단어 수준 전사에 관해 자세히 알아보세요.

타임스탬프 및 이벤트 태그 기반 전사 FAQ