타임스탬프 및 이벤트 태깅을 포함한 오디오 전사는 어떻게 작동하나요?

네이티브 단어 수준 전사 모델은 오디오 녹음 또는 실시간 스트림을 입력으로 받아 음성 및 비음성 사운드를 나타내는 태그 및 타임스탬프가 포함된 구조화된 토큰 객체 배열을 출력합니다. 각 토큰은 word, spacing, audio_event의 세 가지 유형 중 하나입니다. 오디오 이벤트에는 웃음, 박수 또는 기타 배경음이 포함될 수 있습니다.

이 글에서는 타임스탬프가 포함된 오디오 전사가 작동하는 방식과, 강제 정렬에 의존하는 기존 전사보다 더 유연하고 강력한 이유를 살펴보겠습니다.

요약

• 단어 수준 전사는 구조화된 타임스탬프 기반의 음성 데이터 및 비언어적 오디오 이벤트 배열을 직접 출력합니다.
• 이는 전체 텍스트 블록을 출력하는 기존 자동 음성 인식 모델과 대조적입니다. 이를 원본 오디오에 맞춰 타임스탬프화하려면 더 많은 시간이 걸리고 컴퓨팅 오버헤드가 추가되는 두 번째 강제 정렬 프로세스를 수행해야 합니다.
• 이벤트 태그를 사용하면 웃음이나 박수처럼 비언어적 콘텐츠를 포착할 수 있습니다. 이 데이터는 검색할 수 있으므로 청중 반응을 기반으로 하이라이트나 바이럴 가능성이 있는 순간을 식별하는 데 활용할 수 있습니다.
• 구조화된 출력 데이터를 애플리케이션에 제공해 높은 정확도의 캡션, 검색 가능한 오디오 아카이브, 자동화된 소셜 미디어 클리핑 등 다양한 용도로 활용할 수 있습니다.
• Scribe의 단어 수준 전사는 최대 5개 채널을 지원하며, 각 채널은 독립적으로 전사됩니다.

타임스탬프와 이벤트 태그가 포함된 오디오 전사란 무엇인가요?

타임스탬프 기반 전사는 자동 음성 인식 (ASR)의 한 형태로, 전사 과정에서 단어와 박수 같은 기타 오디오 이벤트의 정확한 시작 및 종료 지점을 추적합니다. 출력은 완전히 구조화되어 탐색할 수 있는 데이터입니다.

기존 ASR 전사는 오디오를 사람이 읽을 수 있는 큰 텍스트 블록으로 분석합니다. 사람을 위한 캡션과 스크립트는 제공하지만, 데이터로 활용하기에는 그다지 유용하지 않습니다.

타임스탬프로 구조화하려면 텍스트를 오디오에 매핑하기 위해 보조 머신러닝 서비스로 다시 처리해야 합니다. 결국 유사한 출력을 만들 수는 있지만, API에서 네이티브로 제공되는 것이 아니라 여러 처리 단계를 거치므로 지연 시간과 추가 컴퓨팅 오버헤드가 발생합니다.

오디오에 탐색 기능 더하기

타임스탬프 및 이벤트 태그 기반 전사의 핵심 장점은 사람과 기계 모두가 읽을 수 있다는 점입니다. 이는 다음과 같은 중요한 비즈니스 활용 사례로 이어집니다.

• 규정 준수 감사: 전사본에서 키워드를 검색하고 민감한 데이터가 언급된 모든 지점의 정확한 타임스탬프를 확인할 수 있습니다.
• 비디오 제작 및 편집: 비디오 제작 소프트웨어는 화면에서 말하는 내용에 맞춰 자막을 밀리초 단위로 동기화할 수 있습니다. 청중 반응에도 적절한 라벨을 붙일 수 있습니다.
• 검색 가능한 아카이브: 홍보, 영업, 교육 팀 등은 대량의 고객 인터뷰, 박람회 연설, 웨비나 또는 타운홀 미팅을 거대한 검색 가능 아카이브로 전사할 수 있습니다.
• 마케팅 분석 및 고객 감정: 이벤트 태깅은 기본 텍스트 전사에서 사라질 수 있는 청중 반응에 라벨을 지정할 수 있습니다.

네이티브 단어 수준 타임스탬프의 장점은 무엇인가요?

표준 음성 텍스트 변환 모델은 음성을 처리할 때 보통 전체 문장이나 문단 단위의 청크로 나눕니다. 단어별 타임스탬프가 필요하다면 두 번째 단계에서 강제 정렬을 수행할 별도의 처리 계층을 구축해야 합니다. 이는 인프라와 지연 시간을 추가하고, 장애가 발생할 가능성도 높입니다. 예를 들어 빠른 말이나 큰 배경 소음에 묻힌 음성을 처리할 때 타이밍이 어긋나거나 완전히 실패할 수 있습니다.

타임스탬프 기반 전사는 Scribe처럼 단어 단위의 더 세밀한 수준에서 전사하여 이 문제를 해결합니다. 단 한 번의 API 호출로 수행됩니다. 추가 인프라나 스크립팅이 필요하지 않습니다. 모델이 전사하면서 타임스탬프를 계산하므로 음성 데이터는 항상 오디오를 정확하게 반영합니다.

타임스탬프 및 이벤트 태그 기반 전사는 어떻게 작동하나요?

예시로 Scribe를 살펴보겠습니다.

네이티브 단어 수준 전사 모델은 오디오 피드의 음성을 구조화된 토큰 객체 배열로 매핑합니다. 모든 토큰에는 word, spacing, audio_event 중 하나의 유형을 지정합니다.

• word: 시작 및 종료 시간과 speaker_id 태그가 기록된, 인식된 개별 발화 단어입니다.
• spacing: 명시적으로 태그된 무음 또는 발화 중간의 일시 정지입니다. 캡션 서비스가 올바른 속도를 유지하도록 돕는 데 유용합니다. 일본어, 표준 중국어, 태국어, 라오어, 버마어, 광둥어처럼 단어 사이에 공백을 사용하지 않는 언어에는 사용되지 않습니다.
• audio_event: 웃음이나 박수처럼 의미 있는 비언어적 오디오입니다. 모델은 이를 별도의 이벤트 유형으로 구조화하며, 오디오를 환각된 음성으로 억지로 처리하지 않습니다.

실시간 스트리밍 파라미터

단어 수준 전사 모델에는 실시간 WebSocket 오디오 전사를 지원하는 특수 기능도 포함할 수 있습니다. 예를 들면 다음과 같습니다.

• include_timestamps=true: 이 파라미터를 사용하면 각 확정된 오디오 청크의 끝에서 전송되는 committed_transcript_with_timestamps JSON 메시지에 단어 수준 타임스탬프가 포함됩니다. 따라서 스트림이 계속 실행되는 동안 타임스탬프를 받을 수 있습니다. 오디오 이벤트 태그는 tag_audio_events도 활성화된 경우에만 포함됩니다.
• include_language_detection=true: 이 파라미터는 감지된 다양한 발화 언어와 해당 감지에 대한 모델의 신뢰도 점수를 연결에 태그하도록 지시합니다. 이를 통해 다국어 캡션을 실시간으로 운영할 수 있습니다.

음성 텍스트 변환 모델은 비음성 이벤트를 어떻게 태그하나요?

tag_audio_events 파라미터를 활성화하면 Scribe가 오디오 이벤트를 태그합니다. 단어와 마찬가지로 구체적인 시작 및 종료 시간을 태그하고 타임스탬프화합니다. 가장 일반적인 반응인 웃음과 박수는 물론, 발소리나 배경 음악 등 맥락상 의미가 있을 수 있는 다양한 주변 소리도 태그할 수 있습니다.

가장 직접적으로는 중요한 맥락을 추가해 전사본과 캡션을 더욱 풍부하게 만듭니다. 단순하고 평면적인 텍스트만 읽을 때는 독자가 풍자를 직관적으로 파악하기 어려울 수 있습니다. [laughter] 태그는 전사본을 풍성하게 하고 감정적 울림을 더합니다.

더 나은 분석

이벤트 태깅은 도구가 비구조화된 텍스트 블록 하나를 분석할 필요가 없으므로 후속 분석도 더 깔끔하게 만들어 줍니다. 네이티브 단어 수준 전사는 오디오 이벤트를 구조화된 데이터로 분리하므로, 도구는 필요할 때 이를 필터링하고 순수한 언어 콘텐츠만 분석할 수 있습니다.

spacing 토큰은 일시 정지를 눈에 보이게 하므로 이를 분석할 수 있습니다. 예를 들어 통화 중 고객 서비스 상담원이 얼마나 오래 침묵했는지 측정하는 것처럼 감정 분석 및 QA 활용 사례에 유용할 수 있습니다.

더 쉬운 타임스탬프 검색

이벤트를 구체적으로 검색할 수도 있습니다. 제품 테스트 인터뷰에서 감정 분석을 수행한다면 의미 있는 감정적 반응을 별도로 추출할 수 있습니다. 소셜 미디어 계정을 운영한다면 한 시간짜리 연설에서 웃음이 나온 부분을 빠르게 검색해 바이럴 가능성이 가장 높다고 생각되는 클립을 찾을 수 있습니다.

구조화된 타임스탬프 전사본은 실무에서 어떻게 활용되나요?

전사 과정에서 네이티브로 구조화된 데이터를 얻으면 여러 중요한 활용 사례에 적용할 수 있습니다.

캡션 및 자막 생성

중간 처리 없이 타임스탬프가 포함된 전사본을 SRT, VTT 등 제작용 캡션 형식으로 직접 내보낼 수 있습니다. 비디오 편집 도구는 단어 타이밍을 사용해 말하는 순간 캡션의 해당 단어를 강조할 수 있습니다.

전사 모델은 단어별로 처리하므로 빠른 발화도 쉽게 분석할 수 있습니다. 기존 모델이 빠른 발화나 겹치는 음성에서 어려움을 겪을 수 있는 반면, Scribe 같은 단어 수준 모델은 깔끔하고 구조화된 전사본을 출력할 수 있습니다.

오디오 및 비디오 검색

기존 전사로는 텍스트 블록에서 키워드를 일치시킬 수 있지만, 강제 정렬 없이는 특정 문구가 발화된 순간으로 이동할 수 없습니다. 단어 수준 전사본에서 키워드를 검색하면 완전히 인덱싱되어 해당 문구가 오디오에서 발화된 정확한 시점으로 바로 이동합니다. 이를 통해 오디오 아카이브를 완전히 검색 가능한 레퍼런스 카탈로그로 만들 수 있습니다. 이 기능은 대규모 미디어 라이브러리, 팟캐스트 네트워크, 기업 아카이브를 관리할 때 특히 유용합니다.

규정 준수 및 위험 감사

QA를 위해 고객 서비스 통화를 녹음하는 경우처럼 민감한 정보가 포함된 오디오를 녹음해야 할 때가 많습니다. 이러한 통화는 민감하거나 규제 대상인 개인정보를 포함할 가능성이 가장 높습니다.

분석용 오디오 데이터를 유지하면서 규정을 준수하려면 전사본에서 민감한 데이터를 실시간으로 삭제할 방법이 필요합니다. 네이티브 단어 수준 타임스탬프를 사용하면 ElevenLabs의 엔터티 감지 같은 기능을 활용할 수 있습니다. 이 기능은 신용카드 번호나 이름 같은 민감한 엔터티를 표시하고 해당 오프셋 및 타임스탬프를 반환하므로, 전사본이 스트리밍되는 동안 이를 가릴 수 있습니다.

예를 들어 신원 확인 통화에서 신용카드 번호, 어머니의 결혼 전 성, 생년월일, 고객 이름이 발화되는 즉시 감지하고 삭제할 수 있습니다.

자동화된 소셜 미디어 클리핑

긴 형식의 콘텐츠에서 하이라이트를 찾기 위한 키워드 검색도 프로그래밍 방식으로 자동화할 수 있습니다. 예를 들어 선거 유세 연설이나 기업 세미나의 중요한 순간을 강조할 수 있습니다. 이를 통해 최근 콘텐츠를 YouTube, LinkedIn 또는 TikTok용으로 전문적으로 편집된 하이라이트로 만들 수 있습니다.

멀티채널 및 다중 화자 타이밍

Scribe는 최대 5개 채널을 독립적이고 병렬적으로 전사할 수 있습니다. 각 채널에는 화자 ID와 타임스탬프가 할당됩니다. 이는 일반적인 음향 화자 분리보다 안정적입니다. 화자 분리는 주고받는 대화에서 어려움을 겪는 경우가 많습니다. 멀티채널 녹음에서 Scribe의 화자 할당은 순전히 결정론적으로 이루어집니다. 즉, 채널 0은 speaker_0에, 채널 1은 speaker_1에 매핑되는 방식입니다.

동시에 말하려는 화자를 인식하고, 각 화자의 발화에 대해 독립적인 타임스탬프를 생성할 수 있습니다. 서로 다른 언어를 사용해도 됩니다.

필요한 형식으로 타임스탬프 데이터 내보내기

기존 전사본을 여러 형식으로 배포하려면 직접 파싱 스크립트를 작성해야 할 가능성이 높습니다. Scribe는 활용 방식에 따라 전사본을 여러 형식으로 내보낼 수 있습니다. 전체 스키마 정의는 다음에서 확인할 수 있습니다 ElevenLabs 전사 생성 API 레퍼런스.

개발자를 위한 구조화된 데이터: JSON

Scribe는 후속 애플리케이션에 전달할 수 있는 스키마의 데이터를 원하는 개발자를 위해 JSON 내보내기를 지원합니다. 예를 들어 개발자는 이 JSON 데이터로 인터랙티브 미디어나 조직용 시맨틱 검색 데이터베이스를 구축할 수 있습니다. word, spacing, audio_event 토큰의 전체 배열은 시작 및 종료 오프셋과 화자 ID를 포함해 출력됩니다.

미디어 캡션: SRT 및 VTT

Scribe는 수동 동기화 없이 Adobe Premiere 또는 기타 제작 애플리케이션에 직접 제공할 수 있는 SRT 및 VTT 전사본을 출력할 수 있습니다.

사람이 읽기 쉬운 형식: TXT, DOCX 및 PDF

독자가 읽기 쉬운 형식으로도 전사본을 출력할 수 있습니다. 이 형식에서는 텍스트를 더 읽기 쉽고 법률 또는 감사 문서에 적합하게 만들기 위해 Scribe가 저수준 타이밍 마커를 제거합니다. 예를 들어 세션 직후 이사회 회의록을 효율적으로 배포하거나, SEO를 위해 팟캐스트 전사본을 게시하거나, 법률 기록을 보관해야 할 때 유용합니다.

ElevenLabs의 타임스탬프 및 이벤트 태그 기반 전사를 시작하세요

네이티브 단어 수준 전사는 워크플로에 필요한 구조화된 데이터를 빠르고 효율적으로 제공합니다.

지금 ElevenAPI에서 Scribe로 오디오 전사를 시작하거나 단어 수준 전사에 대해 자세히 알아보세요.

타임스탬프 및 이벤트 태그 기반 전사 FAQ