회의 전사 API 사용 방법: Scribe v2를 활용한 실시간 및 배치 전사

회의록을 직접 작성하는 일은 번거롭고 오류가 생기기 쉬우며, 특히 회의가 1시간을 넘기면 더욱 그렇습니다. 이는 시간을 낭비하고 참석자들이 토론에 집중하지 못하게 합니다. 오디오 녹음이 있어도 특정 대화를 개별 화자에게 연결하는 일은 어렵습니다. 

회의 전사 API를 사용하면 라이브 또는 녹화된 회의를 제품 내에서 타임스탬프와 화자 라벨이 포함된 텍스트로 변환할 수 있습니다. 직접 음성 모델을 구축하지 않아도 오디오를 보내고 구조화된 전사본을 받을 수 있습니다.

이 글에서는 회의 전사 API의 작동 방식, 실시간 및 배치 전사의 차이, 그리고 Eleven Scribe v2 및 Eleven Scribe v2 Realtime을(를) 활용한 구축 방법을 알아봅니다.

요약

• 회의 전사 API는 회의 오디오를 타임스탬프와 화자 라벨이 포함된 전사본으로 변환합니다.
• 실시간 전사는 회의 중 낮은 지연 시간의 자막을 제공하고, 배치 전사는 회의가 끝난 후 오디오 녹음을 처리합니다.
• 회의 전사 정확도는 오디오 품질, 화자의 음성 패턴, 기반 음성 모델에 따라 달라집니다. 
• ElevenLabs는 엔지니어링 팀이 매우 정확한 회의 전사 제품을 구축할 수 있도록 Scribe v2 및 Scribe v2 Realtime 모델을 제공합니다. 

회의 전사 API의 기능과 필요한 대상

회의 전사 API는 회의 오디오를 입력으로 받아 텍스트를 반환합니다. 음성 인식, 화자 분리, 타임스탬프 생성을 처리해 바로 활용할 수 있는 완성된 패키지를 제공합니다. 수동 메모 작성과 달리, 회의용 음성 텍스트 변환은 참석자가 다시 찾아볼 수 있는 검색 가능한 기록을 제공합니다.

더 많은 팀이 AI 에이전트를 도입하면서, 기록된 회의 내용은 검색 가능한 컨텍스트가 됩니다. 내부 에이전트는 전사본에서 세부 정보를 검색해 데이터 사일로를 줄이고 팀 간 정보 접근성을 높입니다.

많은 상용 도구가 전사 기능을 제공하지만, 조직의 요구 사항을 완전히 충족하지 못할 수 있습니다.

제품 엔지니어링 팀이라면 STT 회의 앱을 구축하거나 기존 도구에 이 기능을 추가하는 편이 더 적합할 수 있습니다. 자체 회의 전사 소프트웨어를 사용하면 다음을 제어할 수 있습니다.

• 개인정보 보호: ElevenLabs는 엔터프라이즈 사용자를 위해 Zero Retention Mode를 제공하여 특정 지역의 개인정보 보호 요구 사항을 더욱 충족합니다. 
• 맞춤 어휘: 모델에 추가 컨텍스트를 제공하여 회사, 제품, 업계에 특화된 용어를 이해하고 전사하도록 할 수 있습니다. 
• 맞춤형 워크플로: 공급업체별 워크플로에 제한되지 않고 내부 데이터베이스, CRM, 엔터프라이즈 소프트웨어와 연결되는 회의 전사 도구를 구축할 수 있습니다. 

ElevenLabs는 회의 전사 앱 구축을 지원하는 선도적인 음성 및 오디오 모델을 제공합니다. 회의 전사 API를 사용하면 회의에서 말하는 내용을 정확하게 텍스트 메모로 기록할 수 있습니다. 모델은 90개 이상의 언어를 지원하므로 영어, 프랑스어, 중국어 및 수십 개의 다른 언어를 전사할 수 있습니다. 

회의용 실시간 또는 배치 음성 텍스트 변환: 선택 방법 

실시간 전사는 말하는 즉시 오디오 스트림을 캡처해 라이브 자막으로 변환합니다. 회의 중 텍스트 지원을 제공하거나 라이브 봇으로 세션 중 작업을 트리거하려면 실시간 전사를 사용합니다. 반면 배치 전사는 회의 후 전체 녹음을 처리하여 더 간결하고 구조화된 전사본을 제공합니다. 배치 전사는 회의 후 메모 작성, 기록 보관, 감사 가능한 기록 유지에 도움이 됩니다. 

실시간과 배치 음성 텍스트 변환 중 선택할 때는 기술적, 비용적 영향을 이해하는 것이 중요합니다. 

두 방식의 차이를 간단히 살펴보겠습니다.

결국 선택은 우선순위에 따라 달라집니다. 라이브 회의 어시스턴트를 구축한다면 실시간으로 전사해야 합니다. 그렇지 않다면 비용과 정확도 면에서 이점이 있는 배치 전사를 사용할 수 있습니다. 

Scribe v2로 회의 전사 API 설정하기

ElevenLabs 텍스트 음성 변환을 사용하면 Scribe v2 Realtime 및 Scribe v2로 회의를 전사할 수 있습니다. 두 음성 모델 모두 다양한 억양, 방언, 오디오 품질에서 화자를 정확히 라벨링하도록 학습되었습니다. Scribe v2 Realtime은 라이브 음성을 즉시 전사하며, Scribe v2는 오디오 녹음을 매우 정확한 전사본으로 변환합니다. 

제공되는 API를 통해 두 모델 모두 이용할 수 있습니다. 아래에서는 각 모델의 주요 기능, API 아키텍처, 전사 솔루션과의 통합 방식을 자세히 살펴봅니다. 

옵션 1: 실시간(라이브) 전사 

실시간 전사를 사용하면 회의 중 대화를 처리하고 화자가 말하는 동시에 텍스트로 변환할 수 있습니다. 들리는 음성과 전사된 음성 사이에 눈에 띄는 공백이 거의 또는 전혀 없습니다. 

실시간 전사에는 오디오 입력과 텍스트 출력 사이에서 150ms의 낮은 지연 시간(거의 즉각적인 부분 전사)을 제공하는 Scribe v2 Realtime 모델을 사용합니다. 이 모델을 전사 앱에 통합하면 끊김 없는 자막을 제공할 수 있습니다. 

라이브 대화를 지원하도록 설계된 Scribe v2 Realtime은 라이브 자막, 실시간 회의 메모 생성, 후속 트리거를 위한 AI 어시스턴트로의 라이브 텍스트 전달이 필요한 사용 사례에 적합합니다. 또한 모델은 프롬프팅을 위해 최대 50개의 핵심 용어를 지원합니다. 

Scribe v2 Realtime으로 전사하는 방법

라이브 전사를 수행하려면 ElevenAPI를 사용해 제품을 Scribe v2 Realtime에 연결하세요. 

1. 먼저 제품이 Scribe v2 Realtime 모델에서 전사본을 받을 수 있도록 WebSocket을 엽니다. 
2. 다음으로 라이브 회의 대화 스트림을 모델로 전송합니다. 
3. 마지막으로 150ms 이내에 부분 및 최종 전사본을 받습니다. 

코드에서는 전체 전사 과정에서 발생하는 API 이벤트를 처리하는 핸들러를 만듭니다. 예를 들어 코드가 오디오 데이터를 전송하거나 확정된 전사본을 수신할 때의 이벤트를 처리합니다. 

Scribe v2 Realtime의 라이브 스트리밍 방법

아래 예시는 백엔드에서 일회용 토큰을 생성합니다. 클라이언트는 회의 오디오를 회의 전사 API로 API 키를 노출하지 않고 스트리밍할 수 있습니다.

// Node.js server
import { ElevenLabsClient } from "@elevenlabs/elevenlabs-js";

const elevenlabs = new ElevenLabsClient({
  apiKey: process.env.ELEVENLABS_API_KEY,
});

app.get("/scribe-token", yourAuthMiddleware, async (req, res) => {
  const token = await elevenlabs.tokens.singleUse.create("realtime_scribe");

  res.json(token);
});

앱 아키텍처에 따라 클라이언트 앱 또는 백엔드 서버에서 Scribe v2 Realtime으로 라이브 대화를 스트리밍할 수 있습니다.

• 클라이언트 측 스트리밍: 이 방법에서는 마이크에서 직접 또는 수동 청킹을 통해 오디오 입력을 오디오 모델로 전달합니다. API에 연결하려면 일회용 토큰으로 인증하며, 이를 통해 API 키 노출을 방지합니다. 
• 서버 측 스트리밍: 이 방법을 사용하면 URL, 파일 업로드 또는 오디오 스트림에서 직접 오디오를 스트리밍할 수 있습니다. 일회용 토큰 대신 ElevenLabs API 키를 사용합니다. 

Scribe v2 Realtime의 커밋 전략 선택

아래 예시는 음성 활동 감지를 구성합니다. 화자가 멈출 때마다 API가 전사 세그먼트를 커밋합니다.

import { Scribe, AudioFormat, CommitStrategy } from "@elevenlabs/client";

const connection = Scribe.connect({
  token: "sutkn_1234567890",
  modelId: "scribe_v2_realtime",
  audioFormat: AudioFormat.PCM_16000,
  commitStrategy: CommitStrategy.VAD,
  vadSilenceThresholdSecs: 1.5,
  vadThreshold: 0.4,
  minSpeechDurationMs: 100,
  minSilenceDurationMs: 100,
});

최종 전사본은 회의에서 말한 내용을 정확하게 기록한 증거 자료를 제공합니다. 최종 전사본을 커밋하는 방법에는 수동 방식과 VAD(Voice Activity Detection) 방식 두 가지가 있습니다. 

• 수동 커밋: 기본적으로 코드에서 전사 세그먼트를 수동으로 커밋해야 합니다. 최적의 지연 시간을 위해 20~30초마다 커밋하는 것을 권장합니다. 컨텍스트 손실이 우려된다면 이전 텍스트를 처리할 오디오 세그먼트와 함께 전송할 수 있습니다.
• 음성 활동 감지: 또는 오디오 스트림의 무음을 감지해 전사를 시작하는 VAD를 사용할 수 있습니다. 

옵션 2: 배치 전사(회의 후) 

배치 전사는 수 시간 분량의 회의 녹음을 텍스트 형식으로 변환하는 효과적인 방법입니다. 간결하고 컨텍스트와 관련성 있으며 화자가 분리된 전사본을 대규모로 제공합니다.

Scribe v2는 동적 오디오 태깅을 지원하는 ElevenLabs 음성 텍스트 변환 모델입니다. 대화 데이터는 물론 웃음이나 발소리 같은 비음성 이벤트도 정확하게 추출할 수 있습니다. 

실시간 전사와 달리 Scribe v2는 녹화 후 회의 메모를 위해 구축되었습니다. 예를 들어 Zoom, Teams, Google Meet 같은 플랫폼에서 회의를 녹화한 다음, 세션 후 오디오 파일을 Scribe v2에 업로드하여 배치 전사합니다. 

Scribe v2로 배치 전사하는 방법 

Scribe v2 전사는 REST API를 통해 비동기적으로 처리됩니다. 음성 모델과 활성 연결을 유지할 필요가 없습니다. 대신 전사본이 준비되면 알림을 받을 수 있도록 웹훅을 사용합니다.

아래는 흐름으로, 오디오 녹음을 전사본으로 변환합니다.

1. 먼저 ElevenLabs 대시보드에서 전사 결과를 받을 WebHook을 만듭니다.
2. 그런 다음 반환된 전사 결과를 처리할 이벤트 핸들러를 코드에 만듭니다. 
3. 그런 다음 오디오 파일을 Scribe v2 REST 엔드포인트에 업로드합니다. 

전사가 완료되면 구성한 이벤트 핸들러가 호출됩니다. 

Scribe v2용 키워드 프롬프팅

Scribe v2(배치)는 최대 1,000개의 용어에 대한 키워드 프롬프팅을 지원합니다. 전사를 위해 오디오 파일을 전송할 때 API 호출에 용어를 포함할 수 있습니다. Scribe v2는 단순 어휘 목록과 달리 키워드 용어를 대화 컨텍스트와 비교하여 적절한 전사를 결정합니다.

이를 통해 누군가 특정 용어를 말할 때 모델이 더욱 주의를 기울여 정확하게 전사할 수 있습니다. 

아래 예시는 요청과 함께 회사 및 제품 용어를 전달하므로, API가 컨텍스트에 맞게 정확히 전사합니다. 

connection = await elevenlabs.speech_to_text.realtime.connect(RealtimeUrlOptions(
    model_id="scribe_v2_realtime",
    keyterms=["ElevenLabs"],
))

예를 들어 브랜드나 회사명으로 문맥상 “ElevenLabs”라고 발음하면 이를 그대로 전사합니다. 

Scribe v2의 멀티채널 전사

멀티채널 전사를 사용하면 Scribe v2 모델이 서로 다른 화자의 음성이 담긴 오디오 파일에서 개별 채널을 전사할 수 있습니다. 이 기능은 컨퍼런스, 법정 녹음 또는 팟캐스트용 전사 도구를 구축할 때 유용합니다. 

각 채널에는 화자를 나타내는 고유 식별자가 태그로 지정됩니다.

일반적인 회의 전사 과제와 API의 해결 방법 

회의를 전사할 때 엔지니어링 팀은 여러 과제에 자주 직면합니다.

겹치는 대화 

여러 화자가 동시에 말하면 내용을 이해하기 어렵습니다. 화자를 구분하려면 Scribe v2가 제공하는 화자 분리 또는 멀티채널 전사를 사용하세요. 그러면 각 화자에 태그가 지정된 별도의 전사본을 받을 수 있습니다.

잘못된 해석

전사 도구가 겪는 또 다른 문제는 특정 제품, 브랜드 또는 업계 용어를 정확히 감지하고 해석하는 것입니다. 예를 들어 소프트웨어 개발자에게 익숙한 용어인 "DevOps"는 “dev ops”로 잘못 전사될 수 있습니다. ElevenLabs 회의 전사 API에서는 핵심 용어 프롬프팅으로 모델이 올바르게 해석하도록 안내할 수 있습니다.

다국어 화자

일부 회의는 서로 다른 언어로 진행되며, 화자가 능숙한 두 개 이상의 언어를 번갈아 사용하기도 합니다. 표준 음성 모델은 컨텍스트와 음성 내용을 해석하는 데 어려움을 겪어 전사 품질이 저하됩니다. Scribe v2는 다국어 전사를 통해 90개 이상의 언어에서 대화가 진행되는 그대로 정확하게 캡처합니다. 

라이브 자막과 녹화 후 전사본

일부 팀은 라이브 자막을 표시하고 회의 후 전사본도 생성해야 합니다. 안타깝게도 모든 기성 전사 도구가 두 기능을 모두 제공하지는 않습니다. ElevenLabs API를 사용하면 Scribe v2 및 Scribe v2 Realtime으로 둘 다 구현할 수 있습니다. 

회의 전사 API 시작하기

ElevenAPI를 사용하면 회의용 전사 도구를 구축할 수 있는 선도적인 음성 텍스트 변환 모델에 접근할 수 있습니다. 개발 환경 설정은 간단합니다. API 키를 발급받고 Python 또는 Node.js용 SDK를 설치한 다음, 제공되는 API를 사용해 Scribe v2 또는 Scribe v2 Realtime을 제품에 통합하면 됩니다. 

지금 ElevenLabs를 이용하고 첫 API 요청을 전송하세요. 

FAQ