핵심 용어 프롬프팅

개요

핵심 용어 프롬프팅은 단어나 구문을 강조해 모델이 해당 표현을 트랜스크립션하도록 유도하는 기능입니다. 이는 제품명, 이름 또는 기타 특정 용어처럼 오디오에서 흔하지 않은 특정 단어나 문장을 트랜스크립션할 때 유용합니다. 핵심 용어는 해당 용어를 트랜스크립션할지 여부를 문맥에 따라 판단하므로, 다른 모델에서 제공하는 편향 키워드나 고객별 어휘보다 강력합니다.

배치 트랜스크립션에서는 각 핵심 용어에 최대 5개의 단어를 포함할 수도 있습니다.

예를 들어 회사명이 일반적인 구문이 아니거나 고유한 철자 또는 발음을 사용하는 경우, 핵심 용어를 사용해 모델이 정확하게 트랜스크립션하도록 할 수 있습니다. 다음 오디오를 살펴보세요.

핵심 용어 프롬프팅이 없으면 모델은 위 내용을 다음과 같이 트랜스크립션할 수 있습니다.

I work at eleven labs.

회사명에 잘못된 표기 스타일을 사용한 경우입니다. 핵심 용어 프롬프팅을 사용하면 모델이 위 내용을 올바른 철자와 스타일로 트랜스크립션하도록 할 수 있습니다.

I work at ElevenLabs.

문맥

모델은 문맥을 사용해 용어를 트랜스크립션해야 하는지 판단할 수 있습니다. 핵심 용어로 “ElevenLabs”를 제공하면 위 오디오는 예상대로 트랜스크립션되지만, 모델은 문맥에 따라 다음 내용도 올바르게 트랜스크립션할 수 있습니다.

다음과 같이 트랜스크립션됩니다.

I've worked at many labs. In fact I've worked at eleven labs.

배치 트랜스크립션

핵심 용어 프롬프팅은 convert 메서드에 keyterms 파라미터를 전달하여 배치 텍스트 음성 변환 API에 통합됩니다.

import os
from dotenv import load_dotenv
from io import BytesIO
import requests
from elevenlabs.client import ElevenLabs
load_dotenv()
elevenlabs = ElevenLabs(
    api_key=os.getenv("ELEVENLABS_API_KEY"),
)
audio_url = (
    "https://storage.googleapis.com/eleven-public-cdn/documentation_assets/audio/stt-keyterm-prompting.mp3"
)
response = requests.get(audio_url)
audio_data = BytesIO(response.content)
transcription = elevenlabs.speech_to_text.convert(
    file=audio_data,
    model_id="scribe_v2", # Model to use
    # Keyterms to prompt the model with.
    # Up to 1000 keyterms can be provided, with a maximum length of 50 characters each
    keyterms=["ElevenLabs"],
)
print(transcription)

실시간 스트리밍

핵심 용어 프롬프팅은 실시간 텍스트 음성 변환 WebSocket API에서도 사용할 수 있습니다. 연결할 때 keyterms 파라미터를 전달하세요.

connection = await elevenlabs.speech_to_text.realtime.connect(RealtimeUrlOptions(
    model_id="scribe_v2_realtime",
    keyterms=["ElevenLabs"],
))

WebSocket API를 직접 사용하는 경우 핵심 용어를 쿼리 파라미터로 전달하세요.

wss://api.elevenlabs.io/v1/speech-to-text/realtime?model_id=scribe_v2_realtime&keyterms=ElevenLabs&keyterms=AnotherTerm

다음 단계