Hoppa till navigering

Keyterm prompting

Den här guiden visar hur du använder keyterm prompting med Speech to Text API.

Guide · Förutsätter att du har slutfört snabbstartsguiden för Speech to Text.

Översikt

Keyterm prompting är tillgängligt med Scribe v3, Scribe v3 Live, Scribe v2, Scribe v2 Medical (batch) och Scribe v2 Realtime, och medför en extra kostnad. Se API-prissidan för detaljerad prisinformation.

Keyterm prompting är en funktion som låter dig markera ord eller fraser för att styra modellen mot att transkribera dem. Det är användbart för att transkribera specifika ord eller meningar som inte är vanliga i ljudet, till exempel produktnamn, namn eller andra specifika termer. Keyterms är mer kraftfulla än vinklade nyckelord eller kundvokabulärer som erbjuds av andra modeller, eftersom funktionen använder kontexten för att avgöra om termen ska transkriberas eller inte.

Batch (Scribe v3 / Scribe v2 / Scribe v2 Medical)Realtid (Scribe v3 Live / Scribe v2 Realtime)
Maximalt antal keyterms100050
Max antal tecken per keyterm5020

Vid batchtranskribering kan varje keyterm också innehålla högst 5 ord.

För en större vokabulär i realtid accepterar Scribe v3 Live även ett keyterm-bibliotek med upp till 10 000 termer.

Om ditt företagsnamn till exempel inte är en vanlig fras eller har en unik stavning eller uttal kan du använda keyterms för att säkerställa att modellen transkriberar korrekt. Ta följande ljud:

Utan keyterm prompting kan modellen transkribera ovanstående som:

I work at eleven labs.

Där används fel stil för företagsnamnet. Med keyterm prompting kan du säkerställa att modellen transkriberar ovanstående med rätt stavning och stil:

I work at ElevenLabs.

Kontext

Modellen kan använda kontext för att avgöra om en term ska transkriberas eller inte. När du anger keyterm “ElevenLabs” transkriberas ljudet ovan som förväntat, men modellen kan fortfarande transkribera följande korrekt baserat på kontexten:

Det ger följande transkribering:

I've worked at many labs. In fact I've worked at eleven labs.

Batchtranskribering

Keyterm prompting är integrerat i batch-API:t för Speech to Text genom att parametern keyterms skickas till metoden convert.

import os
from dotenv import load_dotenv
from io import BytesIO
import requests
from elevenlabs.client import ElevenLabs
load_dotenv()
elevenlabs = ElevenLabs(
api_key=os.getenv("ELEVENLABS_API_KEY"),
)
audio_url = (
"https://storage.googleapis.com/eleven-public-cdn/documentation_assets/audio/stt-keyterm-prompting.mp3"
)
response = requests.get(audio_url)
audio_data = BytesIO(response.content)
transcription = elevenlabs.speech_to_text.convert(
file=audio_data,
model_id="scribe_v3", # Model to use
# Keyterms to prompt the model with.
# Up to 1000 keyterms can be provided, with a maximum length of 50 characters each
keyterms=["ElevenLabs"],
)
print(transcription)

Direktuppspelning i realtid

Keyterm prompting är också tillgängligt för WebSocket API för Speech to Text i realtid. Skicka parametern keyterms när du ansluter.

connection = await elevenlabs.speech_to_text.realtime.connect(RealtimeUrlOptions(
model_id="scribe_v3_live",
keyterms=["ElevenLabs"],
))

När du använder WebSocket API direkt skickar du keyterms som frågeparametrar:

wss://api.elevenlabs.io/v1/speech-to-text/realtime?model_id=scribe_v3_live&keyterms=ElevenLabs&keyterms=AnotherTerm

Keyterm-bibliotek

Keyterm-biblioteket är endast tillgängligt med Scribe v3 Live (scribe_v3_live).

Keyterm prompting fungerar bäst för några få termer som du vet kommer att förekomma i ljudet. Ett keyterm-bibliotek är en stor vokabulär för ett helt område, till exempel en medicinsk ordbok, juridiska termer eller en produktkatalog. Modellen använder biblioteket endast när den hör en sannolik träff.

Skicka biblioteket som keyterm_library i sessionens första input_audio_chunk-meddelande:

{
"message_type": "input_audio_chunk",
"audio_base_64": "<base64-encoded audio>",
"commit": false,
"sample_rate": 16000,
"keyterm_library": ["Acetaminophen", "Metoprolol", "Atorvastatin"]
}

Ett keyterm-bibliotek har följande gränser:

  • Upp till 10 000 termer.
  • Upp till 50 tecken per term.
  • Upp till 2 MB text totalt.
  • Termer får inte vara tomma.

Du kan kombinera ett keyterm-bibliotek med frågeparametern keyterms i samma session. Sessioner som använder någon av dem debiteras kostnaden för keyterm prompting en gång.

keyterm_library accepteras endast i sessionens första input_audio_chunk. Om du skickar det i ett senare segment, eller skickar ett bibliotek som överskrider gränserna, returneras ett input_error och anslutningen stängs.

De officiella SDK:erna stöder inte keyterm_library ännu. För att använda det ansluter du direkt till WebSocket API.

Nästa steg