Vai alla navigazione

Prompting dei termini chiave

Questa guida mostra come usare il prompting dei termini chiave con l'API Speech to Text.

Guida pratica · Presuppone che tu abbia completato la guida rapida a Speech to Text .

Panoramica

Il prompting dei termini chiave è disponibile con Scribe v3, Scribe v3 Live, Scribe v2, Scribe v2 Medical (batch) e Scribe v2 Realtime e comporta un costo aggiuntivo. Consulta la pagina dei prezzi API per informazioni dettagliate sui prezzi.

Il prompting dei termini chiave è una funzionalità che ti permette di evidenziare parole o frasi per orientare il modello verso la loro trascrizione. È utile per trascrivere parole o frasi specifiche poco comuni nell’audio, come nomi di prodotti, nomi propri o altri termini specifici. I termini chiave sono più efficaci delle parole chiave orientate o dei vocabolari personalizzati offerti da altri modelli, perché il modello si basa sul contesto per decidere se trascrivere o meno quel termine.

Batch (Scribe v3 / Scribe v2 / Scribe v2 Medical)Tempo reale (Scribe v3 Live / Scribe v2 Realtime)
Numero massimo di termini chiave100050
Numero massimo di caratteri per termine chiave5020

Nella trascrizione batch, ogni termine chiave può contenere al massimo 5 parole.

Per un vocabolario in tempo reale più ampio, Scribe v3 Live accetta anche una libreria di termini chiave fino a 10.000 termini.

Ad esempio, se il nome della tua azienda non è una frase comune o ha un’ortografia o pronuncia particolare, puoi usare i termini chiave per assicurarti che il modello trascriva correttamente. Considera il seguente audio:

Senza il prompting dei termini chiave, il modello potrebbe trascrivere quanto sopra così:

I work at eleven labs.

Usando uno stile errato per il nome dell’azienda. Con il prompting dei termini chiave, puoi assicurarti che il modello trascriva quanto sopra con l’ortografia e lo stile corretti:

I work at ElevenLabs.

Contesto

Il modello può usare il contesto per stabilire se un termine debba essere trascritto oppure no. Quando fornisci il termine chiave “ElevenLabs”, l’audio sopra viene trascritto come previsto, ma il modello riesce comunque a trascrivere correttamente quanto segue in base al contesto:

Che produce la seguente trascrizione:

I've worked at many labs. In fact I've worked at eleven labs.

Trascrizione batch

Il prompting dei termini chiave è integrato nell’API batch Speech to Text passando il parametro keyterms al metodo convert.

import os
from dotenv import load_dotenv
from io import BytesIO
import requests
from elevenlabs.client import ElevenLabs
load_dotenv()
elevenlabs = ElevenLabs(
api_key=os.getenv("ELEVENLABS_API_KEY"),
)
audio_url = (
"https://storage.googleapis.com/eleven-public-cdn/documentation_assets/audio/stt-keyterm-prompting.mp3"
)
response = requests.get(audio_url)
audio_data = BytesIO(response.content)
transcription = elevenlabs.speech_to_text.convert(
file=audio_data,
model_id="scribe_v3", # Model to use
# Keyterms to prompt the model with.
# Up to 1000 keyterms can be provided, with a maximum length of 50 characters each
keyterms=["ElevenLabs"],
)
print(transcription)

Streaming in tempo reale

Il prompting dei termini chiave è disponibile anche per l’API WebSocket Speech to Text in tempo reale. Passa il parametro keyterms durante la connessione.

connection = await elevenlabs.speech_to_text.realtime.connect(RealtimeUrlOptions(
model_id="scribe_v3_live",
keyterms=["ElevenLabs"],
))

Quando usi direttamente l’API WebSocket, passa i termini chiave come parametri query:

wss://api.elevenlabs.io/v1/speech-to-text/realtime?model_id=scribe_v3_live&keyterms=ElevenLabs&keyterms=AnotherTerm

Libreria di termini chiave

La libreria di termini chiave è disponibile solo con Scribe v3 Live (scribe_v3_live).

Il prompting dei termini chiave funziona meglio per pochi termini che sai compariranno nell’audio. Una libreria di termini chiave è un ampio vocabolario per un intero dominio, ad esempio un dizionario medico, termini legali o un catalogo prodotti. Il modello consulta la libreria solo quando rileva una probabile corrispondenza.

Invia la libreria come keyterm_library nel primo messaggio input_audio_chunk della sessione:

{
"message_type": "input_audio_chunk",
"audio_base_64": "<base64-encoded audio>",
"commit": false,
"sample_rate": 16000,
"keyterm_library": ["Acetaminophen", "Metoprolol", "Atorvastatin"]
}

Una libreria di termini chiave ha i seguenti limiti:

  • Fino a 10.000 termini.
  • Fino a 50 caratteri per termine.
  • Fino a 2 MB di testo complessivamente.
  • I termini non possono essere vuoti.

Puoi combinare una libreria di termini chiave con il parametro query keyterms nella stessa sessione. Alle sessioni che usano uno dei due viene addebitato una sola volta il costo del prompting dei termini chiave.

keyterm_library è accettato solo nel primo input_audio_chunk di una sessione. Se lo invii in un blocco successivo o invii una libreria che supera i limiti, viene restituito un input_error e la connessione viene chiusa.

Gli SDK ufficiali non supportano ancora keyterm_library. Per usarlo, connettiti direttamente all’API WebSocket.

Passaggi successivi