Hoppa till navigering

Transkriberingar och commit-strategier

Den här guiden visar hur du hanterar transkriberingar och commit-strategier med ElevenLabs Realtime Speech to Text API.

Praktisk guide · Förutsätter att du har slutfört guiden för klientsidan eller strömning på serversidan.

Översikt

När du transkriberar ljud får du partiella och bekräftade transkriberingar.

  • Partiella transkriberingar – transkriberingens preliminära resultat
  • Bekräftade transkriberingar – det slutgiltiga resultatet för transkriberingssegmentet som skickas när ett “commit”-meddelande tas emot. En session kan ha flera bekräftade transkriberingar.

En bekräftad transkribering kan även innehålla tidsstämplar på ordnivå. De tas endast emot när alternativet “include timestamps” är inställt på true.

# Initialize the connection
connection = await elevenlabs.speech_to_text.realtime.connect(RealtimeUrlOptions(
model_id="scribe_v3_live",
include_timestamps=True, # Include this to receive the RealtimeEvents.COMMITTED_TRANSCRIPT_WITH_TIMESTAMPS event with word-level timestamps
))

Commit-strategier

När du skickar ljudsegment via WebSocket kan transkriberingssegment bekräftas på tre sätt: manuell commit, Voice Activity Detection (VAD) eller turförutsägelse. Turförutsägelse är endast tillgängligt med Scribe v3 Live.

Manuell commit

Med den manuella commit-strategin styr du när transkriberingssegment bekräftas. Det här är strategin som används som standard. När du bekräftar ett segment rensas den bearbetade ackumulerade transkriberingen och ett nytt segment startar utan att kontext går förlorad. Att bekräfta var 20–30:e sekund är en bra metod för att förbättra latensen. Även om du inte bekräftar manuellt bekräftar modellen automatiskt efter cirka 36 sekunders ackumulerat ljud.

För bästa resultat bör du bekräfta under tysta perioder eller vid en annan lämplig punkt, som när en talare byts.

Bearbetningen av transkriberingen börjar efter att de första 2 sekunderna av ljud har skickats.
await connection.send({
"audio_base_64": audio_base_64,
"sample_rate": 16000,
})
# When ready to finalize the segment
await connection.commit()

Att bekräfta manuellt flera gånger tätt inpå varandra kan försämra modellens prestanda.

Skicka tidigare textkontext

När du skickar ljud för transkribering kan du skicka tidigare textkontext tillsammans med det första ljudsegmentet för att hjälpa modellen att förstå talets sammanhang. Det är användbart i några scenarier:

  • Agenttext för användningsfall med konversations-AI – gör det enklare för modellen att förstå samtalets sammanhang och skapa bättre transkriberingar.
  • Återanslutning efter ett nätverksfel – gör att modellen kan fortsätta transkribera med den tidigare texten som vägledning.
  • Allmän kontextinformation – en kort beskrivning av vad transkriberingen handlar om hjälper modellen att förstå sammanhanget.

Det går bara att skicka kontext med previous_text tillsammans med det första ljudsegmentet via connection.send(). Om du skickar det i efterföljande segment uppstår ett fel. Tidigare text fungerar bäst när den är under 50 tecken lång.

await connection.send({
"audio_base_64": audio_base_64,
"previous_text": "The previous text context",
})

Voice Activity Detection (VAD)

Med VAD-strategin identifierar transkriberingsmotorn automatiskt tal- och tystnadssegment. När en tystnadströskel nås bekräftar transkriberingsmotorn automatiskt transkriberingssegmentet.

När du transkriberar ljud från mikrofonen i integreringen på klientsidan rekommenderar vi att du använder VAD-strategin.

vad_silence_threshold_secs accepterar 0.192 till 3.0 sekunder. JavaScript- och React-SDK:erna accepterar endast 0.3 till 3.0.

import { Scribe, AudioFormat, CommitStrategy } from "@elevenlabs/client";
const connection = Scribe.connect({
token: "sutkn_1234567890",
modelId: "scribe_v3_live",
audioFormat: AudioFormat.PCM_16000,
commitStrategy: CommitStrategy.VAD,
vadSilenceThresholdSecs: 1.5,
vadThreshold: 0.4,
minSpeechDurationMs: 100,
minSilenceDurationMs: 100,
});

Turförutsägelse

Turförutsägelse är endast tillgängligt med Scribe v3 Live (scribe_v3_live). Andra modeller avvisar commit_strategy=turn_prediction med felet invalid_request och stänger anslutningen.

En kort VAD-tystnadströskel kan avbryta talare när de pausar, och en lång tröskel ger fördröjning före varje commit. Turförutsägelse använder samtalets kontext, inte bara tystnad, för att uppskatta om talaren har avslutat sin tur. En person som pausar mitt i uppläsningen av ett telefonnummer löper mindre risk att avbrytas.

Scribe v3 Live innehåller turn_probability, den uppskattade sannolikheten att talaren har avslutat sin tur, i varje partial_transcript-meddelande:

{
"message_type": "partial_transcript",
"text": "My phone number is 415",
"turn_probability": 0.08
}

Med commit_strategy=turn_prediction bekräftar servern det aktuella segmentet när en partiell transkribering når turn_probability på 0.9 eller högre. VAD förblir aktivt, så servern bekräftar också när tystnadströskeln vad_silence_threshold_secs nås. VAD-parametrarna (vad_silence_threshold_secs, vad_threshold, min_speech_duration_ms och min_silence_duration_ms) tillämpas på turförutsägelse på samma sätt som på VAD.

Standardstrategin för commit är manual för alla modeller, inklusive Scribe v3 Live. Ange uttryckligen commit_strategy=turn_prediction för att aktivera turförutsägelse.

CommitStrategy-uppräkningarna i Python- och JavaScript-SDK:erna innehåller ännu inte turn_prediction. Om du vill använda turförutsägelse ansluter du direkt till WebSocket API och anger frågeparametern.

wss://api.elevenlabs.io/v1/speech-to-text/realtime?model_id=scribe_v3_live&audio_format=pcm_16000&commit_strategy=turn_prediction

turn_probability skickas med varje commit-strategi när modellen är Scribe v3 Live. Med strategin manual kan du läsa den för att avgöra när du ska bekräfta i din egen applikation.

Filtrera bakgrundsljud

Ange frågeparametern filter_background_audio=true för att minska falska aktiveringar från bakgrundstal, som närliggande samtal, och omgivningsljud. När filtrering är aktiverad använder röstaktivitetsidentifieringen en modell som är anpassad för att ignorera bakgrundstal, och vad_threshold är som standard 0.15 om du inte anger något annat.

filter_background_audio kan inte kombineras med include_timestamps. Om du anger båda skickar servern felet invalid_request och stänger anslutningen.

Filtrering påverkar inte faktureringen: allt ljud du strömmar debiteras, inklusive ljud som filtret ignorerar.

Håll anslutningen aktiv under tystnad

De officiella SDK:erna kopplar inte ned anslutningen när inga meddelanden kommer, så de flesta integreringar behöver inte detta. Om din egen WebSocket-klient, eller en proxy eller lastbalanserare däremellan, stänger anslutningen när inga ramar kommer på ett tag, skickar du den valfria frågeparametern keepalive_interval_ms vid anslutning. Det här är viktigt under längre perioder av tystnad, till exempel ett telefonsamtal med pauser på 10–15 sekunder. Ungefär en gång per intervall skickar servern en keepalive-partial_transcript: tom (text: "") om det aktuella segmentet inte har någon obekräftad text, eller en upprepning av den senaste partiella texten om det har det.

Keepalives är inte en fritt körande ping: du måste fortsätta strömma ljud (tystnadsramar går bra). Om du slutar skicka ljud skickas inga keepalives, och servern stänger anslutningen efter 15 sekunder utan några klientmeddelanden. Den här servergränsen går inte att konfigurera.

  • Accepterar ett heltal mellan 500 och 10000 (millisekunder). Det är inaktiverat som standard. Utelämna parametern för att behålla det befintliga beteendet.
  • Värden utanför intervallet eller värden som inte är heltal gör att servern skickar felet invalid_request och stänger anslutningen.
  • Keepalives drivs av att modellen faktiskt bearbetar det tysta ljud du skickar, inte av en fritt körande timer, så de bekräftar också att transkriberingsvägen är aktiv.
  • Ljud bearbetas i segment på ungefär 1 sekund, så keepalives kommer ungefär en gång per intervall avrundat till den takten (till exempel utlöses 1000 ungefär en gång i sekunden och 3000 ungefär var tredje sekund). En sessions första keepalive kommer ungefär 2 sekunder efter start, eftersom servern buffrar de första cirka 2 sekunderna av ljud innan transkriberingen börjar. Ange intervallet till högst ungefär en tredjedel av din egen lästidsgräns för att ha marginal.
  • En keepalives text är endast tom när det aktuella segmentet ännu inte har någon obekräftad text. Om en paus inträffar efter tal men före en commit – vilket märks mest med filter_background_audio=true eller i manuellt commit-läge utan att bekräfta – upprepar keepalive i stället den senaste partiella texten, så den preliminära texten aldrig töms. Efter en commit är keepalives tomma igen tills nytt tal kommer.
  • Fungerar med både commit_strategy=manual och commit_strategy=vad, samt med filter_background_audio=true. Påverkar inte faktureringen utöver ljudet du redan strömmar.
  • Meddelandet session_started har config som ekar tillbaka keepalive_interval_ms (null när det är inaktiverat).

En tom partial_transcript (text: "") betyder “inget tal i det aktuella segmentet”. En upprepad, identisk partial_transcript under en paus är också en keepalive – klienter bör helt enkelt återge partiella transkriberingar som de redan gör, i stället för att specialhantera upprepningen.

Lägg till parametern i WebSocket-URL:en:

wss://api.elevenlabs.io/v1/speech-to-text/realtime?model_id=scribe_v3_live&commit_strategy=vad&keepalive_interval_ms=1000

Ljudformat som stöds

FormatSamplingsfrekvensBeskrivning
pcm_80008 kHz16-bitars PCM, little-endian
pcm_1600016 kHz16-bitars PCM, little-endian (rekommenderas)
pcm_2205022.05 kHz16-bitars PCM, little-endian
pcm_2400024 kHz16-bitars PCM, little-endian
pcm_4410044.1 kHz16-bitars PCM, little-endian
pcm_4800048 kHz16-bitars PCM, little-endian
ulaw_80008 kHz8-bitars μ-law-kodning

Bästa praxis

Ljudkvalitet

  • För bästa resultat använder du en samplingsfrekvens på 16 kHz för en optimal balans mellan kvalitet och bandbredd.
  • Se till att ljudinmatningen är ren och har minimalt med bakgrundsljud.
  • Använd lämplig mikrofonförstärkning för att undvika klippning.
  • Endast monoljud stöds för närvarande.

Segmentstorlek

  • Skicka ljudsegment som är 0,1–1 sekund långa för jämn strömning.
  • Mindre segment ger lägre latens men mer overhead.
  • Större segment är effektivare men kan ge högre latens.

Nästa steg