Vad är latens i Conversational AI och vad påverkar den?

För Conversational AI är latens det som skiljer bra applikationer från fantastiska.

Conversational AI är till sin natur strävsamt. Det försöker återskapa känslan av att samtala med en människa och efterliknar samma känslomässiga omfång, tonläge och rytm. Lägg till en fördröjning som känns ”naturlig” mellan att du slutar prata och att en AI-agent börjar svara, så får du ett latensmål som bygger på hur människor faktiskt kommunicerar. 

Företag som vill driftsätta Conversational AI-agenter i stor skala behöver minska latensen så mycket som möjligt för att uppnå den naturliga känslan. Den här artikeln förklarar vad latens i Conversational AI är, vad som orsakar fördröjningar i hela pipelinen och hur du kan minska dem. 

Sammanfattning

• Latens i Conversational AI är den totala fördröjningen från att en användare slutar prata tills hen hör agentens första ord.
• Agenter med en latens över 700 ms kan kännas onaturliga, och de över 1 200 ms har hög andel avbrutna samtal.
• Latens byggs på i varje steg av Conversational AI-pipelinen.
• ElevenAgents hanterar hela pipelinen i en enhetlig arkitektur, vilket gör Conversational AI med låg latens tillgängligt för ditt företag.

Vad är latens i Conversational AI?

Latens i Conversational AI avser den totala tid det tar för ett system att svara efter att du har pratat. För moderna AI-modeller mäts latens i ms. Bakom kulisserna består den totala latensen av flera separata processer, som var och en utgör en del av end-to-end-pipelinen. 

En typisk Conversational AI-pipeline ser ut så här:

1. En användare pratar
2. Ljudet transkriberas av en tal-till-text-modell
3. Transkriberingen skickas till en LLM-modell, som skapar ett svar
4. LLM:ens text syntetiseras sedan till ljud med en text to speech-modell
5. Ljudet spelas sedan upp för användaren

Vart och ett av dessa steg tillför latens i ett Conversational AI-system. Därför finns det några olika förkortningar att reda ut när man talar om latens.

Modellinferenslatens

Modellinferenslatens är tiden en modell lägger på att generera utdata, mätt internt och utan externa faktorer. Det är ett modellspecifikt mått på hur snabbt din motor fungerar för typiska indata. Flash v2.5 har till exempel en modellinferenslatens på omkring 75 ms. Med den informationen kan du jämföra hur snabba modeller är hos olika konkurrenter.

Kom dock ihåg att detta inte är den latens som användaren faktiskt upplever. Den avser endast den totala tid som en modell lägger på att generera utdata.

LLM time-to-first-token

Time-to-first-token (TTFT) för stora språkmodeller (LLM) är den totala tid det tar för en stor språkmodell att bearbeta en prompt och generera sin första användbara utdatatoken.

TTS-genereringen börjar när den första tokenen kommer från din LLM, så detta mäter hur lång tid LLM:en tar på sig att börja skicka indata till din TTS-modell. För de flesta end-to-end-system för Conversational AI utgör LLM TTFT en betydande del av den totala latensen. 

TTS time-to-first audio (TTFA)

TTS time-to-first audio (TTFA) mäter tiden från den första TTS-begäran tills den första ljudbiten faktiskt lämnar modellen. Det är ett sätt att beskriva modellinferenslatens, men specifikt för TTS-motorer. 

End-to-end time to first audio (TTFA)

End-to-end-TTFA är den totala latensen i Conversational AI. Det är summan av varje del av pipelinen, från taligenkänning, LLM TTFT, TTS och TTFA till alla nätverksöverföringar mellan stegen. När man talar om den samlade latensen i Conversational AI är detta måttet som användaren upplever.

När användaren pratar väntar hen på end-to-end-TTFA innan hen hör något från din agent. Det är ett helhetsmått, vilket innebär att förbättringar i vilken del av pipelinen som helst förbättrar det. 

Varför latens i Conversational AI är viktigt

När en användare pratar med din AI-agent blir latens en avgörande faktor för hur upplevelsen uppfattas. Kort latens minskar tiden användaren behöver vänta på ett svar, så att samtalet känns naturligt och agenten verkar kompetent. 

Agenter med hög latens känns konstgjorda och mindre kompetenta, även om kvaliteten på deras svar är densamma. För företag kan till och med en skillnad på några hundra ms kännas som en evighet och få din kundsupportagent att kännas trög och ineffektiv.

Här är några scenarier som visar varför latens i Conversational AI spelar roll i praktiken:

• Under 500 ms: En konversationsagent känns responsiv och smidig. Användare märker kanske inte fördröjningen mellan att de slutar prata och får sitt första svar, vilket gör att samtalet flyter på.
• 500 ms till 1 000 ms: Fördröjningen mellan att en användare slutar prata och får ett svar kan bli märkbar. Den är bara lite för lång, vilket kan få användare att försöka anpassa sig i förväg genom att upprepa sig eller pausa för att se om agenten verkligen har förstått dem.
• Över 1 000 ms: Fördröjningarna börjar kännas långsamma, med pauser som kan få vissa användare att uppleva att AI-agenten inte riktigt hänger med i samtalet. Transkriberingar kan visa enstaka avbrott eller önskemål om att få prata med en mänsklig agent. I vissa fall kan användare avbryta samtalet.

Vart och ett av dessa tröskelvärden leder till konkreta affärsresultat. 

I den lägre delen av latensspektrumet får du en kundtjänstagent som naturligt kan hantera inkommande frågor och hjälpa användare att lösa sina ärenden utan ytterligare hjälp. Det avlastar dina mänskliga agenter och håller kundnöjdheten hög. I den högre delen av latensspektrumet frustrerar du däremot kunderna med en agent som verkar tveka alldeles för länge. 

Vi har definierat riktvärden för latensbudget för röstassistenter i en annan artikel för att visa hur bra latens ser ut för både P50- och P95-värden. 

Vad orsakar latens i Conversational AI?

Latens i Conversational AI är ett samlingsbegrepp för flera olika processer, där varje del bidrar till helheten. Flaskhalsen för låg latens är därför mer ett problem på systemnivå än något som löses genom att bara välja en bättre modell. Flera modeller samverkar trots allt i pipelinen.

För utvecklare har vi skrivit en djupgående teknisk guide om latensoptimering för röstassistenter som du kan använda för att förbättra varje steg i end-to-end time to first audio (TTFA).

Utöver kärnpipelinen tillför även andra faktorer, som telefoni och funktionsanrop, latens, även om de inte ingår i modellinfrastrukturen. 

Här är en översikt över alla faktorer som bidrar till latens i Conversational AI. 

Automatisk taligenkänning

Latensen i taligenkänning är inte tiden det tar att generera en transkribering. Transkriberingsprocessen körs i bakgrunden medan användaren pratar, så när talet avslutas är texten till stor del redan klar. 

Latensen här är egentligen glappet mellan att talet avslutas och att transkriberingen färdigställs och skickas till nästa steg. Scribe v2 Realtime minskar detta glapp till cirka 150 ms genom kontinuerlig streaming, så att utdata är klar i samma ögonblick som turen avslutas.

Turtagning och slutpunktsdetektering 

En Voice Activity Detector (VAD) ligger mellan taligenkänningen och språkmodellen. Dess uppgift är att avgöra när användaren faktiskt har pratat klart. 

För att undvika fel väntar VAD:en på en viss tids sammanhängande tystnad innan den förklarar turen avslutad, och den väntan är latens som tillkommer innan språkmodellen bearbetar ett ord. Den lilla extra latensen ökar visserligen tiden, men den hindrar också systemet från att börja svara medan användaren fortfarande pratar. 

Tekniskt sett skulle latensen från turtagning vara något positivt om alla andra Conversational AI-komponenter hade noll latens. Människor tar en kort paus innan de svarar på tal. En maskin som tar en liknande paus gör interaktionen mer realistisk. Men eftersom andra komponenter i Conversational AI redan tillför latens är minimal latens idealiskt.

Bearbetning i språkmodellen

När transkriberingen är klar från speech to text-motorn (STT) genererar språkmodellen ett svar. Latensen här är tiden det tar att börja generera tokens, inte att skapa hela svaret. Dessa tokens streamas direkt till TTS-steget när de kommer in, så TTFT är viktigast. 

Utöver modellval påverkar både promptens längd och kunskapsbasens storlek detta steg. Ju mer kontext LLM:en behöver ta hänsyn till, desto längre tid tar det. När du utformar sådana system i stor skala behöver du hitta rätt balans mellan en användbar kunskapsbas och en slimmad prompt för att hålla det snabbt.

Talsyntes

TTS-latens är tiden mellan att de första tokens tas emot från språkmodellen och att ljudet börjar. Eftersom tokens kommer snabbare än mänskligt tal spelas upp väntar syntesmodellen aldrig på hela svaret. TTS-latens är strikt tiden till den första ljudbiten. 

Detta steg var tidigare det största enskilda bidraget till latens i Conversational AI, eftersom äldre modeller behövde 2–3 sekunder för att börja generera tal. ElevenLabs Flash v2.5 hanterar detta direkt genom att leverera talsyntes med cirka 75 ms latens och minska flaskhalsen från sekunder till en bråkdel av en sekund.

Nätverkslatens

Att skicka data från en plats till en annan tillför alltid latens, och geografiskt avstånd förvärrar bara nätverkslatensen för tur och retur. 

Eftersom flera komponenter samverkar för ett end-to-end-svar kan betydande latens byggas på genom flera nätverkshopp. 

Funktionsanrop

Funktionsanrop tillför API-anrop tur och retur i LLM-steget. En snabb intern uppslagning tillför tiotals millisekunder, medan en betaltjänst eller ett lagersystem kan tillföra sekunder. Mängden latens beror helt på tjänsten som anropas, vilket gör detta till det svåraste steget att optimera direkt. 

Det mest effektiva är att uppmana LLM:en att svara innan verktygsanropet är klart. En fras som ”Låt mig kontrollera det åt dig” håller användaren engagerad medan det externa anropet slutförs, i stället för att lämna tystnad. Röstsvaret börjar medan verktyget körs parallellt.

Så minskar du latens i Conversational AI

För att minska latens i Conversational AI behöver du hantera varje steg i pipelinen utifrån dess påverkan. Enskilda förbättringar påverkar visserligen latensen, men du behöver arbeta med hela pipelinen som en helhet för att se den största förändringen.

Här är några principer som på en övergripande nivå kan hjälpa dig att minska latens i Conversational AI:

• Val av TTS-modell: Hastighetsoptimerade TTS-modeller som Flash v2.5 använder andra arkitekturer än kvalitetsoptimerade modeller som Eleven v3. För röstassistenter i realtid är rätt val den modell med högst kvalitet som uppfyller ditt latensmål, vilket nästan alltid är en modell optimerad för hastighet.
• Val av LLM-modell: Mindre och snabbare LLM:er ger generellt lägre time-to-first-token än större modeller. Att välja den snabbaste LLM:en som fortfarande uppfyller dina kvalitetskrav för uppgiften är lika viktigt som valet av TTS-modell.
• Streaming: Streaming-TTS returnerar ljud i bitar medan syntesen pågår, så användaren hör det första ordet medan modellen fortfarande genererar resten. Konceptet gäller även LLM-utdata: genom att börja TTS-syntesen vid den första meningen medan språkmodellen genererar följande kan du återvinna latens i pipelinen. 
• Systemprompt-utformning: Användare kan effektivisera systemprompter genom att flytta instruktioner till procedurer eller workflows, i stället för att ha dem med i varje beslutssteg. Det minskar mängden kontext modellen måste resonera kring vid varje tur.
• Skyddsräcken: Genom att köra skyddsräcken i streamingmodellen kan utdata börja spelas upp innan kontrollen är klar, i stället för att uppspelningen blockeras tills kontrollen är färdig.
• Samlokalisering av modeller: Genom att använda samlokaliserade modeller där det är möjligt, till exempel ElevenLabs Agents-stack, hålls komponenterna nära varandra så att latens inte tillkommer genom hopp mellan modeller som driftas separat.
• Geografi: Närheten mellan dina servrar och dina användare kan minska latensen betydligt, eftersom den direkt minskar nätverkets bidrag till end-to-end-TTFA. 

Utöver dessa faktorer kan du använda den här tekniska guiden om latensoptimering för mer information. 

Kom igång med Conversational AI med låg latens i ElevenAgents

Latens i Conversational AI är en mycket viktig faktor att tänka på när du bygger och driftsätter agenter. Med ElevenAgents är latensoptimering inbyggd i processen. Från överlappningstekniker för att återvinna tid till låg modellinferenslatens i enskilda komponenter bygger ElevenAgents Conversational AI-stackar med låg latens för ditt företag. 

I slutändan handlar målet om att skapa realism. En användare ska känna samma enkelhet som i ett samtal med en människa, samtidigt som hen får fördelarna med ett datorprogram. Genom att effektivisera delprocesserna är detta nu möjligt.

Läs mer om ElevenAgents eller kontakta säljavdelningen för att komma igång i dag.

Vanliga frågor om latens i Conversational AI