Vad är latens i Conversational AI och vad påverkar den?

För Conversational AI är latens det som skiljer bra applikationer från riktigt bra.

Conversational AI är till sin natur ambitiös. Den strävar efter att efterlikna känslan av att samtala med en människa, med samma känslomässiga omfång, tonläge och rytm. Lägg till vad som känns som en ”naturlig” fördröjning mellan att du slutar prata och att en AI-agent börjar svara, så får du ett latensmål grundat i hur människor faktiskt kommunicerar. 

Företag som vill driftsätta Conversational AI-agenter i stor skala behöver minska den latensen så mycket som möjligt för att uppnå den naturliga upplevelsen. Den här artikeln går igenom vad latens i Conversational AI är, vad som orsakar fördröjningar i hela pipelinen och hur du kan minska dem. 

Sammanfattning

• Latens i Conversational AI är den sammanlagda fördröjningen från att en användare slutar prata tills hen hör agentens första ord.
• Agenter med över 700 ms kan kännas onaturliga, och de med över 1 200 ms har hög avbrottsfrekvens.
• Latens byggs på i varje steg av Conversational AI-pipelinen.
• ElevenAgents hanterar hela pipelinen i en enda enhetlig arkitektur, vilket gör Conversational AI med låg latens tillgänglig för ditt företag.

Vad är latens i Conversational AI?

Latens i Conversational AI avser den totala tid det tar för ett system att svara efter att du har pratat. För moderna AI-modeller mäts latens i ms. Bakom kulisserna består den totala latensen egentligen av flera separata processer, som var och en utgör en del av hela pipelinen. 

En typisk Conversational AI-pipeline ser ut så här:

1. En användare pratar
2. Ljudet transkriberas av en Speech to Text-modell
3. Transkriptionen skickas till en LLM-modell som genererar ett svar
4. LLM-modellens text syntetiseras sedan till ljud med en Text to Speech-modell
5. Ljudet spelas sedan upp för användaren

Vart och ett av dessa steg tillför latens till ett Conversational AI-system. Därför behöver några olika förkortningar förklaras när vi pratar om latens.

Modellens inferenslatens

Modellens inferenslatens är den tid en modell lägger på att generera output, mätt internt och utan externa faktorer. Det är det modellspecifika måttet på hur snabbt din motor presterar för typiska indata. Flash v2.5 har till exempel en inferenslatens på omkring 75 ms. Med den informationen kan du jämföra modellernas hastighet mellan olika konkurrenter.

Kom dock ihåg att det här inte är den latens som användaren faktiskt upplever. Den avser endast den totala tid som en modell lägger på att generera output.

LLM: tid till första token

En stor språkmodells (LLM) tid till första token (TTFT) är den totala tid det tar för en stor språkmodell att bearbeta en prompt och generera sin första användbara output-token.

TTS-generering börjar när den första tokenen kommer från din LLM, så detta mäter hur lång tid LLM-modellen behöver för att börja aktivera din TTS-modell. För de flesta heltäckande Conversational AI-system utgör LLM TTFT en betydande del av den totala latensen. 

TTS: tid till första ljudet (TTFA)

TTS: tid till första ljudet (TTFA) mäter tiden från den första TTS-förfrågan tills det första ljudsegmentet faktiskt lämnar modellen. Det är ett sätt att beskriva modellens inferenslatens, men specifikt för TTS-motorer. 

Heltäckande tid till första ljudet (TTFA)

Heltäckande TTFA är den totala latensen i Conversational AI. Det är summan av alla delar i pipelinen, från taligenkänning, LLM TTFT, TTS, TTFA och alla nätverksöverföringar mellan stegen. När man diskuterar latens i Conversational AI som helhet är det här måttet som användaren upplever.

När användaren pratar väntar hen på heltäckande TTFA innan hen hör något från din agent. Det är ett helhetsmått, vilket innebär att förbättringar i vilken del som helst av pipelinen förbättrar det. 

Varför latens i Conversational AI är viktigt

När en användare pratar med din AI-agent blir latensen avgörande för hur upplevelsen uppfattas. Låg latens minskar tiden användaren måste vänta på ett svar, vilket gör att samtalet känns naturligt och agenten verkar kompetent. 

Agenter med hög latens känns konstlade och mindre kompetenta, även om kvaliteten på deras svar är densamma. För företag kan till och med några hundra ms kännas som en evighet och få din kundsupportagent att kännas klumpig och ineffektiv.

Här är några scenarier som visar varför latens i Conversational AI spelar roll i praktiken:

• Under 500 ms: En konversationsagent känns responsiv och smidig. Användarna kanske inte märker fördröjningen mellan att de slutar prata och får ett första svar, vilket gör att samtalet flyter på naturligt.
• 500 ms till 1 000 ms: Fördröjningen mellan att en användare slutar prata och får ett svar kan bli märkbar. Den är bara lite för lång, vilket kan få användare att upprepa sig eller pausa för att se om agenten verkligen har förstått dem.
• Över 1 000 ms: Fördröjningarna börjar kännas långsamma, med pauser som kan få användare att känna att AI-agenten inte riktigt hänger med i samtalet. Transkriptioner kan visa enstaka avbrott eller önskemål om att få prata med en mänsklig agent. I vissa fall kan användare avbryta samtalet.

Var och en av dessa trösklar leder till verkliga affärsresultat. 

I den lägre delen av latensskalan får du en kundtjänstagent som naturligt kan hantera inkommande frågor och hjälpa användare att lösa sina ärenden utan extra hjälp. Det avlastar dina mänskliga agenter och håller kundnöjdheten hög. I den högre delen av latensskalan frustrerar du dina kunder med en agent som verkar tveka alldeles för länge. 

I en annan artikel har vi definierat riktvärden för latensbudget för röstassistenter för att visa hur bra latens ser ut för både P50- och P95-värden. 

Vad orsakar latens i Conversational AI?

Latens i Conversational AI är ett samlingsbegrepp för flera olika processer, där varje segment bidrar till helheten. Därför är flaskhalsen för låg latens snarare ett problem på systemnivå än något som löses genom att bara välja en bättre modell. Flera modeller samverkar trots allt i pipelinen.

För utvecklare har vi skrivit en ingående teknisk guide om latensoptimering för röstassistenter som du kan använda för att förbättra varje steg i den heltäckande tiden till första ljudet (TTFA).

Utöver själva pipelinen tillför även andra faktorer som telefoni och funktionsanrop latens, trots att de inte ingår i modellinfrastrukturen. 

Här är en översikt över alla faktorer som bidrar till latens i Conversational AI. 

Automatisk taligenkänning

Latensen för taligenkänning är inte tiden det tar att skapa en transkription. Transkriberingsprocessen körs i bakgrunden medan användaren pratar, så när talet avslutas är texten till stor del redan klar. 

Latensen här är i stället intervallet mellan att talet upphör och att transkriptionen färdigställs och skickas vidare till nästa steg. Scribe v2 Realtime minskar detta intervall till cirka 150 ms genom kontinuerlig streaming, så att outputen är klar i samma ögonblick som turen avslutas.

Turtagning och slutpunktsidentifiering 

En Voice Activity Detector (VAD) ligger mellan taligenkänningen och språkmodellen. Dess uppgift är att avgöra när användaren faktiskt har pratat klart. 

För att undvika fel väntar VAD på en viss mängd ihållande tystnad innan den avgör att turen är slut, och den väntan tillför latens innan språkmodellen bearbetar ett ord. Den lilla extra latensen tar visserligen tid, men den förhindrar också att systemet börjar svara medan användaren fortfarande pratar. 

Rent tekniskt vore latensen från turtagning en bra sak om alla andra Conversational AI-komponenter hade noll latens. Människor tar en kort paus innan de svarar på tal. En maskin som gör en liknande paus får interaktionen att kännas mer realistisk. Men eftersom andra komponenter i Conversational AI redan tillför latens är minimal latens bäst.

Bearbetning i språkmodellen

När transkriptionen är klar från Speech to Text-motorn (STT) genererar språkmodellen ett svar. Latensen här är tiden det tar att börja generera token, inte att generera hela svaret. Dessa token strömmas direkt till TTS-steget när de kommer, så TTFT är viktigast. 

Utöver modellval påverkar både promptens längd och kunskapsbasens storlek detta steg. Ju mer kontext LLM-modellen behöver ta hänsyn till, desto längre tid tar det. När du utformar dessa system i stor skala behöver du hitta rätt balans mellan en användbar kunskapsbas och en slimmad prompt för att hålla hög hastighet.

Talsyntes

TTS-latens är tiden mellan att de första tokenen tas emot från språkmodellen och att ljudet börjar. Eftersom token kommer snabbare än mänskligt tal spelas upp väntar syntesmodellen aldrig på hela svaret. TTS-latens är strikt sett tiden till det första ljudsegmentet. 

Det här steget brukade vara den största enskilda bidragande faktorn till latens i Conversational AI, eftersom äldre modeller behövde 2–3 sekunder för att börja generera tal. ElevenLabs Flash v2.5 hanterar detta direkt genom att leverera talsyntes med cirka 75 ms latens och minska flaskhalsen från sekunder till en bråkdel av en sekund.

Nätverkslatens

Att skicka data från en plats till en annan tillför alltid latens, och geografiskt avstånd förvärrar bara nätverkets tur- och returlatens. 

Eftersom flera komponenter samarbetar för att skapa ett heltäckande svar kan betydande latens byggas på genom flera nätverkshopp. 

Funktionsanrop

Funktionsanrop lägger till API-tur- och returresor i LLM-steget. En snabb intern uppslagning tillför tiotals millisekunder, medan en betaltjänst eller ett lagersystem kan tillföra sekunder. Latensens omfattning beror helt på tjänsten som anropas, vilket gör detta till det svåraste steget att optimera direkt. 

Det effektivaste är att uppmana LLM-modellen att svara innan verktygsanropet är klart. En fras som ”Låt mig kontrollera det åt dig” håller användaren engagerad medan det externa anropet slutförs, i stället för att lämna tystnad. Röstsvaret startar medan verktyget körs parallellt.

Så minskar du latensen i Conversational AI

Att minska latensen i Conversational AI kräver att du hanterar varje steg i pipelinen i ordning efter påverkan. Enskilda förbättringar påverkar visserligen latensen, men du måste arbeta med hela pipelinen som en helhet för att se den största förändringen.

Här är några principer som på en övergripande nivå kan hjälpa dig att minska latensen i Conversational AI:

• Val av TTS-modell: Hastighetsoptimerade TTS-modeller som Flash v2.5 använder andra arkitekturer än kvalitetsoptimerade modeller som Eleven v3. För röstassistenter i realtid är röstassistenter, det rätta valet den modell med högst kvalitet som uppfyller ditt latensmål – vilket nästan alltid är en modell optimerad för hastighet.
• Val av LLM-modell: Mindre och snabbare LLM-modeller ger generellt kortare tid till första token än större modeller. Att välja den snabbaste LLM-modellen som fortfarande uppfyller dina kvalitetskrav för uppgiften är lika viktigt som valet av TTS-modell.
• Streaming: Streamad TTS levererar ljud i segment medan syntesen pågår, så att användaren hör det första ordet medan modellen fortfarande genererar resten. Samma koncept gäller LLM-output: att börja TTS-syntesen vid den första meningen medan språkmodellen genererar följande meningar kan minska latensen i pipelinen. 
• Systemprompt-design: Användare kan effektivisera systemprompter genom att flytta instruktioner till procedurer eller workflows i stället för att behålla dem som en del av varje beslutssteg. Det minskar mängden kontext som modellen behöver resonera kring vid varje tur.
• Skyddsräcken: Genom att köra skyddsräcken i den streamade modellen kan outputen börja spelas upp innan kontrollen är klar, i stället för att blockera uppspelningen tills kontrollen har slutförts.
• Samlokalisering av modeller: Att använda samlokaliserade modeller där det är möjligt, som ElevenLabs Agents-stacken, håller komponenterna nära varandra så att latens inte tillförs genom hopp mellan modeller som driftas separat.
• Geografi: Kort avstånd mellan dina servrar och användarna kan minska latensen avsevärt, eftersom det direkt minskar nätverkets bidrag till heltäckande TTFA. 

Utöver dessa faktorer kan du använda den här tekniska guiden om latensoptimering för mer information. 

Kom igång med Conversational AI med låg latens i ElevenAgents

Latens i Conversational AI är en viktig faktor att tänka på när du bygger och driftsätter agenter. Med ElevenAgents är latensoptimering inbyggd i processen. Från överlappningstekniker som sparar tid till låg inferenslatens i enskilda komponenter bygger ElevenAgents Conversational AI-stackar med låg latens för ditt företag. 

I slutändan är målet att skapa realism. En användare ska känna hur enkelt det är att prata med en människa och samtidigt få fördelarna med ett datorprogram. Genom att effektivisera delprocesserna är detta nu möjligt.

Läs mer om ElevenAgents eller kontakta säljteamet för att komma igång i dag.

Vanliga frågor om latens i Conversational AI