Che cos'è la latenza dell'IA conversazionale e cosa la influenza?

Per l'IA conversazionale, la latenza è ciò che distingue le buone applicazioni da quelle eccellenti.

L'IA conversazionale ha per sua natura un obiettivo ambizioso: ricreare la sensazione di conversare con una persona, riproducendone la stessa gamma emotiva, il tono e il ritmo. Se aggiungi un ritardo che sembri «naturale» tra il momento in cui smetti di parlare e quello in cui un agente IA inizia a rispondere, ottieni un obiettivo di latenza basato sul modo in cui le persone comunicano davvero. 

Le aziende che vogliono implementare agenti di IA conversazionale su larga scala devono ridurre il più possibile questa latenza, se vogliono creare quell'illusione di naturalezza. Questo articolo spiega cos'è la latenza dell'IA conversazionale, quali sono le cause dei ritardi nell'intera pipeline e come ridurli a grandi linee. 

In sintesi

• La latenza dell'IA conversazionale è il ritardo end-to-end totale dal momento in cui un utente smette di parlare a quello in cui sente la prima parola dell'agente.
• Gli agenti con una latenza superiore a 700 ms possono sembrare innaturali, mentre quelli oltre 1.200 ms registrano alti tassi di abbandono.
• La latenza si accumula in ogni fase della pipeline dell'IA conversazionale.
• ElevenAgents gestisce l'intera pipeline in un'unica architettura unificata, rendendo l'IA conversazionale a bassa latenza accessibile alla tua azienda.

Cos'è la latenza dell'IA conversazionale?

La latenza dell'IA conversazionale indica il tempo totale necessario a un sistema per rispondere dopo che hai parlato. Per i moderni modelli di IA, la latenza si misura in ms. Dietro le quinte, il valore totale della latenza è in realtà composto da diversi processi separati, ciascuno dei quali contribuisce alla pipeline end-to-end. 

Una tipica pipeline di IA conversazionale è composta da:

1. Un utente parla
2. L'audio viene trascritto da un modello Speech to Text
3. La trascrizione viene passata a un modello LLM, che produce una risposta
4. Il testo dell'LLM viene quindi sintetizzato in audio con un modello Text to Speech
5. L'audio viene quindi riprodotto per l'utente

Ognuna di queste fasi aggiunge latenza a un sistema di IA conversazionale. Per questo, quando si parla di latenza, è utile chiarire alcuni acronimi.

Latenza di inferenza del modello

La latenza di inferenza del modello è il tempo che un modello impiega per generare un output, misurato internamente ed escludendo tutti i fattori esterni. È la misura specifica del modello che indica la velocità del tuo motore con input tipici. Ad esempio, Flash v2.5 ha una latenza di inferenza del modello di circa 75 ms. Conoscendola, puoi confrontare la velocità dei modelli tra diversi concorrenti.

Detto questo, ricorda che non è il valore di latenza effettivamente percepito da un utente. Si riferisce nello specifico al tempo totale che un modello impiega per generare un output.

Time-to-first-token dell'LLM

Il time-to-first-token (TTFT) di un large language model (LLM) è il tempo totale necessario al modello per elaborare un prompt e generare il primo token di output utilizzabile.

La generazione TTS inizia quando arriva il primo token dal tuo LLM, quindi questa metrica misura quanto tempo impiega l'LLM a iniziare a fornire input al tuo modello TTS. Per la maggior parte dei sistemi di IA conversazionale end-to-end, il TTFT dell'LLM rappresenta una parte significativa della latenza totale. 

Time-to-first-audio (TTFA) del TTS

Il time-to-first-audio (TTFA) del TTS misura il tempo che intercorre dalla prima richiesta TTS al momento in cui il primo chunk audio esce effettivamente dal modello. È un modo per descrivere la latenza di inferenza del modello, ma specificamente per i motori TTS. 

Time-to-first-audio (TTFA) end-to-end

Il TTFA end-to-end è la latenza totale dell'IA conversazionale. È la somma di ogni parte della pipeline: riconoscimento vocale, TTFT dell'LLM, TTS, TTFA e tutte le trasmissioni di rete tra le varie fasi. Quando si parla della latenza complessiva dell'IA conversazionale, questa è la metrica percepita dall'utente.

Quando parla, l'utente attenderà il TTFA end-to-end prima di sentire una risposta dal tuo agente. È una misura olistica: migliorare qualsiasi parte della pipeline la migliorerà. 

Perché la latenza dell'IA conversazionale è importante

Quando un utente parla con il tuo agente IA, la latenza diventa un fattore centrale nel modo in cui percepisce quell'esperienza. Tempi di latenza bassi riducono l'attesa per una risposta e aiutano la conversazione a sembrare naturale, facendo apparire il tuo agente capace. 

Gli agenti con latenza elevata sembrano artificiali e meno competenti, anche se la qualità delle loro risposte è identica. Per le aziende, anche una differenza di poche centinaia di ms può sembrare un'eternità e rendere il tuo agente di assistenza clienti macchinoso e inefficace.

Ecco alcuni scenari che mostrano perché la latenza dell'IA conversazionale conta nella pratica:

• Meno di 500 ms: Un agente conversazionale sembra reattivo e fluido. Gli utenti potrebbero non percepire il ritardo tra quando smettono di parlare e quando ricevono la prima risposta, consentendo alla conversazione di scorrere senza intoppi.
• Da 500 ms a 1000 ms: Il ritardo tra il momento in cui un utente smette di parlare e quello in cui riceve una risposta può diventare percepibile. È leggermente troppo lungo, quindi gli utenti potrebbero cercare di adattarsi in anticipo ripetendosi o facendo una pausa per capire se l'agente li ha davvero compresi.
• Oltre 1000 ms: I ritardi iniziano a sembrare lenti, con pause che possono far sentire alcuni utenti come se l'agente IA non riuscisse a tenere pienamente il passo della conversazione. Le trascrizioni possono mostrare interruzioni occasionali o richieste di parlare con un operatore umano. In alcuni casi, gli utenti potrebbero abbandonare la chiamata.

Ciascuna di queste soglie si traduce in risultati aziendali concreti. 

Nella fascia più bassa dello spettro di latenza, avrai un agente di assistenza clienti in grado di gestire naturalmente le domande in arrivo e aiutare gli utenti a risolvere le loro richieste senza ulteriore assistenza. Riduce il carico sui tuoi operatori umani e mantiene alta la soddisfazione dei clienti. Nella fascia più alta dello spettro di latenza, invece, frustrerai i clienti con un agente che sembra esitare troppo a lungo. 

In un altro articolo abbiamo definito i benchmark del budget di latenza per gli agenti vocali per mostrare che aspetto ha una buona latenza sia ai valori P50 sia ai valori P95. 

Cosa causa la latenza nell'IA conversazionale?

La latenza dell'IA conversazionale è un termine che riassume diversi processi, con ogni segmento che contribuisce al totale. Per questo, il collo di bottiglia per ottenere una bassa latenza è più un problema a livello di sistema che qualcosa risolvibile semplicemente scegliendo un modello migliore. Dopotutto, nella pipeline interagiscono diversi modelli.

Per gli sviluppatori, abbiamo scritto una guida tecnica approfondita sull'ottimizzazione della latenza degli agenti vocali che puoi usare per migliorare ogni fase del time-to-first-audio (TTFA) end-to-end.

Oltre alla pipeline principale, anche altri fattori come la telefonia e il function calling aggiungono latenza, pur non essendo interni all'infrastruttura del modello. 

Ecco una panoramica di tutti i fattori che contribuiscono alla latenza dell'IA conversazionale. 

Riconoscimento vocale automatico

La latenza del riconoscimento vocale non è il tempo necessario per generare una trascrizione. Il processo di trascrizione viene eseguito in background mentre l'utente parla, quindi quando il parlato termina, il testo è in gran parte già pronto. 

In questo caso, la latenza è in realtà l'intervallo tra la fine del parlato e il momento in cui la trascrizione viene finalizzata e passata alla fase successiva. Scribe v2 Realtime riduce questo intervallo a circa 150 ms, eseguendo lo streaming continuo affinché l'output sia pronto non appena termina il turno di parola.

Gestione dei turni ed endpointing 

Un Voice Activity Detector (VAD) si colloca tra il riconoscimento vocale e il modello linguistico. Il suo compito è decidere quando l'utente ha effettivamente finito di parlare. 

Per evitare errori, il VAD attende una soglia di silenzio prolungato prima di dichiarare concluso il turno di parola, e questa attesa aggiunge latenza prima che il modello linguistico elabori una parola. Questa piccola latenza aggiuntiva richiede tempo, ma evita anche che il sistema inizi a rispondere mentre l'utente sta ancora parlando. 

Tecnicamente, se tutti gli altri componenti dell'IA conversazionale avessero latenza zero, quella attribuita alla gestione dei turni sarebbe positiva. Le persone si prendono un attimo prima di rispondere a qualcuno. Una macchina che fa una pausa simile rende l'interazione più realistica. Tuttavia, dato che gli altri componenti dell'IA conversazionale introducono già latenza, l'ideale è mantenerla al minimo.

Elaborazione del modello linguistico

Quando la trascrizione è pronta dal motore Speech to Text (STT), il modello linguistico genera una risposta. Qui la latenza è il tempo necessario per iniziare a generare token, non per generare l'intera risposta. Questi token passano direttamente in streaming alla fase TTS non appena arrivano, quindi ciò che conta di più è il TTFT. 

Oltre alla scelta del modello, sia la lunghezza del prompt sia la dimensione della knowledge base influiscono su questa fase. Più contesto deve considerare l'LLM, più tempo impiega. Quando progetti questi sistemi su larga scala, devi trovare il giusto equilibrio tra una knowledge base utile e un prompt snello, per mantenere tempi rapidi.

Sintesi vocale

La latenza TTS è il tempo che intercorre tra la ricezione dei primi token dal modello linguistico e l'inizio dell'audio. Poiché i token arrivano più velocemente di quanto venga riprodotto il parlato umano, il modello di sintesi non aspetta mai la risposta completa. La latenza TTS è strettamente il tempo necessario per il primo chunk audio. 

Questa fase era il principale fattore singolo della latenza dell'IA conversazionale: i modelli più vecchi impiegavano 2-3 secondi per iniziare a generare parlato. Flash v2.5 di ElevenLabs affronta direttamente questo problema, offrendo sintesi vocale con una latenza di circa 75 ms e riducendo questo collo di bottiglia da secondi a una frazione di secondo.

Latenza di rete

L'invio di dati da un luogo a un altro aggiunge sempre latenza, e la distanza geografica non fa che aumentare la latenza di rete di andata e ritorno. 

Poiché più componenti collaborano per fornire una risposta end-to-end, una latenza significativa può accumularsi attraverso diversi hop di rete. 

Function calling

Le chiamate di funzione aggiungono round trip delle API nella fase LLM. Una rapida ricerca interna aggiunge decine di millisecondi, mentre un sistema di elaborazione dei pagamenti o di inventario potrebbe aggiungere secondi. La quantità di latenza dipende interamente dal servizio chiamato, rendendo questa la fase più difficile da ottimizzare direttamente. 

Il modello più efficace consiste nell'indurre l'LLM a rispondere prima che la chiamata allo strumento sia completata. Una frase come "Controllo subito" mantiene l'utente coinvolto mentre viene risolta la chiamata esterna, invece di lasciare silenzio. La risposta vocale inizia mentre lo strumento viene eseguito in parallelo.

Come ridurre la latenza dell'IA conversazionale

Ridurre la latenza dell'IA conversazionale richiede di intervenire su ogni fase della pipeline in base al suo impatto. Sebbene i singoli miglioramenti influiscano sulla latenza, per ottenere il cambiamento più significativo dovrai lavorare sull'intera pipeline in modo olistico.

Ecco alcuni principi che possono guidarti, a grandi linee, nella riduzione della latenza dell'IA conversazionale:

• Scelta del modello TTS: I modelli TTS ottimizzati per la velocità, come Flash v2.5, usano architetture diverse rispetto ai modelli ottimizzati per la qualità, come Eleven v3. Per gli agenti vocali in tempo reale, la scelta giusta è il modello di qualità più elevata che soddisfa il tuo obiettivo di latenza, che quasi sempre è un modello ottimizzato per la velocità.
• Scelta del modello LLM: Gli LLM più piccoli e veloci in genere producono un time-to-first-token inferiore rispetto a quelli più grandi. Scegliere l'LLM più rapido che soddisfi comunque gli standard di qualità richiesti per l'attività è importante quanto scegliere il modello TTS.
• Streaming: Lo streaming TTS restituisce l'audio in chunk man mano che la sintesi procede, così l'utente sente la prima parola mentre il modello sta ancora generando il resto. Questo concetto si applica anche all'output dell'LLM: avviare la sintesi TTS sulla prima frase mentre il modello linguistico genera quelle successive può recuperare latenza nella pipeline. 
• System prompt design: Gli utenti possono semplificare i system prompt spostando le istruzioni in procedure o workflow, anziché mantenerle in ogni passaggio decisionale. Così si riduce la quantità di contesto su cui il modello deve ragionare a ogni turno.
• Guardrail: L'esecuzione dei guardrail nel modello di streaming consente di iniziare la riproduzione dell'output prima che il controllo sia completato, invece di bloccarla fino alla fine della verifica.
• Co-locazione dei modelli: Usare, dove possibile, modelli co-locati, come nello stack ElevenLabs Agents, mantiene i componenti vicini tra loro ed evita che la latenza aumenti per via dei passaggi tra modelli forniti separatamente.
• Geografia: La vicinanza tra i tuoi server e gli utenti può ridurre significativamente la latenza, poiché diminuisce direttamente il contributo della rete al TTFA end-to-end. 

Oltre a questi fattori, puoi usare questa guida tecnica per ottimizzare la latenza per maggiori dettagli. 

Inizia con l'IA conversazionale a bassa latenza su ElevenAgents

La latenza dell'IA conversazionale è un aspetto fondamentale da considerare quando crei e implementi agenti. Con ElevenAgents, l'ottimizzazione della latenza è integrata nel processo. Dalle tecniche di sovrapposizione per recuperare tempo alla bassa latenza di inferenza dei singoli componenti, ElevenAgents crea stack di IA conversazionale a bassa latenza per la tua azienda. 

In definitiva, l'obiettivo è creare realismo. Un utente deve percepire la semplicità di parlare con una persona, ottenendo al tempo stesso i vantaggi di un programma informatico. Riducendo i tempi dei sottoprocessi, ora è possibile.

Scopri di più su ElevenAgents oppure contatta il team vendite per iniziare oggi.

FAQ sulla latenza dell'IA conversazionale