Che cos'è la latenza dell'IA conversazionale e cosa la influenza?

Per l'IA conversazionale, la latenza è ciò che distingue le buone applicazioni da quelle eccellenti.

Per sua natura, l'IA conversazionale è ambiziosa: punta a emulare la sensazione di conversare con una persona, riproducendone la stessa gamma emotiva, l'intonazione e il ritmo. Se aggiungi il ritardo che appare “naturale” tra il momento in cui smetti di parlare e quello in cui un agente IA inizia a rispondere, ottieni un obiettivo di latenza basato sul modo in cui le persone comunicano davvero. 

Le aziende che vogliono implementare agenti di IA conversazionale su larga scala devono ridurre il più possibile questa latenza per ottenere un'interazione naturale. Questo articolo spiega cos'è la latenza dell'IA conversazionale, cosa causa i ritardi lungo l'intera pipeline e come ridurli a grandi linee. 

In sintesi

• La latenza dell'IA conversazionale è il ritardo end-to-end totale tra il momento in cui un utente smette di parlare e quello in cui sente la prima parola dell'agente.
• Gli agenti con una latenza superiore a 700 ms possono sembrare poco naturali, mentre quelli oltre 1.200 ms presentano alti tassi di abbandono.
• La latenza si accumula in ogni fase della pipeline dell'IA conversazionale.
• ElevenAgents gestisce l'intera pipeline in un'unica architettura unificata, rendendo l'IA conversazionale a bassa latenza accessibile alla tua azienda.

Cos'è la latenza dell'IA conversazionale?

La latenza dell'IA conversazionale indica il tempo totale necessario a un sistema per rispondere dopo che hai parlato. Per i moderni modelli di IA, la latenza si misura in ms. Dietro le quinte, il valore della latenza totale è composto da diversi processi distinti, ciascuno dei quali contribuisce alla pipeline end-to-end. 

Una tipica pipeline di IA conversazionale è composta da:

1. Un utente parla
2. L'audio viene trascritto da un modello Speech to Text
3. La trascrizione viene passata a un modello LLM, che produce una risposta
4. Il testo dell'LLM viene quindi sintetizzato in audio con un modello Text to Speech
5. L'audio viene quindi riprodotto per l'utente

Ognuna di queste fasi aggiunge latenza a un sistema di IA conversazionale. Per questo, quando si parla di latenza, è utile chiarire alcuni acronimi.

Latenza di inferenza del modello

La latenza di inferenza del modello è il tempo che un modello impiega per generare un output, misurato internamente ed escludendo tutti i fattori esterni. È la misura specifica del modello di quanto rapidamente il tuo motore opera con input tipici. Ad esempio, Flash v2.5 ha una latenza di inferenza di circa 75 ms. Sapendolo, puoi confrontare la velocità dei modelli tra diversi concorrenti.

Ricorda però che non è il valore di latenza effettivamente percepito dall'utente. Si riferisce al tempo totale che un modello impiega per generare un output.

Tempo al primo token dell'LLM

Il tempo al primo token (TTFT) di un modello linguistico di grandi dimensioni (LLM) è il tempo totale necessario al modello per elaborare un prompt e generare il primo token di output utilizzabile.

La generazione TTS inizia quando arriva il primo token dal tuo LLM, quindi questa misura indica quanto tempo impiega l'LLM a iniziare a fornire input al modello TTS. Per la maggior parte dei sistemi di IA conversazionale end-to-end, il TTFT dell'LLM rappresenta una parte significativa della latenza totale. 

Tempo al primo audio del TTS (TTFA)

Il tempo al primo audio del TTS (TTFA) misura il tempo dalla prima richiesta TTS al momento in cui il primo chunk audio esce effettivamente dal modello. È un modo per descrivere la latenza di inferenza del modello, specificamente per i motori TTS. 

Tempo end-to-end al primo audio (TTFA)

Il TTFA end-to-end è la latenza totale dell'IA conversazionale. È la somma di ogni componente della pipeline, dal riconoscimento vocale, al TTFT dell'LLM, al TTS, al TTFA e a tutte le trasmissioni di rete tra una fase e l'altra. Quando si parla della latenza complessiva dell'IA conversazionale, questa è la metrica percepita dall'utente.

Quando parla, l'utente attenderà il TTFA end-to-end prima di sentire una risposta dall'agente. È una misura olistica, quindi il miglioramento di qualsiasi parte della pipeline la migliorerà. 

Perché la latenza dell'IA conversazionale è importante

Quando un utente parla con il tuo agente IA, la latenza diventa un fattore centrale nel modo in cui percepisce l'esperienza. Tempi di latenza ridotti diminuiscono l'attesa per una risposta, rendendo la conversazione più naturale e l'agente più capace. 

Gli agenti con un'alta latenza sembrano artificiali e meno competenti, anche quando la qualità delle risposte è la stessa. Per le aziende, persino una differenza di poche centinaia di ms può sembrare un'eternità, facendo apparire il tuo agente di assistenza clienti macchinoso e inefficace.

Ecco alcuni scenari che mostrano concretamente perché la latenza dell'IA conversazionale è importante:

• Meno di 500 ms: Un agente conversazionale appare reattivo e fluido. Gli utenti potrebbero non percepire il ritardo tra quando smettono di parlare e quando ricevono la prima risposta, permettendo alla conversazione di scorrere senza intoppi.
• Da 500 ms a 1000 ms: Il ritardo tra quando un utente smette di parlare e quando riceve una risposta può diventare percepibile. È appena un po' troppo lungo, quindi gli utenti potrebbero cercare di adattarsi in anticipo ripetendosi o facendo una pausa per capire se l'agente li ha effettivamente compresi.
• Oltre 1000 ms: I ritardi iniziano a sembrare lenti, con pause che fanno percepire ad alcuni utenti che l'agente IA non riesca a tenere pienamente il passo della conversazione. Le trascrizioni possono mostrare interruzioni occasionali o richieste di parlare con un operatore umano. In alcuni casi, gli utenti potrebbero abbandonare la chiamata.

Ognuna di queste soglie si traduce in risultati aziendali concreti. 

Nella fascia più bassa dello spettro di latenza, avrai un agente di assistenza clienti in grado di gestire naturalmente le domande in arrivo e aiutare gli utenti a risolvere le loro richieste senza ulteriore assistenza. Riduce il carico sui tuoi operatori umani e mantiene alta la soddisfazione dei clienti. Nella fascia più alta dello spettro di latenza, invece, frustrerai i clienti con un agente che sembra esitare troppo a lungo. 

In un altro articolo abbiamo definito i benchmark del budget di latenza degli agenti vocali per mostrare come si presenta una buona latenza sia nei valori P50 sia in quelli P95. 

Cosa causa la latenza dell'IA conversazionale?

La latenza dell'IA conversazionale è un termine che riassume diversi processi, con ogni segmento che contribuisce al totale. Di conseguenza, il collo di bottiglia per ottenere una bassa latenza è più un problema a livello di sistema che qualcosa risolvibile semplicemente scegliendo un modello migliore. Dopotutto, nella pipeline interagiscono diversi modelli.

Per gli sviluppatori, abbiamo scritto una guida tecnica approfondita sull'ottimizzazione della latenza degli agenti vocali che puoi usare per migliorare ogni fase del tempo end-to-end al primo audio (TTFA).

Oltre alla pipeline principale, anche altri fattori come la telefonia e le chiamate di funzione aggiungono latenza, pur non essendo interni all'infrastruttura del modello. 

Ecco una panoramica di tutti i fattori che contribuiscono alla latenza dell'IA conversazionale. 

Riconoscimento vocale automatico

La latenza del riconoscimento vocale non è il tempo necessario per generare una trascrizione. Il processo di trascrizione viene eseguito in background mentre l'utente parla, quindi quando il parlato termina il testo è in gran parte già pronto. 

In questo caso, la latenza è in realtà l'intervallo tra la fine del parlato e il momento in cui la trascrizione viene finalizzata e passata alla fase successiva. Scribe v2 Realtime riduce questo intervallo a circa 150 ms, effettuando lo streaming continuo affinché l'output sia pronto nel momento in cui il turno termina.

Gestione dei turni e endpointing 

Un rilevatore di attività vocale (VAD) si trova tra il riconoscimento vocale e il modello linguistico. Il suo compito è decidere quando l'utente ha effettivamente finito di parlare. 

Per evitare errori, il VAD attende una soglia di silenzio continuo prima di dichiarare concluso il turno, e questa attesa aggiunge latenza prima che il modello linguistico elabori una parola. Questa piccola latenza aggiuntiva aumenta il tempo, ma evita anche che il sistema inizi a rispondere mentre l'utente sta ancora parlando. 

Tecnicamente, se tutti gli altri componenti dell'IA conversazionale avessero latenza zero, quella attribuita alla gestione dei turni sarebbe un aspetto positivo. Le persone fanno una breve pausa prima di rispondere al parlato. Una macchina che fa una pausa simile rende l'interazione più realistica. Tuttavia, poiché gli altri componenti dell'IA conversazionale introducono già latenza, l'ideale è una latenza minima.

Elaborazione del modello linguistico

Una volta che la trascrizione è pronta dal motore Speech to Text (STT), il modello linguistico genera una risposta. La latenza qui è il tempo necessario per iniziare a generare token, non per generare l'intera risposta. I token vengono trasmessi direttamente alla fase TTS man mano che arrivano, quindi ciò che conta di più è il TTFT. 

Oltre alla scelta del modello, sia la lunghezza del prompt sia la dimensione della knowledge base influenzano questa fase. Più contesto l'LLM deve considerare, più tempo impiega. Quando progetti questi sistemi su larga scala, dovrai trovare il giusto equilibrio tra una knowledge base utile e un prompt snello per mantenere velocità elevate.

Sintesi vocale

La latenza TTS è il tempo tra la ricezione dei primi token dal modello linguistico e l'inizio dell'audio. Poiché i token arrivano più velocemente di quanto venga riprodotto il parlato umano, il modello di sintesi non attende mai la risposta completa. La latenza TTS corrisponde strettamente al tempo fino al primo chunk audio. 

In passato, questa fase era il maggiore singolo contributo alla latenza dell'IA conversazionale: i modelli più vecchi impiegavano 2-3 secondi per iniziare a generare il parlato. Flash v2.5 di ElevenLabs affronta direttamente questo problema, offrendo sintesi vocale con una latenza di ~75 ms e riducendo il collo di bottiglia da secondi a una frazione di secondo.

Latenza di rete

L'invio di dati da una posizione a un'altra aggiunge sempre latenza, e la distanza geografica non fa che aumentare la latenza di rete di andata e ritorno. 

Poiché diversi componenti collaborano per generare una risposta end-to-end, una latenza significativa può accumularsi attraverso più serie di hop di rete. 

Chiamate di funzione

Le chiamate di funzione aggiungono round-trip API nella fase LLM. Una rapida ricerca interna aggiunge decine di millisecondi, mentre un sistema di elaborazione dei pagamenti o di gestione dell'inventario potrebbe aggiungere secondi. La quantità di latenza dipende interamente dal servizio chiamato, rendendo questa la fase più difficile da ottimizzare direttamente. 

L'approccio più efficace è chiedere all'LLM di rispondere prima che la chiamata allo strumento sia completata. Una frase come "Controllo subito" mantiene l'utente coinvolto mentre la chiamata esterna viene risolta, invece di lasciare silenzio. La risposta vocale inizia mentre lo strumento viene eseguito in parallelo.

Come ridurre la latenza dell'IA conversazionale

Ridurre la latenza dell'IA conversazionale richiede di intervenire su ogni fase della pipeline in ordine di impatto. Sebbene ogni singolo miglioramento influisca sulla latenza, per ottenere il cambiamento maggiore dovrai lavorare sull'intera pipeline in modo olistico.

Ecco alcuni principi che possono guidarti, a grandi linee, nella riduzione della latenza dell'IA conversazionale:

• Scelta del modello TTS: I modelli TTS ottimizzati per la velocità, come Flash v2.5, usano architetture diverse rispetto ai modelli ottimizzati per la qualità, come Eleven v3 ed Eleven v4. Per gli agenti vocali in tempo reale, agenti vocali in tempo reale, la scelta giusta è il modello di qualità più elevata che soddisfa il tuo obiettivo di latenza, quasi sempre un modello ottimizzato per la velocità.
• Scelta del modello LLM: Gli LLM più piccoli e veloci producono generalmente un tempo al primo token inferiore rispetto a quelli più grandi. Scegliere l'LLM più veloce che soddisfi comunque il livello di qualità richiesto per l'attività è importante quanto scegliere il modello TTS.
• Streaming: Il TTS in streaming restituisce l'audio in chunk durante la sintesi, quindi l'utente sente la prima parola mentre il modello sta ancora generando il resto. Questo concetto si applica anche all'output dell'LLM: iniziare la sintesi TTS dalla prima frase mentre il modello linguistico genera le successive può recuperare latenza dalla pipeline. 
• System prompt design: Gli utenti possono snellire i system prompt spostando le istruzioni in procedure o workflow, anziché mantenerle in ogni fase decisionale. Così si riduce la quantità di contesto su cui il modello deve ragionare a ogni turno.
• Guardrail: L'esecuzione dei guardrail nel modello di streaming consente di avviare la riproduzione dell'output prima che il controllo sia completato, invece di bloccarla fino alla fine della verifica.
• Co-locazione dei modelli: L'uso di modelli co-localizzati, dove possibile, come nello stack ElevenLabs Agents, mantiene i componenti vicini e impedisce che la latenza aumenti a causa degli hop tra modelli forniti separatamente.
• Geografia: La vicinanza tra i tuoi server e i tuoi utenti può ridurre significativamente la latenza, perché riduce direttamente il contributo della rete al TTFA end-to-end. 

Oltre a questi fattori, puoi usare questa guida tecnica per ottimizzare la latenza per maggiori dettagli. 

Inizia con l'IA conversazionale a bassa latenza su ElevenAgents

La latenza dell'IA conversazionale è un fattore fondamentale da considerare quando crei e implementi agenti. Con ElevenAgents, l'ottimizzazione della latenza è integrata nel processo. Dalle tecniche di sovrapposizione per recuperare tempo alla bassa latenza di inferenza dei singoli componenti, ElevenAgents crea stack di IA conversazionale a bassa latenza per la tua azienda. 

In definitiva, l'obiettivo è creare realismo. Un utente deve percepire la naturalezza di parlare con una persona, ottenendo al tempo stesso i vantaggi di un programma informatico. Ottimizzando i sottoprocessi, ora è possibile.

Scopri di più su ElevenAgents oppure contatta il team commerciale per iniziare oggi.

FAQ sulla latenza dell'IA conversazionale