Qu’est-ce que la latence de l’IA conversationnelle et quels facteurs l’influencent ?

Pour l’IA conversationnelle, la latence fait la différence entre une bonne application et une excellente application.

L’IA conversationnelle est, par nature, ambitieuse. Elle cherche à reproduire les sensations d’une conversation humaine, avec la même palette d’émotions, la même intonation et le même rythme. Ajoutez un délai « naturel » entre le moment où vous cessez de parler et celui où un agent IA commence à répondre, et vous obtenez un objectif de latence fondé sur la façon dont les humains communiquent réellement. 

Les entreprises qui souhaitent déployer des agents d’IA conversationnelle à grande échelle doivent réduire cette latence autant que possible pour créer cette impression naturelle. Cet article explique ce qu’est la latence de l’IA conversationnelle, les causes des retards tout au long du pipeline et les grandes lignes pour les réduire. 

En résumé

• La latence de l’IA conversationnelle correspond au délai total de bout en bout entre le moment où un utilisateur cesse de parler et celui où il entend le premier mot de l’agent.
• Au-delà de 700 ms, les agents peuvent sembler peu naturels ; au-delà de 1 200 ms, les taux d’abandon sont élevés.
• La latence s’accumule à chaque étape du pipeline d’IA conversationnelle.
• ElevenAgents gère l’ensemble du pipeline dans une architecture unifiée, rendant l’IA conversationnelle à faible latence accessible à votre entreprise.

Qu’est-ce que la latence de l’IA conversationnelle ?

La latence de l’IA conversationnelle désigne le temps total nécessaire à un système pour répondre après votre prise de parole. Pour les modèles IA modernes, elle se mesure en ms. En coulisses, la latence totale se compose de plusieurs processus distincts, dont chacun contribue au pipeline de bout en bout. 

Un pipeline d’IA conversationnelle classique se présente ainsi :

1. Un utilisateur parle
2. L’audio est transcrit par un modèle Speech to Text
3. La transcription est transmise à un modèle LLM, qui produit une réponse
4. Le texte du LLM est ensuite synthétisé en audio par un modèle de Text to Speech
5. L’audio est ensuite diffusé à l’utilisateur

Chacune de ces étapes ajoute de la latence à un système d’IA conversationnelle. Il est donc utile de clarifier plusieurs acronymes lorsque l’on parle de latence.

Latence d’inférence du modèle

La latence d’inférence correspond au temps qu’un modèle consacre à générer une sortie, mesuré en interne et sans tenir compte des facteurs externes. C’est l’indicateur propre au modèle qui mesure la vitesse d’exécution de votre moteur pour des entrées typiques. Par exemple, Flash v2.5 présente une latence d’inférence d’environ 75 ms. Vous pouvez ainsi comparer la vitesse des modèles entre différentes solutions.

Gardez toutefois à l’esprit qu’il ne s’agit pas de la latence réellement perçue par l’utilisateur. Elle concerne uniquement le temps total passé par un modèle à générer une sortie.

Temps jusqu’au premier token du LLM

Le temps jusqu’au premier token (TTFT) d’un grand modèle de langage (LLM) correspond au temps total nécessaire à ce modèle pour traiter un prompt et générer son premier token de sortie exploitable.

La génération TTS commence lorsque votre LLM envoie le premier token. Cette mesure indique donc le temps nécessaire au LLM pour commencer à solliciter votre modèle TTS. Dans la plupart des systèmes d’IA conversationnelle de bout en bout, le TTFT du LLM représente une part importante de la latence totale. 

Temps TTS jusqu’au premier audio (TTFA)

Le temps TTS jusqu’au premier audio (TTFA) mesure le délai entre la première requête TTS et le moment où le premier fragment audio quitte réellement le modèle. Il décrit la latence d’inférence, mais spécifiquement pour les moteurs TTS. 

Temps de bout en bout jusqu’au premier audio (TTFA)

Le TTFA de bout en bout correspond à la latence totale de l’IA conversationnelle. Il additionne toutes les composantes du pipeline : reconnaissance vocale, TTFT du LLM, TTS, TTFA et toutes les transmissions réseau entre les étapes. C’est cette métrique que l’utilisateur perçoit lorsque l’on considère la latence de l’IA conversationnelle dans son ensemble.

Lorsqu’il parle, l’utilisateur attend le TTFA de bout en bout avant d’entendre une réponse de votre agent. C’est une mesure globale : améliorer n’importe quelle partie du pipeline l’améliore également. 

Pourquoi la latence de l’IA conversationnelle est importante

Lorsqu’un utilisateur s’adresse à votre agent IA, la latence devient déterminante dans sa perception de l’expérience. Une faible latence réduit le temps d’attente avant une réponse, rend la conversation plus naturelle et l’agent plus compétent. 

Les agents à forte latence semblent artificiels et moins compétents, même si leurs réponses sont de même qualité. Pour les entreprises, quelques centaines de ms seulement peuvent sembler une éternité et donner à votre agent de support client une impression de lenteur et d’inefficacité.

Voici რამდენიმე scénarios qui illustrent concrètement l’importance de la latence de l’IA conversationnelle :

• Moins de 500 ms : Un agent conversationnel paraît réactif et fluide. Les utilisateurs peuvent ne pas percevoir le délai entre la fin de leur prise de parole et la première réponse, ce qui permet à la conversation de se dérouler naturellement.
• De 500 ms à 1 000 ms : Le délai entre le moment où l’utilisateur cesse de parler et celui où il reçoit une réponse peut devenir perceptible. Il est légèrement trop long : les utilisateurs peuvent alors anticiper en se répétant ou en marquant une pause pour vérifier que l’agent les a bien compris.
• Au-delà de 1 000 ms : Les délais commencent à sembler longs, et les pauses peuvent donner à certains utilisateurs l’impression que l’agent IA ne suit pas pleinement la conversation. Les transcriptions peuvent révéler des interruptions ponctuelles ou des demandes pour parler à un agent humain. Dans certains cas, les utilisateurs peuvent abandonner l’appel.

Chacun de ces seuils a des répercussions concrètes sur l’entreprise. 

Dans la tranche basse du spectre de latence, votre agent de service client peut répondre naturellement aux questions entrantes et aider les utilisateurs à résoudre leurs demandes sans assistance supplémentaire. Cela allège la charge de vos agents humains et maintient un niveau élevé de satisfaction client. Dans la tranche haute, un agent qui semble hésiter trop longtemps frustrera vos clients. 

Nous avons défini les références de budget de latence des agents vocaux dans un autre article afin d’illustrer ce qu’est une bonne latence aux niveaux P50 et P95. 

Quelles sont les causes de la latence de l’IA conversationnelle ?

La latence de l’IA conversationnelle résume plusieurs processus, chaque segment contribuant au total. Le principal obstacle à une faible latence est donc un problème à l’échelle du système, qui ne se résout pas simplement en choisissant un meilleur modèle. Plusieurs modèles interagissent en effet dans le pipeline.

Pour les développeurs, nous avons rédigé un guide technique détaillé sur l’optimisation de la latence des agents vocaux que vous pouvez utiliser pour améliorer chaque étape du temps de bout en bout jusqu’au premier audio (TTFA).

Au-delà du pipeline principal, d’autres facteurs, tels que la téléphonie et les appels de fonctions, ajoutent également de la latence, même s’ils ne relèvent pas de l’infrastructure des modèles. 

Voici un aperçu des facteurs qui contribuent à la latence de l’IA conversationnelle. 

Reconnaissance automatique de la parole

La latence de la reconnaissance vocale ne correspond pas au temps nécessaire pour générer une transcription. La transcription s’exécute en arrière-plan pendant que l’utilisateur parle ; lorsque la prise de parole s’achève, le texte est donc déjà largement prêt. 

Ici, la latence correspond en réalité au délai entre la fin de la prise de parole et la finalisation puis la transmission de la transcription à l’étape suivante. Scribe v2 Realtime réduit ce délai à environ 150 ms en diffusant continuellement les résultats, afin qu’ils soient prêts dès la fin du tour de parole.

Prise de tour et détection de fin de parole 

Un détecteur d’activité vocale (VAD) se situe entre la reconnaissance vocale et le modèle de langage. Il détermine si l’utilisateur a réellement fini de parler. 

Pour éviter les erreurs, le VAD attend un seuil de silence continu avant de déclarer le tour de parole terminé. Cette attente ajoute de la latence avant que le modèle de langage ne traite le moindre mot. Ce léger délai allonge le temps de réponse, mais il évite aussi que le système commence à répondre alors que l’utilisateur parle encore. 

Techniquement, si tous les autres composants de l’IA conversationnelle n’ajoutaient aucune latence, celle attribuée à la prise de tour serait bénéfique. Les humains marquent un temps d’arrêt avant de répondre. Une pause similaire par une machine rend l’interaction plus réaliste. Toutefois, puisque les autres composants de l’IA conversationnelle ajoutent déjà de la latence, il est préférable de la réduire au minimum.

Traitement par le modèle de langage

Une fois la transcription prête depuis le moteur de Speech to Text (STT), le modèle de langage génère une réponse. La latence correspond ici au temps nécessaire pour commencer à générer des tokens, et non à produire la réponse complète. Ces tokens sont transmis directement à l’étape TTS à mesure qu’ils arrivent : le TTFT est donc l’indicateur le plus important. 

Au-delà du choix du modèle, la longueur du prompt et la taille de la base de connaissances influencent cette étape. Plus le LLM doit prendre en compte de contexte, plus cela prend du temps. Lors de la conception de ces systèmes à grande échelle, trouvez le juste équilibre entre une base de connaissances utile et un prompt concis pour préserver la rapidité.

Synthèse vocale

La latence TTS est le délai entre la réception des premiers tokens du modèle de langage et le début de l’audio. Comme les tokens arrivent plus vite que la parole humaine n’est diffusée, le modèle de synthèse n’attend jamais la réponse complète. La latence TTS correspond strictement au temps jusqu’au premier fragment audio. 

Cette étape était autrefois le principal facteur de latence de l’IA conversationnelle : les anciens modèles mettaient 2 à 3 secondes avant de commencer à générer la parole. Flash v2.5 d’ElevenLabs répond directement à ce problème, avec une synthèse vocale d’environ 75 ms de latence qui ramène ce goulot d’étranglement de plusieurs secondes à une fraction de seconde.

Latence réseau

L’envoi de données d’un emplacement à un autre ajoute toujours de la latence, la distance géographique aggravant encore la latence réseau aller-retour. 

Comme plusieurs composants collaborent pour produire une réponse de bout en bout, une latence importante peut s’accumuler au fil de plusieurs sauts réseau. 

Appels de fonctions

Les appels de fonctions ajoutent des allers-retours API à l’étape du LLM. Une recherche interne rapide ajoute quelques dizaines de millisecondes, tandis qu’un processeur de paiement ou un système de gestion des stocks peut ajouter plusieurs secondes. La latence dépend entièrement du service appelé, ce qui en fait l’étape la plus difficile à optimiser directement. 

L’approche la plus efficace consiste à inviter le LLM à répondre avant la fin de l’appel à l’outil. Une phrase comme « Je vérifie cela pour vous » maintient l’utilisateur engagé pendant la résolution de l’appel externe, plutôt que de laisser un silence. La réponse vocale commence pendant que l’outil s’exécute en parallèle.

Comment réduire la latence de l’IA conversationnelle

Réduire la latence de l’IA conversationnelle exige d’agir sur chaque étape du pipeline selon son impact. Chaque amélioration a un effet sur la latence, mais c’est en travaillant sur l’ensemble du pipeline que vous obtiendrez les plus grands gains.

Voici quelques principes pour réduire la latence de l’IA conversationnelle :

• Choix du modèle TTS : Les modèles TTS optimisés pour la vitesse, comme Flash v2.5, reposent sur des architectures différentes de celles des modèles optimisés pour la qualité, comme Eleven v3. Pour les agents vocaux en temps réel, le bon choix est le modèle de meilleure qualité qui respecte votre objectif de latence ; il s’agit presque toujours d’un modèle optimisé pour la vitesse.
• Choix du modèle LLM : Les LLM plus petits et plus rapides offrent généralement un temps jusqu’au premier token inférieur à celui des modèles plus grands. Choisir le LLM le plus rapide qui répond encore à vos exigences de qualité pour la tâche est aussi important que le choix du modèle TTS.
• Streaming : Le streaming TTS renvoie l’audio par fragments au cours de la synthèse : l’utilisateur entend ainsi le premier mot alors que le modèle génère encore le reste. Ce principe s’applique également à la sortie du LLM : commencer la synthèse TTS dès la première phrase, pendant que le modèle de langage génère les suivantes, permet de réduire la latence du pipeline. 
• Prompt système : Les utilisateurs peuvent rationaliser les prompts système en déplaçant les instructions dans des procédures ou des workflows, plutôt que de les conserver dans chaque étape de décision. Cela réduit la quantité de contexte sur laquelle le modèle doit raisonner à chaque tour.
• Garde-fous : Exécuter les garde-fous dans le modèle de streaming permet de lancer la lecture de la sortie avant la fin de leur vérification, au lieu de bloquer la lecture jusqu’à son achèvement.
• Colocalisation des modèles : Utiliser des modèles colocalisés lorsque c’est possible, comme avec la pile d’agents ElevenLabs, maintient les composants à proximité et évite la latence ajoutée par les sauts entre des modèles hébergés séparément.
• Géographie : La proximité entre vos serveurs et vos utilisateurs peut réduire considérablement la latence, car elle diminue directement la contribution du réseau au TTFA de bout en bout. 

Pour aller plus loin, consultez ce guide technique sur l’optimisation de la latence. 

Lancez-vous avec l’IA conversationnelle à faible latence d’ElevenAgents

La latence de l’IA conversationnelle est un enjeu majeur lors de la création et du déploiement d’agents. Avec ElevenAgents, l’optimisation de la latence est intégrée au processus. Des techniques de chevauchement qui permettent de gagner du temps à la faible latence d’inférence des composants individuels, ElevenAgents crée des piles d’IA conversationnelle à faible latence pour votre entreprise. 

L’objectif, au final, est de créer une interaction réaliste. L’utilisateur doit retrouver la facilité d’une conversation avec un humain tout en bénéficiant des avantages d’un programme informatique. En optimisant les sous-processus, c’est désormais possible.

Découvrez plus d’informations sur ElevenAgents ou contactez l’équipe commerciale pour commencer dès aujourd’hui.

FAQ sur la latence de l’IA conversationnelle