Modèles d’interaction : Créer un dialogue naturel entre humains et IA

Quiconque a déjà tenté d’interrompre un agent vocal IA en plein milieu d’une phrase sait ce que l’on ressent face à un système qui n’est pas conçu pour la conversation humaine. Le rythme est mauvais, la voix est dissociée du contenu et, même lorsque les informations sont justes, l’interaction semble décalée : on n’a pas l’impression de parler à une personne compétente, mais d’utiliser un logiciel qui emploie des mots.

Cette impression peu naturelle a une cause structurelle : de nombreux systèmes d’IA vocale ont été conçus pour gérer des tours de parole, pas des conversations. Ils écoutent, traitent et répondent à un échange à la fois. Cela fonctionne pour des démonstrations simples, mais échoue dès que la conversation devient émotionnelle et imprévisible.

Les modèles d’interaction sont des systèmes d’IA conçus pour communiquer en temps réel par audio et par texte. Ils perçoivent non seulement ce qui est dit, mais aussi quand cela est dit et le type de réponse émotionnelle qu’exige le moment. Cet article explique ce qui distingue un modèle d’interaction, son importance pour les entreprises qui déploient l’IA vocale et comment ElevenLabs développe cette approche.

En résumé

• La plupart des IA vocales échouent dans les conversations réelles, car elles ne savent pas gérer les interruptions, les silences ni le contexte qui se prolonge d’un tour de parole à l’autre.
• La pile d’interaction d’ElevenLabs est conçue pour gérer les interruptions, les pauses et les chevauchements de parole sans perdre le contexte ni rompre le fil de la conversation.
• ElevenLabs développe de véritables modèles d’interaction grâce à une architecture en cascade avancée, à ses modèles internes de Speech to Text (STT) et de Text to Speech (TTS), ainsi qu’à une pile optimisée pour une faible latence et des conversations naturelles et fluides.

Pourquoi la plupart des communications vocales entre humains et IA ne semblent pas naturelles

La plupart des IA vocales traitent une conversation comme une série d’entrées et de sorties distinctes : le système attend un segment de parole, le convertit en texte, traite ce texte, puis répond. Cela fonctionne pour des interactions de type commande-réponse, mais une vraie conversation n’est pas une succession nette d’échanges textuels. C’est un dialogue continu, ponctué de pauses et d’interjections. 

Supprimer le flux entre les tours de parole et le contexte qu’ils conservent entraîne trois défaillances précises :

• Il vous interrompt ou vous fait attendre : Le système ne distingue pas une pause de réflexion d’un tour de parole terminé. Il intervient donc alors que vous parlez encore, ou reste silencieux après votre arrêt. Réfléchissez au milieu d’une phrase et il vous coupe ; terminez votre propos et vous attendez dans un silence pesant.
• Il ne peut plus réagir une fois qu’il parle : Dès que le système commence à répondre, il cesse d’écouter. Si vous l’interrompez pour le rediriger, il continue de répondre à une question que vous avez déjà laissée derrière vous, car il ne détecte aucun changement.
• Il oublie au fil de la conversation : Chaque tour de parole est traité isolément, de sorte que le contexte de cinq échanges plus tôt n’est pas conservé. Vous devez vous répéter, ou le système répond comme si la conversation venait de commencer.

Il en résulte une conversation qui peut être fonctionnellement correcte tout en paraissant inadaptée. 

Ce que les modèles d’interaction permettent, contrairement à l’IA vocale traditionnelle

Alors que l’IA vocale traditionnelle traite un tour de parole à la fois, un modèle d’interaction gère l’ensemble de la conversation, en tenant simultanément compte de ce qui est dit et de ce qui doit se produire ensuite. Sur le plan fonctionnel, il répond à l’état réel de l’échange, et pas uniquement à la dernière entrée.

Les modèles d’interaction offrent :

• Une réponse en temps réel : Le système est conçu pour répondre au rythme d’une conversation, avec un cycle de bout en bout pouvant s’exécuter en moins d’une seconde selon la configuration.
• Une gestion naturelle des interruptions, silences et chevauchements : Il distingue une pause de réflexion d’un tour de parole terminé, sans couper la parole ni laisser de silence. Et lorsqu’un client parle par-dessus lui pour le rediriger, il gère ce chevauchement sans perdre le contexte ni faire dérailler la conversation.
• Une continuité tout au long de l’échange : Au lieu de réinitialiser le contexte à chaque tour de parole, le système conserve l’historique de la conversation. Ainsi, ce qu’il dit au dixième tour reflète tout ce qui s’est passé depuis le premier.
• Une expression adaptative : La voix peut être programmée pour s’adapter, devenir plus calme, plus directe ou plus rassurante, selon la tâche qu’elle exécute.
• L’exécution parallèle des tâches : Le système récupère des informations, exécute des appels d’outils et continue de parler simultanément, plutôt que de se taire pendant qu’il cherche une information.

Le véritable test d’un modèle d’interaction est un appel qui se passe mal. Dans l’enregistrement ci-dessous, un client appelle au sujet de l’annulation d’un vol. Il est tendu et a besoin d’une solution rapide.

L’agent reconnaît immédiatement l’urgence et la frustration du client à travers les mots qu’il emploie. Il adapte son ton, gère l’interruption sans perdre le fil et utilise ses outils connectés pour proposer de véritables solutions concernant le vol annulé. Au final, le client obtient une solution sans avoir besoin d’un agent humain.

Comparez cela aux agents classiques, fondés sur les tours de parole et utilisés aujourd’hui. Ces systèmes attendraient chaque pause, répondraient de manière neutre et ne percevraient pas du tout la frustration du client. Après quelques échanges qui ne répondent pas à ce que ressent réellement l’appelant, l’appel devrait probablement être transféré à un humain, laissant le client encore plus frustré qu’au départ.

Comment ElevenLabs développe les modèles d’interaction

Notre pipeline conversationnel repose sur une architecture en cascade avancée plutôt que sur une architecture fusionnée. Au lieu qu’un seul modèle gère tout, chaque étape dispose de son propre composant spécialisé.

L’avantage de cette approche est de pouvoir optimiser chaque étape du pipeline indépendamment, en remplaçant le modèle de n’importe quel composant sans reconstruire l’ensemble du système. Et comme nous développons ces composants en interne, ils sont co-optimisés pour se transmettre un contexte riche, et pas seulement des données. Le pipeline se comporte donc comme une conversation cohérente, plutôt que comme une chaîne d’outils distincts.

Structure d’un modèle en cascade

Structure d’un modèle fusionné

Images : modèles en cascade et fusionnés

Voici les technologies qui composent actuellement le pipeline :

• Scribe v2 Realtime : Notre modèle STT interne transcrit la parole en environ 150 ms dans plus de 90 langues, même en présence de bruit de fond, d’accents, d’interruptions et d’événements non verbaux comme les rires et les pauses. Il est également conçu pour gérer le vocabulaire propre à chaque domaine, des termes médicaux au jargon financier.
• Prise de tour spéculative : Ce système décide quand parler, faire une pause ou attendre en interprétant le flux de la conversation, plutôt qu’en s’appuyant sur un seuil de silence fixe. Les améliorations apportées à notre modèle de détection d’activité vocale l’aident à mieux filtrer les paroles en arrière-plan et les réponses courtes, pour des tours de parole plus naturels.
• Eleven v3 Conversational : L’un de nos modèles TTS les plus expressifs, conçu pour le dialogue en direct. Il conserve la tonalité émotionnelle de la conversation d’un tour à l’autre, afin que l’expression de l’agent au dixième tour reflète tout ce qui a précédé, et pas seulement la réponse la plus récente.
• Expressive Mode : Fondé sur Eleven v3 Conversational et le système de prise de tour, Expressive Mode contrôle la manière dont l’agent s’exprime à chaque instant. Il désamorce les tensions lorsque les clients sont frustrés, les rassure lorsqu’ils sont perdus et se montre direct lorsque la clarté est nécessaire. Il interprète également les balises expressives : le modèle peut ainsi s’appuyer sur des indications telles que [laughs], [whispers] ou [sighs] pour façonner certains moments de l’expression.
• Flash v2.5 : Notre modèle TTS à faible latence prend en charge 32 langues et génère la parole en moins de 75 ms. Lorsque la latence est prioritaire, il maintient le temps de réponse dans la plage du rythme humain naturel.
• Speech Engine : La couche de liaison qui unifie la pile et relie votre serveur à notre ElevenAPI via WebSocket, avec une connexion par conversation. Nous gérons le STT et le TTS tandis que votre serveur exécute le LLM. Les équipes techniques peuvent donc utiliser leur propre modèle et conserver la logique conversationnelle sur leur infrastructure.

Ces modèles sont continuellement améliorés et de nouvelles versions sont publiées régulièrement. Chaque version réduit l’écart entre parler à un logiciel et parler à une personne, grâce à des réponses plus rapides, une reconnaissance émotionnelle plus fine, davantage de langues et une expression plus fluide.

Parler tout en réfléchissant

Toutes les parties d’un modèle d’interaction n’ont pas à s’exécuter dans un ordre strict. ElevenAgents peut continuer à travailler en arrière-plan pendant la conversation, au lieu de laisser le silence s’installer entre une question et une réponse. 

Plusieurs systèmes essentiels collaborent pour permettre de parler et de réfléchir simultanément :

• Appels d’outils parallèles : L’agent peut interroger une base de données, exécuter un outil ou vérifier le statut d’une commande tout en continuant à parler. La récupération d’informations ne ressemble ainsi jamais à une pause morte dans la conversation. 
• Délai d’attente souple : Si un LLM met plus de temps que prévu à générer une réponse, l’agent prononce une brève formule d’attente telle que « Laissez-moi réfléchir » ou « hum » plutôt que de laisser un silence gênant. Le délai d’attente souple aide à maintenir un flux conversationnel naturel et réduit la probabilité d’interruptions. 
• Termes à ignorer lors des interruptions : Plutôt que d’utiliser un seuil de silence fixe, le système cherche à interpréter le sens de ce qui est dit afin de déterminer intuitivement quand un tour de parole est réellement terminé. De même, de courtes marques d’approbation telles que « d’accord » ou « hum-hum » peuvent être configurées pour passer sans déclencher une interruption complète, afin que l’agent ne perde pas le fil chaque fois que l’appelant intervient.

Ensemble, ces systèmes évitent que l’agent ne donne l’impression de mettre une réponse en mémoire tampon ou de la charger. Ils forment un moteur conversationnel fluide qui comble naturellement les silences, comme le ferait une personne, tout en traitant les informations et en organisant sa réflexion en arrière-plan.

Comment fonctionne concrètement une conversation avec ElevenLabs

Les composants ci-dessus ne s’exécutent pas proprement les uns après les autres. Ils se chevauchent. Voici comment un agent ElevenLabs traiterait la question d’un appelant, « Ma commande a-t-elle déjà été expédiée ou est-elle encore en cours de traitement ? », au milieu d’un appel au support.

1. L’appelant parle : L’audio est transmis à ElevenLabs via la connexion WebSocket et Scribe commence la transcription en temps réel, avec un décalage d’environ 150 ms par rapport à la voix. 
2. Le système interprète le flux : Alors que Scribe transcrit encore, la prise de tour spéculative évalue déjà si l’appelant a terminé ou s’il est en pleine réflexion. La fin de phrase « ou est-elle encore en cours de traitement ? » est interprétée comme une prise de relais, et non comme une pause. Elle déclenche donc l’étape suivante au lieu d’attendre en silence.
3. Le LLM rassemble le contexte et répond : La question transcrite est envoyée au LLM avec l’historique de la conversation, le dossier de commande récupéré depuis les systèmes de l’entreprise via la RAG, les résultats des outils utilisés plus tôt durant l’appel et le prompt système. Il analyse l’ensemble et génère une réponse fondée sur la commande réelle de l’appelant, plutôt qu’un message de statut générique.
4. Le modèle TTS synthétise la réponse : Le texte devient un audio naturel. Si Expressive Mode est actif, la réponse contient des indications d’expression adaptées au moment : une mise à jour de routine paraît ainsi simple et posée, plutôt que neutre. Lorsque la latence est prioritaire, Flash effectue la synthèse en moins de 75 ms.
5. La réponse est retransmise : L’audio commence à être lu avant la fin de la synthèse. L’appelant entend donc le début de la réponse tandis que le reste est encore généré. 
6. Le cycle se répète : chaque nouveau tour de parole conserve le ton, le contexte et l’historique de la conversation.

Tout au long de ce processus rapide, la conversation paraît naturelle. L’appelant cesse de s’adapter à la machine : il ne ralentit pas, ne surarticule pas et n’attend pas de bip. Il parle simplement, comme il le ferait avec une personne.

Déployez des agents vocaux naturels dans toute votre entreprise

Tout ce qui est décrit ici est déjà en production, et non sur une feuille de route. De l’architecture en cascade au pipeline inférieur à la seconde, des entreprises du monde entier utilisent déjà ElevenAgents pour gérer à grande échelle de véritables conversations avec leurs clients.

Cela inclut les environnements réglementés et à forts enjeux, car notre architecture d’agent prend en charge des garde-fous, des journaux d’audit et des contrôles de conformité. ElevenLabs est certifié SOC 2 Type II, ISO 27001, HIPAA et PCI DSS niveau 1, avec Zero Retention Mode et des options de résidence des données régionale pour les équipes qui doivent conserver leurs données dans un périmètre précis.

Prêt à mettre un agent au travail ? Vous pouvez créer un agent et commencer à le développer dans la console, ou contacter notre équipe commerciale pour un déploiement adapté à votre environnement.

FAQ sur les modèles d’interaction