Résumé du webinaire : Concevoir des agents IA à la voix naturelle

La plupart des équipes souhaitent créer un agent qui s’exprime naturellement.

Or, elles se retrouvent souvent avec des agents qui accomplissent la tâche, mais ne comprennent ni le contexte, ni l’urgence, ni l’émotion. Dès que l’appelant s’en rend compte, la confiance diminue, tout comme la qualité de l’interaction.

Lors de notre récent Atelier en direct : créer des agents IA qui s’expriment naturellement, Luigi Sambuy, de l’équipe Forward Deployed Engineering, a expliqué ce qui distingue un agent à la voix robotique d’un agent véritablement humain.

Pourquoi il est plus difficile qu’il n’y paraît de s’exprimer naturellement

La plupart des équipes qui déploient des agents ont déjà résolu la question de la précision : l’agent donne la bonne réponse, réserve la bonne table, annule le bon vol. 

Le plus difficile est de trouver la bonne façon de s’exprimer.

Un agent qui ne reflète pas l’émotion de l’appelant, ne perçoit pas l’urgence et répond à chaque question avec le même rythme plat paraîtra toujours artificiel, même si ses réponses sont exactes. Les clients ne veulent pas seulement que leur problème soit résolu, ils veulent se sentir écoutés.

Les quatre caractéristiques d’un agent à l’expression naturelle

1. Rythme et fluidité : un débit naturel, des pauses et des variations de vitesse, plutôt qu’une diction monotone
2. Mimétisme : répondre avec empathie à un appelant frustré et avec chaleur à une bonne nouvelle
3. Contexte : exploiter l’historique de l’utilisateur, les systèmes de l’entreprise et les repères culturels ou régionaux afin d’éviter les réponses génériques
4. Identité : une voix réellement conçue pour la marque, et non une voix par défaut prête à l’emploi

Démo : un agent à l’expression naturelle en action

Scénario : un client appelle le restaurant Rosette pour modifier sa réservation. C’est son cinquième anniversaire de mariage et il est en retard.

Ce que montre la démo :

• L’agent a ouvert l’échange avec chaleur, en reconnaissant l’anniversaire avant toute autre chose
• Il a relevé un léger écart entre l’heure de réservation indiquée et celle effectivement enregistrée, puis a demandé une clarification plutôt que de faire une supposition
• Il a déplacé la réservation à 21 h et proposé de lui-même une table près de la fenêtre pour l’occasion, sans y être invité
• Tout au long de l’appel, l’agent a utilisé des pauses naturelles, des mots de remplissage et un ton adapté au moment : rassurant, chaleureux, sans précipitation

Pourquoi c’est important : rien de tout cela ne vient d’un modèle différent ou d’une plateforme plus performante. Tout vient du prompt. Le prompt système autorisait l’agent à se corriger au milieu d’une phrase, à laisser naturellement ses phrases en suspens tout en « recherchant une information », et à adapter son ton émotionnel à celui de l’appelant. Ce sont les mêmes techniques à la disposition de toute équipe qui crée aujourd’hui sur la plateforme.

Sept leviers pour créer des agents naturels

1. Balises émotionnelles : disponibles avec le mode expressif du modèle conversationnel v3, elles constituent le principal levier de variation du ton
2. Bruit de fond : ambiance de bureau, bruits urbains ou sons de frappe pour un contexte plus familier et humain
3. Ton dans le prompt système : c’est là que réside l’essentiel de la différence
4. Paramètres de réactivité (rapide / normal / patient) : à adapter au temps nécessaire à l’interaction
5. Dictionnaire de prononciation / mots-clés : pour les noms, les marques et les mots étrangers que l’agent prononcerait autrement mal. 
6. Paramètres de sortie : certaines équipes ajoutent délibérément des sonneries de téléphone en arrière-plan plutôt qu’un audio impeccable, car les clients qui migrent depuis un centre de contact traditionnel sont habitués à ce son légèrement étouffé
7. Voice design ou clonage : créer une voix entièrement personnalisée et conforme à la marque, plutôt que d’en choisir une prête à l’emploi. Voice design permet de décrire précisément ce que vous recherchez, par exemple « un homme d’une trentaine d’années qui semble parler dans un casque ». Clonage de voix va d’un clonage instantané, à partir d’environ 30 secondes d’audio, à un clonage professionnel, nécessitant davantage de matériel pour une meilleure fidélité. 

Bonnes pratiques pour des agents à l’expression naturelle

Intégrez directement le ton au prompt système. C’est là que se joue l’essentiel de la différence entre un agent plat et un agent naturel. Autorisez explicitement l’agent à se corriger au milieu d’une phrase, « comme les gens parlent réellement », à laisser naturellement ses phrases en suspens pendant qu’il recherche une information et à marquer un silence après un sujet grave avant de répondre.

Adaptez les balises émotionnelles au moment. Une balise « excited » ne convient pas à un moment grave ou risqué. Placez les balises avec soin là où elles interviennent réellement dans la conversation et adaptez-les à l’état émotionnel de l’appelant au fil de l’échange, par exemple un ton calme et rassurant pour une personne anxieuse, ou rapide mais chaleureux pour quelqu’un de pressé.

Réglez la réactivité avec intention. Le mode rapide convient aux échanges vifs et riches en informations ; le mode patient est préférable lorsqu’une personne a besoin de temps pour retrouver un document ou un numéro. Utiliser le mode rapide par défaut peut rendre un agent insistant plutôt que naturel.

Choisissez votre LLM pour chaque nœud. Utilisez des modèles plus légers et rapides pour les étapes de routage simples, et des modèles plus capables pour les nœuds qui prennent de véritables décisions. 

Considérez la latence perçue comme un élément du naturel. Au-delà du choix du modèle, la génération spéculative de tours de parole, qui permet au modèle de commencer à formuler une réponse pendant que l’appelant parle encore, et les mots de remplissage déclenchés après un délai souple réduisent toutes deux la durée perçue d’une pause, même lorsque le temps de réponse réel ne change pas.

Localisez plutôt que de traduire. Choisissez des voix réellement entraînées dans la langue cible, utilisez un dictionnaire de prononciation et, pour les cas d’usage monolingues, envisagez d’écrire le prompt directement dans cette langue pour améliorer les performances. Multilingual v2 reste une option solide lorsque la faible latence entre les langues compte davantage que l’étendue expressive.

Surveillez votre agent. Utilisez des tests de simulation pour valider un agent sans appels réels, des critères d’évaluation réussite/échec après l’appel, ainsi qu’une analyse du sentiment tour par tour pour identifier précisément où l’agent a employé le mauvais ton dans une conversation. Utilisez ensuite ces signaux pour ajuster le prompt.

Regarder la session complète

Regardez le webinaire complet ici.