Concevoir un agent vocal efficace pour notre propre documentation
- Rédigé par
- Oswin Kruger Ruiz
- Publié
- Dernière mise à jour
ÉcouterÉcouter cet article
Chez ElevenLabs, nous avons récemment intégré un agent vocal IA conversationnel à notre documentation afin de réduire la charge de support liée aux questions sur celle-ci (essayez-le ici). Notre agent de support traite désormais avec succès plus de 80 % des demandes des utilisateurs sur 200 appels par jour. Ces résultats démontrent le potentiel de l'IA pour compléter le support documentaire traditionnel, tout en soulignant l'importance continue du support humain pour les demandes complexes. Dans cet article, je détaille notre processus itératif, que vous pouvez suivre pour reproduire notre réussite.
Nos objectifs
Nous voulions concevoir un agent capable de :
- Résoudre les questions de support auxquelles notre documentation produit et support permet de répondre
- Rediriger les utilisateurs vers les sections pertinentes de la documentation
- Transférer les demandes complexes vers le support par email ou Discord lorsque nécessaire
- Mener une conversation fluide et naturelle, avec une faible latence et une gestion réaliste des interruptions
Résultats et impact
Nous avons mis en place deux niveaux d'évaluation :
(1) Outils d'évaluation par IA : pour chaque appel, nos outils d'évaluation intégrés analysent la conversation terminée et déterminent si l'agent a réussi. Les critères sont entièrement personnalisables. Nous vérifions si l'agent a résolu la demande de l'utilisateur ou s'il a pu le rediriger vers un canal de support pertinent.

Nous avons progressivement amélioré la capacité du LLM à résoudre une demande ou à la rediriger avec succès, jusqu'à atteindre 80 % selon nos outils d'évaluation.
À l'exclusion des appels comportant moins d'un tour de conversation, ce qui indique qu'aucune question ni aucun problème n'a été soulevé par l'appelant.
Il est toutefois important de considérer que tous les types de demandes ou de questions d'assistance ne peuvent pas être résolus par un LLM, en particulier pour une start-up qui avance vite, innove en permanence et compte des utilisateurs très techniques et créatifs. Autre réserve : un LLM d'évaluation n'évalue pas correctement les résultats dans 100 % des cas.
(2) Validation humaine : afin de comparer l'efficacité de nos outils de validation par LLM, nous avons réalisé une validation humaine sur 150 conversations, à l'aide des mêmes critères d'évaluation fournis aux outils de LLM :
- solved_user_inquiry : défini comme une réussite lorsque l'agent a répondu aux questions de l'utilisateur avec des informations pertinentes ou a pu le rediriger vers la page ou le canal de support approprié.
- Le LLM et l'évaluateur humain étaient d'accord dans 81 % des cas
- hallucination_kb : ce critère vérifie la transcription finale et détermine si les réponses fournies par le LLM sur les produits ElevenLabs respectent les informations de la base de connaissances ou les dépassent.
- Le LLM et l'évaluateur humain étaient d'accord dans 83 % des cas
L'évaluation humaine a également révélé que 89 % des questions de support pertinentes avaient reçu une réponse correcte ou avaient été correctement redirigées par l'agent de documentation.
Autres constats :
- Plusieurs appelants voulaient simplement s'amuser et essayer de parler dans différentes langues, sans poser de question de support.
- Actuellement, notre IA conversationnelle prend en charge plusieurs langues, mais celles-ci doivent être définies au début de la conversation.
- Plusieurs appelants engagent des conversations sans rapport avec l'objectif de l'agent, qui est de parler d'ElevenLabs, de ses produits et de sa documentation. Les garde-fous du prompt ont aidé la plupart du temps, mais pas toujours.
- Plusieurs appelants recherchaient une aide au codage ou au débogage.
Forces et limites
Forces
L'agent propulsé par un LLM excelle dans la résolution de questions claires et précises auxquelles notre documentation permet de répondre, dans l'orientation des appelants vers la documentation pertinente et dans la fourniture de premières indications sur des demandes plus complexes. Dans la plupart de ces cas, l'agent apporte des réponses rapides, simples et correctes, immédiatement utiles.
Exemples de questions :
- ElevenLabs propose-t-il un endpoint API permettant de supprimer une voix ?
- Comment configurer les remplacements de conversation dans mon agent ?
- Comment intégrer la téléphonie ?
- ElevenLabs prend-il en charge l'espagnol ?
Recommandations :
- Ciblez un public ayant principalement des questions claires et précises auxquelles un LLM doté de documentation et d'outils répond efficacement.
- Tirez parti des redirections vers d'autres canaux pour les questions vagues ou nécessitant une investigation. Cela aide beaucoup.
- Ajoutez des outils d'évaluation afin de recueillir et de suivre toutes les questions posées, puis ajustez le prompt à partir des enseignements tirés. Ajoutez des outils d'évaluation de la réussite et des hallucinations ou écarts par rapport à la base de connaissances.
Limites
À l'inverse, l'agent est moins utile pour les problèmes de compte, les questions sur les tarifs ou les remises, ou les questions imprécises qui bénéficieraient d'une investigation plus approfondie. De plus, face à des problèmes assez vagues et génériques, malgré l'instruction de poser des questions, le LLM privilégie généralement une réponse qui peut sembler pertinente au regard de la documentation.
Exemples de questions :
- L'étape de vérification de mon PVC échoue systématiquement. Pourquoi ?
- Combien coûtera un agent IA ? Puis-je bénéficier d'une remise ?
- J'obtiens une erreur avec le SDK JS. L'agent peut rediriger vers la documentation pertinente, mais ne peut pas facilement identifier et résoudre le problème par téléphone.
Recommandations
- Le téléphone n'est pas le bon canal pour partager du code. Indiquez à l'agent de ne pas essayer, mais de rediriger vers des pages contenant des exemples ou vers Discord ou le support.
- Indiquez à l'agent de ne pas répondre par de longues listes de recommandations lorsque les problèmes ou questions sont plus complexes. Cela fonctionne par écrit, mais moins bien par téléphone.
- Les LLM ont tendance à privilégier les réponses plutôt que les questions. Donnez-leur des instructions fermes à ce sujet si nécessaire pour votre cas d'usage de support, par exemple en leur demandant de poser ces trois questions avant de poursuivre. C'est plus simple pour les cas d'usage sortants avec des scripts fixes.
Comment nous l'avons conçu
Configuration de l'agent :
Prompt système
« Vous êtes un agent de support technique nommé Alexis. Vous tenterez de répondre à toutes les questions que l'utilisateur pourrait avoir sur les produits ElevenLabs. Vous recevrez de la documentation sur les produits ElevenLabs et ne devez utiliser que ces informations pour répondre aux questions sur ElevenLabs. Vous devez être utile, aimable et professionnel. Si vous ne pouvez pas répondre à la question, redirigez les appelants avec redirectToEmailSupport, qui ouvre un email vers le support de leur côté. Si cela ne semble pas fonctionner, ils peuvent envoyer directement un email à team@elevenlabs.io. »
Si la question ou le problème n'est pas suffisamment clair ou précis, demandez plus de détails et pour quel produit ils sollicitent une assistance. Si la question est vague ou très générale, demandez-leur plus précisément ce qu'ils cherchent à accomplir et comment.
Respectez strictement la langue de votre premier message dans la conversation, même si l'on vous pose une question ou vous parle dans une autre langue. Indiquez qu'il est préférable de terminer puis de recommencer l'appel en sélectionnant l'autre langue souhaitée.
Votre réponse sera lue par un modèle de synthèse vocale ; elle doit donc être formatée telle qu'elle se prononce. Par exemple, au lieu d'écrire « veuillez contacter team@elevenlabs.io », écrivez « veuillez contacter “team at elevenlabs dot I O” ». Ne formatez pas votre réponse avec des listes à puces, du gras ou des titres. Ne renvoyez pas de longues listes : résumez-les plutôt et demandez quelle partie intéresse l'utilisateur. Ne renvoyez pas d'exemples de code, mais suggérez plutôt à l'utilisateur de consulter les exemples de code dans notre documentation. Renvoyez directement la réponse ; ne commencez pas vos réponses par « Agent : » ou toute formule similaire. Ne corrigez pas les fautes d'orthographe, ignorez-les simplement.
Répondez de manière concise, en quelques phrases, et laissez l'utilisateur vous indiquer les points sur lesquels il souhaite davantage de détails.
Vous disposez des outils suivants. Utilisez-les selon les besoins de l'utilisateur :
`redirectToDocs` :
- Quand l'utiliser : dans la plupart des situations, en particulier lorsque l'utilisateur a besoin d'informations ou de conseils plus détaillés.
- Pourquoi : fournir un accès direct à la documentation est utile pour les sujets complexes, car l'utilisateur peut consulter et comprendre le contenu par lui-même.
`redirectToEmailSupport` :
- Quand l'utiliser : si l'utilisateur a besoin d'aide concernant des problèmes personnels ou propres à son compte.
- Pourquoi : les demandes liées au compte sont mieux traitées par notre équipe de support par email, où elle peut accéder en toute sécurité aux détails pertinents.
`redirectToExternalURL` :
- Quand l'utiliser : si l'utilisateur pose des questions sur des solutions destinées aux entreprises ou souhaite rejoindre des communautés externes telles que notre serveur Discord. Utilisez-le également s'il semble être un développeur rencontrant des difficultés techniques avec ElevenLabs.
- Pourquoi : les demandes d'entreprise et les interactions communautaires dépassent le périmètre du support direct sur la plateforme et sont mieux prises en charge via des liens externes.
Garde-fous :
- Limitez-vous aux sujets et produits liés à ElevenLabs. Si quelqu'un pose une question sur un sujet sans rapport avec ElevenLabs, indiquez que vous êtes uniquement là pour répondre aux questions sur les produits ElevenLabs.
- Ne redirigez l'appelant que vers une seule page à la fois, car chaque redirection remplace la précédente.
- Ne répondez pas par de longues listes ni avec du code. Redirigez plutôt vers la documentation pour les exemples de code. »
Base de connaissances
En plus du prompt, nous fournissons au LLM une base de connaissances contenant des informations pertinentes dans le contexte. Cette base inclut une version résumée, mais toujours volumineuse, de 80 000 caractères de l'ensemble de la documentation ElevenLabs, ainsi que des URL pertinentes.
Nous ajoutons également des clarifications et des FAQ à la base de connaissances.
Outils
Nous avons configuré trois outils :
- redirectToExternalURL : redirige vers l'équipe commerciale ou vers Discord.
- redirectToEmailSupport : ouvre un email vers team@elevenlabs.io
- redirectToDocs : cet outil est configuré pour rediriger l'appelant vers les pages pertinentes de notre documentation.
Évaluation intégrée
Nos outils d'évaluation utilisent un LLM qui examine la transcription finale et évalue la conversation selon des critères définis.
Critères d'évaluation (réussite / échec / inconnu)
- hallucination_kb : ce critère vérifie la transcription finale et détermine si les réponses fournies par le LLM sur les produits ElevenLabs respectent les informations de la base de connaissances ou les dépassent.
- interaction : évalue si la conversation a dépassé un tour de parole. C'est un moyen rapide d'indiquer si des conversations ont été démarrées sans jamais donner lieu à un véritable échange.
- solved_user_inquiry : défini comme une réussite lorsque l'agent a répondu aux questions de l'utilisateur avec des informations pertinentes ou a pu le rediriger vers la page ou le canal de support approprié.
- positive_interaction : évalue si la conversation s'est déroulée sans réaction négative de l'appelant.
Collecte de données :
- Issue_type : catégoriser la conversation comme bug, problème de support, fr ou autre
- Product category : extraire le produit concerné, TTS, ConvAI, etc.
- AllQuestions : extraire toutes les questions posées par l'appelant
- Unsolved_question : extraire les questions auxquelles le LLM n'a pas répondu avec des informations pertinentes
- Redirects : extraire les parcours de redirection déclenchés par l'agent et la réaction de l'appelant
Résumé
Notre agent de documentation s'est révélé efficace pour aider les utilisateurs à s'orienter parmi les questions courantes sur les produits et le support, et constitue un copilote engageant pour naviguer dans notre documentation. Grâce à un suivi automatisé et manuel continu, nous pouvons constamment améliorer notre agent par itérations. Nous reconnaissons que tous les types de demandes ou de questions de support ne peuvent pas être résolus par un LLM, en particulier pour une start-up qui avance vite et innove constamment, avec des utilisateurs extrêmement techniques et créatifs. Nous avons toutefois constaté que plus nous automatisons, plus notre équipe peut consacrer de temps aux problèmes complexes et intéressants qui émergent aux limites de notre champ d'action, tandis que notre communauté continue de repousser les limites du possible avec l'audio IA.
Notre agent est propulsé par l'IA conversationnelle d'ElevenLabs. Si vous souhaitez reproduire mes résultats, vous pouvez créer un compte gratuitement et suivre mes étapes. Si vous êtes bloqué, vous pouvez parler à l'agent que nous avons déployé dans notre documentation ou contacter mon équipe et moi sur Discord. Pour les cas d'usage à fort volume, avec plus de 100 appels par jour, contactez notre équipe commerciale pour bénéficier de remises sur volume.
Oswin is part of the Forward Deployed Engineering team at ElevenLabs, focusing on government deployment.

.webp&w=3840&q=80)



