Créer un agent vocal efficace pour notre documentation

Chez ElevenLabs, nous avons récemment intégré un agent IA conversationnel dans notre documentation pour aider à réduire la charge de support pour les questions liées à la documentation (Essayez-le ici). Notre agent de support gère maintenant avec succès plus de 80% des demandes des utilisateurs sur 200 appels par jour. Ces résultats montrent le potentiel de l'IA pour compléter le support documentaire traditionnel tout en soulignant l'importance continue du support humain pour les requêtes complexes. Dans cet article, je vais détailler notre processus itératif que vous pouvez suivre pour reproduire notre succès.

Nos objectifs

Nous avons cherché à créer un agent capable de :

• Résoudre les questions de support qui peuvent être répondues à partir du contexte de notre produit et de la documentation de support
• Rediriger les utilisateurs vers les sections pertinentes de la documentation
• Transférer les requêtes complexes vers le support par email/discord si nécessaire
• Avoir une conversation fluide et naturelle, avec une faible latence et une gestion réaliste des interruptions

Résultats et impact

Nous avons mis en place deux niveaux d'évaluation :

(1) Outils d'évaluation IA: Pour chaque appel, notre outil d'évaluation intégré passe en revue la conversation terminée et évalue si l'agent a réussi. Les critères sont entièrement personnalisables. Nous demandons si l'agent a résolu la demande de l'utilisateur ou a pu le rediriger vers un canal de support pertinent.

Nous avons pu améliorer progressivement la capacité du LLM à résoudre ou rediriger la demande avec succès, atteignant 80% selon notre outil d'évaluation.

Exclusion des appels avec moins d'un échange dans la conversation, ce qui implique qu'aucune question/problème n'a été soulevé par l'appelant.

Il est important de considérer que tous les types de requêtes ou questions de support ne peuvent pas être résolus par un LLM, surtout pour une start-up qui évolue rapidement et innove constamment, avec des utilisateurs extrêmement techniques et créatifs. En guise de mise en garde supplémentaire, un LLM d'évaluation n'évaluera pas correctement 100% du temps.

(2) Validation humaine: Pour comparer l'efficacité de notre outil de validation LLM, nous avons effectué une validation humaine de 150 conversations, en utilisant les mêmes critères d'évaluation fournis à l'outil LLM :

• solved_user_inquiry: défini comme un succès lorsque l'agent a répondu aux questions de l'utilisateur avec des informations pertinentes ou a pu rediriger vers la page/canal de support pertinent.
• • Le LLM et l'humain étaient d'accord sur 81% des cas
• hallucination_kb: ce critère vérifiera la transcription finale et vérifiera si les réponses données par le LLM sur les produits ElevenLabs adhèrent aux informations de la base de connaissances ou vont au-delà.
• • Le LLM et l'humain étaient d'accord sur 83% des cas

L'évaluation humaine a également révélé que 89% des questions de support pertinentes ont été répondues ou redirigées correctement par l'agent de documentation.

Autres constatations :

• Plusieurs appelants voulaient juste s'amuser et essayer de parler dans différentes langues sans poser de question de support.
• • Actuellement, notre IA conversationnelle prend en charge plusieurs langues, mais celles-ci doivent être définies au début de la conversation.
• Plusieurs appelants s'engagent dans des conversations non pertinentes pour l'objectif de l'agent de parler d'ElevenLabs, de ses produits et de sa documentation. Les garde-fous de l'invite ont aidé la plupart du temps, mais pas toujours.
• Plusieurs appelants cherchaient un support de codage ou de débogage.

Forces et limites

Forces

L'agent alimenté par LLM est habile à résoudre des questions claires et spécifiques qui peuvent être répondues avec notre documentation, en orientant les appelants vers la documentation pertinente et en fournissant des conseils initiaux sur des requêtes plus complexes. Dans la plupart de ces cas, l'agent fournit des réponses rapides, simples et correctes qui sont immédiatement utiles.

Les questions incluent :

• ElevenLabs a-t-il un point de terminaison API pour supprimer une voix ?
• Comment puis-je configurer les substitutions de conversation dans mon agent ?
• Comment puis-je intégrer avec la téléphonie ?
• ElevenLabs prend-il en charge la langue espagnole ?

Recommandations :

• Ciblez un public qui aura principalement des questions claires/spécifiques auxquelles un LLM avec documentation et outils est bon pour répondre.
• Utilisez les redirections vers d'autres canaux pour les questions vagues/celles nécessitant une enquête. Cela aide beaucoup !
• Ajoutez des outils d'évaluation pour capturer toutes les questions posées et les surveiller -> ajustez l'invite avec les apprentissages. Ajoutez des outils d'évaluation pour le succès et les hallucinations/déviations de la base de connaissances.

Limites

D'un autre côté, l'agent est moins utile avec les problèmes de compte, les questions de tarification/remises, ou les questions non spécifiques qui bénéficieraient d'une enquête plus approfondie. De plus, les problèmes assez vagues et génériques -> malgré l'invite à poser des questions, le LLM préfère généralement répondre avec quelque chose qui pourrait sembler pertinent à partir de la documentation.

Les questions incluent :

• L'étape de vérification de mon PVC échoue à plusieurs reprises. Pourquoi ?
• Combien coûtera un agent IA ? Puis-je avoir une remise ?
• Je reçois une erreur avec le SDK JS ? -> L'agent peut rediriger vers la documentation pertinente, mais ne peut pas trouver et résoudre facilement le problème via la voix.

Recommandations

• La voix n'est pas le bon moyen pour partager du code. Invitez-le à ne pas essayer, mais plutôt à rediriger vers des pages avec des exemples ou à rediriger vers Discord/Support.
• Invitez l'agent à ne pas répondre avec de longues listes de recommandations lorsque les problèmes/questions sont plus compliqués. Cela fonctionne en texte, mais moins via la voix.
• Les LLM ont tendance à préférer répondre plutôt que poser des questions - invitez-le fortement à le faire si nécessaire pour le cas d'utilisation du support. (c'est-à-dire poser ces 3 questions avant de passer à autre chose). C'est plus facile pour les cas d'utilisation sortants avec des scripts fixes.

Comment nous l'avons construit

Configuration de l'agent :

Invite système

“Vous êtes un agent de support technique nommé Alexis. Vous essayerez de répondre à toutes les questions que l'utilisateur pourrait avoir sur les produits ElevenLabs. Vous recevrez de la documentation sur les produits ElevenLabs et ne devez utiliser que ces informations pour répondre aux questions sur ElevenLabs. Vous devez être serviable, amical et professionnel. Si vous ne pouvez pas répondre à la question, redirigez les appelants avec redirectToEmailSupport (qui ouvre un email de leur côté pour le support), si cela ne semble pas fonctionner, ils peuvent envoyer un email directement à team@elevenlabs.io.

Si la question ou le problème n'est pas entièrement clair ou suffisamment spécifique, demandez plus de détails et pour quel produit ils demandent du support. Si la question est vague ou très large, demandez-leur plus précisément ce qu'ils essaient d'accomplir et comment.

Respectez strictement la langue de votre premier message dans la conversation, même si on vous parle dans une autre langue. Dites qu'il est préférable qu'ils terminent et recommencent l'appel, en sélectionnant la langue alternative souhaitée.

Votre sortie sera lue par un modèle de synthèse vocale, elle doit donc être formatée comme elle est prononcée. Par exemple : au lieu de sortir "veuillez contacter team@elevenlabs.io" vous devez sortir "veuillez contacter 'team at elevenlabs dot I O'". Ne formatez pas votre réponse textuelle avec des puces, du gras ou des en-têtes. Ne retournez pas de longues listes mais résumez-les et demandez quelle partie intéresse l'utilisateur. Ne retournez pas d'exemples de code mais suggérez à l'utilisateur de consulter les exemples de code dans notre documentation. Retournez la réponse directement, ne commencez pas les réponses par "Agent:" ou quelque chose de similaire. Ne corrigez pas les fautes d'orthographe, ignorez-les simplement.

Répondez succinctement en quelques phrases et laissez l'utilisateur vous guider sur où donner plus de détails.

Vous avez les outils suivants à votre disposition. Utilisez-les de manière appropriée en fonction de la demande de l'utilisateur :

`redirectToDocs`:

- Quand l'utiliser : Dans la plupart des situations, surtout lorsque l'utilisateur a besoin d'informations ou de conseils plus détaillés.

- Pourquoi : Fournir un accès direct à la documentation est utile pour les sujets complexes, garantissant que l'utilisateur peut consulter et comprendre le contenu par lui-même.

`redirectToEmailSupport`:

- Quand l'utiliser : Si l'utilisateur a besoin d'aide pour des problèmes personnels ou spécifiques au compte.

- Pourquoi : Les demandes liées aux comptes sont mieux traitées par notre équipe de support par email, où ils peuvent accéder en toute sécurité aux détails pertinents.

`redirectToExternalURL`:

- Quand l'utiliser : Si l'utilisateur pose des questions sur des solutions de niveau entreprise ou souhaite rejoindre des communautés externes comme notre serveur Discord. Aussi s'ils semblent être un développeur ayant des difficultés techniques avec ElevenLabs.

- Pourquoi : Les demandes d'entreprise et les interactions communautaires ne relèvent pas du support direct sur la plateforme et sont mieux traitées via des liens externes.

Garde-fous :

- Restez sur les sujets et produits liés à ElevenLabs. Si quelqu'un pose des questions sur des sujets non liés à ElevenLabs, dites que vous êtes là uniquement pour répondre sur les produits ElevenLabs.

- Ne redirigez l'appelant que vers une page à la fois, car chaque redirection remplace la précédente.

- Ne répondez pas avec de longues listes ou du code. Dirigez plutôt vers la documentation pour des exemples de code.”

Base de connaissances

En plus de l'invite, nous transmettons au LLM une base de connaissances d'informations pertinentes dans le contexte. Cette base de connaissances comprend une version résumée, mais toujours large (80k caractères) de toute la documentation ElevenLabs, ainsi que quelques URL pertinentes.

Nous ajoutons également des clarifications et des FAQ dans la base de connaissances.

Outils

Nous avons trois outils configurés :

• redirectToExternalURL : redirige vers le contact commercial ou vers Discord.
• redirectToEmailSupport : ouvre un email à team@elevenlabs.io
• redirectToDocs : cet outil est configuré pour rediriger l'appelant vers les pages pertinentes de notre documentation.

Évaluation intégrée

Notre outil d'évaluation implique un LLM qui passe en revue la transcription finale et évalue la conversation selon des critères définis.

Critères d'évaluation (succès / échec / inconnu)

• hallucination_kb : ce critère vérifiera la transcription finale et vérifiera si les réponses données par le LLM sur les produits ElevenLabs adhèrent aux informations de la base de connaissances ou vont au-delà.
• interaction : évalue si la conversation est allée au-delà d'un échange. Un moyen rapide de marquer si les conversations ont été commencées mais jamais engagées.
• solved_user_inquiry : défini comme un succès lorsque l'agent a répondu aux questions de l'utilisateur avec des informations pertinentes ou a pu rediriger vers la page/canal de support pertinent.
• positive_interaction : évalue si la conversation s'est déroulée sans réactions négatives de l'appelant.

Collecte de données :

• Issue_type : catégoriser la conversation comme bug, problème de support, fr ou autre
• Catégorie de produit : extraire le produit pertinent (TTS, ConvAI, etc)
• AllQuestions : extraire toutes les questions posées par l'appelant
• Unsolved_question : extraire les questions non répondues par le LLM avec des informations pertinentes
• Redirects : extraire les chemins de redirection déclenchés par l'agent et la réaction de l'appelant

Résumé

Notre agent de documentation s'est avéré efficace pour aider les utilisateurs à naviguer dans les questions courantes sur les produits et le support, et est un copilote engageant pour les utilisateurs naviguant dans notre documentation. Nous sommes capables d'itérer et d'améliorer constamment notre agent grâce à une surveillance automatisée et manuelle continue. Nous reconnaissons que tous les types de requêtes ou questions de support ne peuvent pas être résolus par un LLM, surtout pour une start-up qui évolue rapidement et innove constamment, avec des utilisateurs extrêmement techniques et créatifs. Mais nous avons constaté que plus nous sommes capables d'automatiser, plus notre équipe peut se concentrer sur la résolution des problèmes délicats et intéressants qui se posent en marge alors que notre communauté continue de repousser les limites de ce qui est possible avec l'audio IA.

Notre agent est alimenté par ElevenLabs Conversational AI. Si vous souhaitez reproduire mes résultats, vous pouvez créer un compte gratuitement et suivre mes étapes. Si vous êtes bloqué, vous pouvez parler à l'agent que nous avons déployé sur notre documentation ou entrer en contact avec moi et mon équipe sur Discord. Pour les cas d'utilisation à fort volume (>100 appels par jour), contactez notre équipe commerciale pour des remises sur volume.