Créer un agent vocal efficace pour nos propres documents

Chez ElevenLabs, nous avons récemment intégré un agent d'IA conversationnelle dans nos documents pour aider à réduire la charge de support pour les questions liées à la documentation (Testez-le ici$ Notre agent de support gère désormais avec succès plus de 80% des demandes des utilisateurs à travers 200 appels par jour. Ces résultats démontrent le potentiel de l’IA pour augmenter le support de documentation traditionnel tout en soulignant l’importance continue du support humain pour les requêtes complexes. Dans cet article, je vais détailler notre processus itératif que vous pouvez suivre pour reproduire notre succès. 

Nos objectifs

Nous avons décidé de créer un agent capable de :

• Résoudre les questions d'assistance auxquelles il est possible de répondre dans le contexte de notre documentation produit et d'assistance
• Rediriger les utilisateurs vers les sections de documentation pertinentes
• Transférer les requêtes complexes au support par e-mail/Discord si nécessaire
• Ayez une conversation fluide et naturelle, avec une faible latence et une gestion réaliste des interruptions

Résultats et impact

Nous avons mis en œuvre deux niveaux d’évaluation :

(1) Outils d'évaluation de l'IA$ Pour chaque appel, notre outil d’évaluation intégré parcourt la conversation terminée et évalue si l’agent a réussi. Les critères sont entièrement personnalisables. Nous demandons si l'agent a résolu la demande de l'utilisateur ou a pu le rediriger vers un canal d'assistance approprié. 

Nous avons pu améliorer régulièrement la capacité du LLM à résoudre ou à rediriger l’enquête avec succès, atteignant 80 % selon nos outils d’évaluation. 

À l'exclusion des appels comportant moins d'un tour de conversation, ce qui implique qu'aucune question/problème n'a été soulevé par l'appelant. 

Il est désormais important de prendre en compte que tous les types de requêtes ou de questions d’assistance ne peuvent pas être résolus par un LLM, en particulier pour une startup qui construit rapidement et innove constamment, et avec des utilisateurs extrêmement techniques et créatifs. Avertissement supplémentaire : un LLM d'évaluation ne sera pas évalué correctement dans 100 % des cas.

(2) Validation humaine$ Pour comparer l'efficacité de notre outil de validation LLM, nous avons effectué une validation humaine de 150 conversations, en utilisant les mêmes critères d'évaluation fournis pour l'outil LLM :

• demande_d'utilisateur_résolue:défini comme un succès lorsque l'agent a répondu aux questions de l'utilisateur avec des informations pertinentes ou a pu le rediriger vers la page / le canal d'assistance approprié. 
• • Le LLM et l'Humain se sont mis d'accord sur 81% des cas 
• hallucination_kb: ce critère vérifiera la transcription finale et vérifiera si les réponses données par le LLM sur les produits ElevenLabs adhèrent aux informations de la base de connaissances ou vont au-delà. 
• • Le LLM et l'Humain se sont mis d'accord sur 83 des cas

L’évaluation humaine a également révélé que 89 des questions d'assistance pertinentes ont été répondues ou redirigées correctement par l'agent de documentation.

Autres résultats : 

• Plusieurs appelants voulaient simplement jouer et essayer de parler dans différentes langues sans poser de question d'assistance. 
• • Actuellement, notre IA conversationnelle prend en charge différentes langues, mais celles-ci doivent être définies au début de la conversation. 
• Plusieurs appelants s'engagent dans des conversations sans rapport avec l'objectif de l'agent de parler d'ElevenLabs, de ses produits et de sa documentation. Des garde-corps rapides ont aidé la plupart du temps, mais pas toujours. 
• Plusieurs appelants recherchaient un support de codage ou de débogage. 

Points forts et limites

Points forts

L'agent basé sur LLM est capable de résoudre des questions claires et spécifiques auxquelles on peut répondre grâce à notre documentation, en orientant les appelants vers la documentation pertinente et en fournissant des conseils initiaux sur des requêtes plus complexes. Dans la plupart des cas, l’agent fournit des réponses rapides, simples et correctes qui sont immédiatement utiles. 

Les questions incluent : 

• ElevenLabs dispose-t-il d'un point de terminaison API pour supprimer une voix ? 
• Comment puis-je configurer les remplacements de conversation dans mon agent ? 
• Comment puis-je intégrer la téléphonie ?
• ElevenLabs prend-il en charge la langue espagnole ?

Recommandations :

• Ciblez un public qui aura majoritairement des questions claires/spécifiques auxquelles un LLM avec documentation et outils saura répondre. 
• Exploitez les redirections vers d’autres canaux pour les questions vagues / celles nécessitant une enquête. Cela aide beaucoup ! 
• Ajoutez des outils d’évaluation pour capturer toutes les questions posées et les surveiller -> ajustez l’invite en fonction des apprentissages. Ajoutez des outils d’évaluation pour la réussite et les hallucinations/écarts par rapport à la base de connaissances. 

Limites

D’un autre côté, l’agent est moins utile en cas de problèmes de compte, de questions sur les prix/remises ou de questions non spécifiques qui bénéficieraient d’une enquête/interrogation plus approfondie. De plus, les questions qui sont assez vagues et génériques -> malgré la demande de poser des questions, le LLM privilégie généralement la réponse avec quelque chose qui pourrait sembler pertinent à partir de la documentation. 

Les questions incluent : 

• L'étape de vérification de mon PVC échoue à plusieurs reprises. Pourquoi? 
• Combien coûtera un agent IA ? Puis-je bénéficier d'une réduction ? 
• J'obtiens une erreur avec le SDK JS ? -> L'agent peut rediriger la documentation pertinente, mais ne peut pas trouver et résoudre le problème facilement via la voix. 

Recommandations

• La voix n’est pas le bon moyen de partager du code. Demandez-lui de ne pas essayer, mais plutôt de rediriger vers des pages avec des exemples ou de rediriger vers Discord/Support.
• Demandez à l’agent de ne pas répondre à de longues listes de recommandations lorsque les problèmes/questions sont plus compliqués. Cela fonctionne avec le texte, mais moins avec la voix.
• Les LLM ont tendance à privilégier les réponses aux questions plutôt que de les poser - demandez-le de manière agressive si nécessaire pour le cas d'utilisation du support. (c'est-à-dire posez ces 3 questions avant de passer à autre chose). Ceci est plus facile pour les cas d'utilisation sortants avec des scripts fixes.

Comment nous l'avons construit

Configuration de l'agent : 

Invite système

« Vous êtes un agent de support technique nommé Alexis. Vous tenterez de répondre à toutes les questions que l'utilisateur pourrait avoir sur les produits ElevenLabs. Vous recevrez une documentation sur les produits ElevenLabs et ne devrez utiliser ces informations que pour répondre à des questions sur ElevenLabs. Vous devez être serviable, amical et professionnel. Si vous ne parvenez pas à répondre à la question, redirigez les appelants avec redirectToEmailSupport (qui ouvre un e-mail de leur côté vers le support), si cela ne semble pas fonctionner, ils peuvent envoyer un e-mail directement à équipe@elevenlabs.io.

Si la question ou le problème n'est pas tout à fait clair ou suffisamment précis, demandez plus de détails et indiquez pour quel produit ils demandent de l'aide. Si la question est vague ou très large, demandez-leur plus précisément ce qu’ils essaient d’accomplir et comment. 

Respectez strictement la langue de votre premier message dans la conversation, même lorsqu'on vous le demande ou vous parle dans une langue différente. Dites qu'il est préférable qu'ils terminent et reprennent l'appel en sélectionnant la langue alternative souhaitée.

Votre sortie sera lue par un modèle de synthèse vocale, elle doit donc être formatée comme elle est prononcée. Par exemple : au lieu d'afficher « veuillez contacter team@elevenlabs.io », vous devriez afficher « veuillez contacter 'team at elevenlabs dot I O' ». Ne formatez pas votre réponse textuelle avec des puces, du gras ou des en-têtes. Ne renvoyez pas de longues listes, mais résumez-les plutôt et demandez quelle partie intéresse l'utilisateur. Ne renvoyez pas d'exemples de code, mais suggérez plutôt à l'utilisateur de consulter les exemples de code dans notre documentation. Renvoyez la réponse directement, ne commencez pas les réponses par « Agent : » ou quelque chose de similaire. Ne corrigez pas les fautes d’orthographe, ignorez-les simplement.

Répondez succinctement en quelques phrases et laissez l'utilisateur vous guider sur l'endroit où donner plus de détails. 

Vous disposez des outils suivants. Utilisez-les de manière appropriée en fonction de la demande de l'utilisateur :

`redirectToDocs`:

- Quand l'utiliser : Dans la plupart des situations, en particulier lorsque l’utilisateur a besoin d’informations ou de conseils plus détaillés.

- Pourquoi: Fournir un accès direct à la documentation est utile pour les sujets complexes, garantissant que l'utilisateur peut consulter et comprendre le contenu par lui-même.

`redirectToEmailSupport`:

- Quand l'utiliser : Si l'utilisateur a besoin d'aide pour des problèmes personnels ou spécifiques à son compte.

- Pourquoi: Les demandes relatives aux comptes sont mieux traitées par notre équipe d'assistance par courrier électronique, où elle peut accéder en toute sécurité aux détails pertinents.

`redirectToExternalURL`:

- Quand l'utiliser : Si l'utilisateur demande des solutions au niveau de l'entreprise ou souhaite rejoindre des communautés externes telles que notre serveur Discord. Même s'il semble qu'il s'agisse d'un développeur ayant des difficultés techniques avec ElevenLabs.

- Pourquoi: Les demandes d'entreprise et les interactions avec la communauté ne relèvent pas du support direct sur la plateforme et sont mieux traitées via des liens externes.

Garde-corps :

- Restez fidèle aux sujets et produits liés à Elevenlabs. Si quelqu'un pose une question sur des sujets non liés à Elevenlabs, dites que vous êtes ici uniquement pour répondre à des questions sur les produits Elevenlabs.

- Rediriger l'appelant uniquement vers une page à la fois, car chaque redirection remplace la précédente.

- Ne répondez pas dans de longues listes ou avec du code. Au lieu de cela, accédez directement à la documentation pour obtenir des exemples de codage. »

Base de connaissances

Parallèlement à l'invite, nous transmettons au LLM une base de connaissances d'informations pertinentes dans le contexte. Cette base de connaissances comprend une version résumée, mais toujours volumineuse (80 000 caractères) de toute la documentation d'ElevenLabs, ainsi que certaines URL pertinentes. 

Nous ajoutons également des clarifications et des FAQ dans le cadre de la base de connaissances. 

Outils

Nous avons trois outils configurés :

• redirectToExternalURL : redirige vers le contact commercial ou vers Discord. 
• redirectToEmailSupport : ouvrir un e-mail à équipe@elevenlabs.io
• redirectToDocs : cet outil est configuré pour rediriger l'appelant vers les pages pertinentes de notre documentation.

Évaluation intégrée 

Notre outil d’évaluation implique qu’un LLM examine la transcription finale et évalue la conversation par rapport à des critères définis. 

Critères d'évaluation (succès / échec / inconnu)

• hallucination_kb : ce critère vérifiera la transcription finale et vérifiera si les réponses données par le LLM sur les produits ElevenLabs adhèrent aux informations de la base de connaissances ou vont au-delà. 
• interaction : évalue si la conversation a dépassé un tour de conversation. Un moyen rapide de marquer si des conversations ont été démarrées mais jamais engagées. 
• solved_user_inquiry : défini comme un succès lorsque l'agent a répondu aux questions de l'utilisateur avec des informations pertinentes ou a pu le rediriger vers la page/le canal d'assistance approprié. 
• positive_interaction : évaluer si la conversation s'est déroulée sans réactions négatives de la part de l'appelant. 

Collecte de données :

• Issue_type : catégoriser la conversation comme bug, problème d'assistance, fr ou autre
• Catégorie de produit : extraire le produit concerné (TTS, ConvAI, etc) 
• AllQuestions : extraire toutes les questions posées par l'appelant 
• Unsolved_question : extraire les questions non répondues par le LLM avec des informations pertinentes
• Redirections : extraire les chemins de redirection déclenchés par l'agent et la réaction de l'appelant

Résumé

Notre agent de documentation s'est avéré efficace pour aider les utilisateurs à parcourir les questions courantes sur les produits et l'assistance, et constitue un copilote engageant pour les utilisateurs qui naviguent dans nos documents. Nous sommes en mesure d'itérer et d'améliorer constamment notre agent grâce à une surveillance automatisée et manuelle continue. Nous reconnaissons que tous les types de requêtes ou de questions d’assistance ne peuvent pas être résolus par un LLM, en particulier pour une startup qui construit rapidement et innove constamment, et avec des utilisateurs extrêmement techniques et créatifs. Mais nous avons constaté que plus nous sommes capables d'automatiser, plus notre équipe peut consacrer du temps à résoudre les problèmes délicats et intéressants qui surgissent en marge, tandis que notre communauté continue de repousser les limites de ce qui est possible avec l'audio AI. 

Notre agent est alimenté par IA conversationnelle d'ElevenLabs. Si vous souhaitez reproduire mes résultats, vous pouvez créer un compte gratuitement et suis mes pas. Si vous êtes bloqué, vous pouvez parler à l'agent que nous avons déployé sur nos documents ou contactez-moi et mon équipe dans Discorde. Pour les cas d’utilisation à volume élevé (> 100 appels par jour), Contactez notre équipe commerciale pour bénéficier de remises sur volume.