Tester les agents IA conversationnels

Lorsque les agents vocaux sont mis en production, comment les gérer à grande échelle ? Comment détecter les écarts de comportement ? Et après y avoir apporté des modifications, comment les tester ?

Ces questions ont guidé notre travail sur El, notre assistant documentaire propulsé par l’IA conversationnelle. À mesure qu’El évoluait, nous avons conçu un système pour gérer, évaluer et tester les agents, fondé sur des critères d’évaluation et des simulations de conversation.

Poser les bases : des critères d’évaluation fiables

Pour améliorer un agent, il faut d’abord comprendre son comportement en conditions réelles. Nous avons donc affiné nos critères d’évaluation et vérifié qu’ils étaient suffisamment précis et fiables pour gérer les performances des agents. Nous considérons qu’une conversation a échoué lorsque l’agent fournit des informations erronées ou n’aide pas l’utilisateur à atteindre son objectif.

Nous avons défini les critères d’évaluation suivants :

• Interaction : la conversation est-elle valide ? L’utilisateur a-t-il posé des questions pertinentes ? La conversation est-elle cohérente ?
• Interaction positive : l’utilisateur est-il satisfait, ou est-il confus ou frustré ?
• Compréhension de la cause profonde : l’agent a-t-il correctement identifié le problème sous-jacent de l’utilisateur ?
• Résolution de la demande de l’utilisateur : l’agent a-t-il résolu le problème de l’utilisateur ou proposé une autre méthode d’assistance ?
• Hallucination : l’agent a-t-il inventé des informations absentes de la base de connaissances ?

Si Interaction échoue, la conversation elle-même n’est pas valide. Si un autre critère échoue, nous approfondissons l’analyse. Cette analyse nous indique comment améliorer l’agent. Il peut s’agir d’affiner l’utilisation ou le timing des outils. Dans d’autres cas, nous ajoutons des garde-fous pour empêcher des actions non prises en charge.

Itérer en toute confiance : API de simulation de conversation

Une fois les améliorations identifiées, l’étape suivante consiste à tester. C’est là que notre API de simulation de conversation intervient. Elle simule des scénarios utilisateur réalistes, de bout en bout ou sur des segments ciblés, et évalue automatiquement les résultats selon les mêmes critères que nous appliquons en production. Elle prend en charge la simulation d’outils et les évaluations personnalisées, ce qui permet de tester des comportements précis.

Nous utilisons deux approches :

• Simulations complètes : Tester des conversations complètes du début à la fin.
• Simulations partielles : commencer au milieu d’une conversation pour valider des points de décision ou des sous-flux. C’est notre méthode privilégiée pour les tests unitaires, car elle permet d’itérer rapidement et de cibler le débogage.

Des scénarios clairs et ciblés nous permettent de maîtriser ce sur quoi le LLM est testé, afin de couvrir les cas limites, l’utilisation des outils et la logique de repli.

Automatiser à grande échelle : intégrer les tests au CI/CD

La dernière étape est l’automatisation. Nous avons utilisé les API ouvertes d’ElevenLabs pour nous connecter à notre flux DevOps GitHub, en intégrant l’évaluation et la simulation à notre pipeline CI/CD. Chaque mise à jour est automatiquement testée avant son déploiement. Cela évite les régressions et nous fournit rapidement des retours sur les performances en conditions réelles.

Résultats : un El plus robuste et plus intelligent

Ce processus a transformé notre façon de développer et de maintenir El. Nous avons créé une boucle de rétroaction qui relie l’utilisation réelle à une évaluation structurée, à des tests ciblés et à une validation automatisée. Nous pouvons ainsi déployer des améliorations plus rapidement et avec davantage de confiance.

C’est un cadre que nous pouvons désormais appliquer à tout agent que nous développons.