Pruebas de Agentes de Conversación IA

Cuando los agentes de conversación están en vivo, ¿cómo los monitoreas a gran escala? ¿Cómo detectas cuando no se comportan como se espera? Y una vez que has hecho cambios, ¿cómo los pruebas?

Estas preguntas dieron forma a nuestro trabajo en El, nuestro asistente de documentación impulsado por Conversational AI. A medida que El evolucionó, creamos un sistema para monitorear, evaluar, y probar agentes, basado en criterios de evaluación y simulaciones de conversación.

Estableciendo la Base: Criterios de Evaluación Fiables

Mejorar cualquier agente comienza con entender cómo se comporta en el mundo real. Eso significó refinar nuestros criterios de evaluación y asegurarnos de que fueran lo suficientemente precisos y fiables para monitorear el rendimiento del agente. Definimos una conversación fallida como aquella en la que el agente da información incorrecta o no ayuda al usuario a alcanzar su objetivo.

Desarrollamos los siguientes Criterios de Evaluación:

• Interacción: ¿es esta una conversación válida, el usuario hizo preguntas relevantes, la conversación tenía sentido?
• Interacción positiva: ¿el usuario se fue satisfecho, o estaba confundido o frustrado?
• Entender la causa raíz: ¿el agente identificó correctamente el problema subyacente del usuario?
• Resolver la consulta del usuario: ¿el agente resolvió el problema del usuario o proporcionó un método de apoyo alternativo?
• Alucinación: ¿el agente inventó información que no está en la base de conocimientos?

Si Interacción falla, la conversación en sí no es válida. Si cualquier otro criterio falla, investigamos más a fondo. La investigación guía cómo mejoramos el agente. A veces se trata de refinar el uso de herramientas o el tiempo. Otras veces, es añadir límites para prevenir acciones no soportadas.

Iterando con Confianza: API de Simulación de Conversación

Una vez que hemos identificado qué mejorar, el siguiente paso es probar. Ahí es donde entra nuestra API de Simulación de Conversación entra en acción. Simula escenarios realistas de usuario, tanto de principio a fin como en segmentos específicos, y evalúa automáticamente los resultados usando los mismos criterios que aplicamos en producción. Soporta la simulación de herramientas y la evaluación personalizada, lo que lo hace lo suficientemente flexible para probar comportamientos específicos.

Usamos dos enfoques:

• Simulaciones completas: Prueba conversaciones enteras de principio a fin.
• Simulaciones parciales: Comienza a mitad de conversación para validar puntos de decisión o subflujos. Este es nuestro método preferido para pruebas unitarias, permitiendo iteraciones rápidas y depuración específica.

Escenarios claros y enfocados nos permiten controlar lo que se está probando en el LLM, asegurando cobertura para casos límite, uso de herramientas y lógica de respaldo.

Automatizando a Escala: Integración de Pruebas en CI/CD

La pieza final es automatización. Usamos las APIs abiertas de ElevenLabs para conectarnos con nuestro flujo de GitHub DevOps integrando la evaluación y simulación en nuestra pipeline de CI/CD. Cada actualización se prueba automáticamente antes de su implementación. Esto previene regresiones y nos da retroalimentación rápida sobre el rendimiento en el mundo real.

Resultados: Un El más fuerte e inteligente

Este proceso transformó cómo construimos y mantenemos El. Hemos creado un ciclo de retroalimentación que conecta el uso real con una evaluación estructurada, pruebas específicas y validación automatizada, permitiéndonos implementar mejoras más rápido y con mayor confianza.

Y es un marco que ahora podemos aplicar a cualquier agente que construyamos.