Construyendo un Agente de Voz efectivo para nuestra propia documentación

En ElevenLabs, recientemente incorporamos un agente de Conversational AI en nuestra documentación para ayudar a reducir la carga de soporte en preguntas relacionadas con la documentación (Pruébalo aquí). Nuestro agente de soporte ahora maneja con éxito más del 80% de las consultas de usuarios en 200 llamadas al día. Estos resultados demuestran el potencial de la IA para complementar el soporte tradicional de documentación, destacando la importancia continua del soporte humano para consultas complejas. En este post, detallaré nuestro proceso iterativo que puedes seguir para replicar nuestro éxito.

Nuestros objetivos

Nos propusimos construir un agente que pueda:

• Resolver preguntas de soporte que puedan ser respondidas desde el contexto de nuestro producto y documentación de soporte
• Redirigir a los usuarios a secciones relevantes de la documentación
• Reenviar consultas complejas a soporte por email/discord cuando sea necesario
• Tener una conversación fluida y natural, con baja latencia y manejo realista de interrupciones

Resultados e Impacto

Implementamos dos capas de evaluación:

(1) Herramientas de Evaluación de IA: Para cada llamada, nuestras herramientas de evaluación integradas revisan la conversación finalizada y evalúan si el agente ha tenido éxito. Los criterios son totalmente personalizables. Preguntamos si el agente resolvió la consulta del usuario o pudo redirigirlo a un canal de soporte relevante.

Hemos podido mejorar constantemente la capacidad del LLM para resolver o redirigir la consulta con éxito, alcanzando el 80% según nuestras herramientas de evaluación.

Excluyendo llamadas con menos de 1 turno en la conversación, lo que implica que no se planteó ninguna pregunta/problema por parte del llamante.

Ahora, es importante considerar que no todos los tipos de consultas o preguntas de soporte pueden ser resueltas por un LLM, especialmente para una startup que construye rápido e innova constantemente, y con usuarios extremadamente técnicos y creativos. Como advertencia adicional, un LLM de evaluación no evaluará correctamente el 100% del tiempo.

(2) Validación Humana: Para contrastar la eficacia de nuestras herramientas de validación LLM, realizamos una validación humana de 150 conversaciones, utilizando los mismos criterios de evaluación proporcionados a las herramientas LLM:

• solved_user_inquiry: definido como éxito cuando el agente respondió a las preguntas del usuario con información relevante o pudo redirigir a la página/canal de soporte relevante.
• • El LLM y el Humano coincidieron en 81% de los casos
• hallucination_kb: este criterio verificará la transcripción final y comprobará si las respuestas dadas por el LLM sobre los productos de ElevenLabs se adhieren a la información en la base de conocimiento o van más allá.
• • El LLM y el Humano coincidieron en 83% de los casos

La evaluación humana también reveló que 89% de las preguntas de soporte relevantes fueron respondidas o redirigidas correctamente por el agente de Documentación.

Otros hallazgos:

• Varios llamantes solo querían experimentar y probar hablar en diferentes idiomas sin hacer una pregunta de soporte.
• • Actualmente, nuestro Conversational AI admite varios idiomas, pero estos deben definirse al inicio de la conversación.
• Varios llamantes participan en conversaciones no relevantes para el objetivo del agente de hablar sobre ElevenLabs, sus productos y documentación. Las guías de prompts ayudaron la mayoría de las veces, pero no siempre.
• Varios llamantes buscaban soporte de codificación o depuración.

Fortalezas y Limitaciones

Fortalezas

El agente potenciado por LLM es hábil para resolver preguntas claras y específicas que pueden ser respondidas con nuestra documentación, señalando a los llamantes la documentación relevante y proporcionando alguna orientación inicial sobre consultas más complejas. En la mayoría de estos casos, el agente proporciona respuestas rápidas, directas y correctas que son inmediatamente útiles.

Las preguntas incluyen:

• ¿Tiene ElevenLabs una ruta de API para eliminar una voz?
• ¿Cómo puedo configurar sobrescrituras de conversación en mi agente?
• ¿Cómo integro con telefonía?
• ¿ElevenLabs admite el idioma español?

Recomendaciones:

• Dirígete a una audiencia que tenga principalmente preguntas claras/específicas que un LLM con documentación y herramientas pueda responder bien.
• Aprovecha las redirecciones a otros canales para las preguntas vagas/que requieren investigación. ¡Esto ayuda mucho!
• Añade herramientas de evaluación para capturar todas las preguntas formuladas y monitorear esas -> ajusta el prompt con los aprendizajes. Añade herramientas de evaluación para el éxito y alucinaciones/desviaciones de la base de conocimiento.

Limitaciones

Por otro lado, el agente es menos útil con problemas de cuenta, preguntas de precios/descuentos o preguntas no específicas que se beneficiarían de una investigación más profunda. También, problemas que son bastante vagos y genéricos -> a pesar de ser incitado a hacer preguntas, el LLM generalmente prefiere responder con algo que pueda parecer relevante de la documentación.

Las preguntas incluyen:

• El paso de verificación de mi PVC falla repetidamente. ¿Por qué?
• ¿Cuánto costará un agente de IA? ¿Puedo tener un descuento?
• Estoy teniendo un error con el SDK de JS? -> El agente puede redirigir a la documentación relevante, pero no puede encontrar y resolver el problema fácilmente por voz.

Recomendaciones

• La voz no es el medio adecuado para compartir código. Incítalo a no intentarlo, sino a redirigir a páginas con ejemplos o redirigir a Discord/Soporte.
• Incita al agente a no responder con largas listas de recomendaciones cuando los problemas/preguntas son más complicados. Esto funciona en texto, pero menos por voz.
• Los LLM tienden a preferir responder en lugar de hacer preguntas - incítalo agresivamente para eso si es necesario para el caso de uso de soporte. (es decir, haz estas 3 preguntas antes de continuar). Esto es más fácil para casos de uso salientes con guiones fijos.

Cómo lo construimos

Configuración del Agente:

Prompt del Sistema

“Eres un agente de soporte técnico llamado Alexis. Intentarás responder cualquier pregunta que el usuario pueda tener sobre los productos de ElevenLabs. Se te proporcionará documentación sobre los productos de ElevenLabs y solo debes usar esta información para responder preguntas sobre ElevenLabs. Debes ser servicial, amigable y profesional. Si no puedes responder la pregunta, redirige a los llamantes con redirectToEmailSupport (que abre un correo electrónico en su extremo para soporte), si eso no parece funcionar, pueden enviar un correo directamente a team@elevenlabs.io.

Si la pregunta o problema no está completamente claro o es lo suficientemente específico, pide más detalles y para qué producto están solicitando soporte. Si la pregunta es vaga o muy amplia, pregúntales más específicamente qué están tratando de lograr y cómo.

Adhiérete estrictamente al idioma de tu primer mensaje en la conversación, incluso cuando te pregunten o hablen en un idioma diferente. Di que es mejor si terminan y reinician la llamada, seleccionando el idioma alternativo deseado.

Tu salida será leída por un modelo de texto a voz, por lo que debe estar formateada como se pronuncia. Por ejemplo: en lugar de emitir "por favor contacta a team@elevenlabs.io" debes emitir "por favor contacta a 'team at elevenlabs dot I O'". No formatees tu respuesta de texto con viñetas, negritas o encabezados. No devuelvas listas largas, sino resúmelas y pregunta en qué parte está interesado el usuario. No devuelvas muestras de código, sino sugiere que el usuario vea las muestras de código en nuestra documentación. Devuelve la respuesta directamente, no comiences las respuestas con "Agente:" o algo similar. No corrijas errores ortográficos, simplemente ignóralos.

Responde de manera concisa en un par de oraciones y deja que el usuario te guíe sobre dónde dar más detalles.

Tienes las siguientes herramientas a tu disposición. Úsalas según corresponda en función de la solicitud del usuario:

`redirectToDocs`:

- Cuándo usar: En la mayoría de las situaciones, especialmente cuando el usuario necesita más información o guía detallada.

- Por qué: Proporcionar acceso directo a la documentación es útil para temas complejos, asegurando que el usuario pueda revisar y comprender el contenido por su cuenta.

`redirectToEmailSupport`:

- Cuándo usar: Si el usuario requiere asistencia con problemas personales o específicos de la cuenta.

- Por qué: Las consultas relacionadas con la cuenta son mejor manejadas por nuestro equipo de soporte por correo electrónico, donde pueden acceder de manera segura a los detalles relevantes.

`redirectToExternalURL`:

- Cuándo usar: Si el usuario pregunta sobre soluciones a nivel empresarial o quiere unirse a comunidades externas como nuestro servidor de Discord. También si parecen ser un desarrollador con dificultades técnicas con ElevenLabs.

- Por qué: Las consultas empresariales y las interacciones comunitarias están fuera del alcance del soporte directo en la plataforma y se manejan mejor a través de enlaces externos.

Guías:

- Mantente en temas y productos relacionados con ElevenLabs. Si alguien pregunta sobre temas no relacionados con ElevenLabs, di que solo estás aquí para responder sobre productos de ElevenLabs.

- Solo redirige al llamante a una página a la vez, ya que cada redirección anula la anterior.

- No respondas con listas largas o con código. En su lugar, dirígete a la documentación para ejemplos de codificación.”

Base de Conocimiento

Junto con el prompt, estamos pasando al LLM una Base de Conocimiento de información relevante en el contexto. Esta base de conocimiento incluye una versión resumida, pero aún grande (80k caracteres) de toda la documentación de ElevenLabs, así como algunas URLs relevantes.

También estamos añadiendo aclaraciones y preguntas frecuentes como parte de la base de conocimiento.

Herramientas

Tenemos tres herramientas configuradas:

• redirectToExternalURL: redirige para contactar ventas o a discord.
• redirectToEmailSupport: abre un correo a team@elevenlabs.io
• redirectToDocs: esta herramienta está configurada para redirigir al llamante a páginas relevantes dentro de nuestra documentación.

Evaluación Integrada

Nuestras herramientas de evaluación implican que un LLM revise la transcripción final y evalúe la conversación según criterios definidos.

Criterios de Evaluación (éxito / fracaso / desconocido)

• hallucination_kb: este criterio verificará la transcripción final y comprobará si las respuestas dadas por el LLM sobre los productos de ElevenLabs se adhieren a la información en la base de conocimiento o van más allá.
• interaction: evalúa si la conversación fue más allá de un turno de conversación. Una forma rápida de marcar si las conversaciones se iniciaron pero nunca se comprometieron.
• solved_user_inquiry: definido como éxito cuando el agente respondió a las preguntas del usuario con información relevante o pudo redirigir a la página/canal de soporte relevante.
• positive_interaction: evalúa si la conversación transcurrió sin reacciones negativas del llamante.

Recopilación de Datos:

• Issue_type: categoriza la conversación como error, problema de soporte, fr u otro
• Categoría de producto: extrae el producto relevante (TTS, ConvAI, etc.)
• AllQuestions: extrae todas las preguntas formuladas por el llamante
• Unsolved_question: extrae preguntas no respondidas por el LLM con información relevante
• Redirects: extrae las rutas de redirección activadas por el agente y la reacción del llamante

Resumen

Nuestro agente de documentación ha demostrado ser efectivo para ayudar a los usuarios a navegar preguntas comunes de producto y soporte, y es un copiloto atractivo para los usuarios que navegan por nuestra documentación. Podemos iterar y mejorar constantemente nuestro agente a través de monitoreo automatizado y manual continuo. Reconocemos que no todos los tipos de consultas o preguntas de soporte pueden ser resueltas por un LLM, especialmente para una startup que construye rápido e innova constantemente, y con usuarios extremadamente técnicos y creativos. Pero hemos encontrado que cuanto más podemos automatizar, más tiempo puede dedicar nuestro equipo a abordar los problemas complicados e interesantes que surgen en los márgenes a medida que nuestra comunidad continúa empujando los límites de lo que es posible con el Audio IA.

Nuestro agente está potenciado por ElevenLabs Conversational AI. Si deseas reproducir mis resultados, puedes crear una cuenta gratis y seguir mis pasos. Si te quedas atascado, puedes hablar con el agente que hemos desplegado en nuestra documentación o ponerte en contacto conmigo y mi equipo en Discord. Para casos de uso de alto volumen (>100 llamadas al día), contacta a nuestro equipo de ventas para descuentos por volumen.