Construyendo un Agente de Voz efectivo para nuestros propios documentos

En ElevenLabs, recientemente incorporamos un agente de IA conversacional en nuestros documentos para ayudar a reducir la carga de soporte para preguntas relacionadas con la documentación (Pruébelo aquí$ Nuestro agente de soporte ahora está manejando exitosamente Más del 80% de consultas de usuarios en todo el mundo 200 llamadas por día. Estos resultados demuestran el potencial de la IA para ampliar el soporte de documentación tradicional y resaltan al mismo tiempo la importancia continua del apoyo humano para consultas complejas. En esta publicación, detallaré nuestro proceso iterativo que puedes seguir para replicar nuestro éxito. 

Nuestros objetivos

Nos propusimos construir un agente que pudiera:

• Resolver preguntas de soporte que puedan responderse desde el contexto de nuestra documentación de producto y soporte.
• Redirigir a los usuarios a las secciones de documentación relevantes
• Reenviar consultas complejas al soporte de correo electrónico/Discord cuando sea necesario
• Tenga una conversación fluida y natural, con baja latencia y un manejo realista de las interrupciones.

Resultados e impacto

Implementamos dos capas de evaluación:

(1) Herramientas de evaluación de IA: Para cada llamada, nuestra herramienta de evaluación incorporada ejecuta la conversación finalizada y evalúa si el agente tuvo éxito. Los criterios son totalmente personalizables. Preguntamos si el agente resolvió la consulta del usuario o pudo redirigirlo a un canal de soporte relevante. 

Hemos podido mejorar de manera sostenida la capacidad del LLM para resolver o redirigir la consulta con éxito, alcanzando el 80% según nuestra herramienta de evaluación. 

Excluyendo llamadas con menos de 1 turno en la conversación, lo que implica que el que llama no planteó ninguna pregunta o problema. 

Ahora bien, es importante tener en cuenta que no todos los tipos de consultas o preguntas de soporte pueden ser resueltas por un LLM, especialmente para una startup que construye rápido e innova constantemente, y con usuarios extremadamente técnicos y creativos. Como descargo de responsabilidad adicional, un LLM evaluador no evaluará correctamente el 100% del tiempo.

(2) Validación humana: Para contrastar la eficacia de nuestra herramienta de validación LLM, realizamos una validación humana de 150 conversaciones, utilizando los mismos criterios de evaluación proporcionados a la herramienta LLM:

• consulta_de_usuario_resuelta:se define como éxito cuando el agente respondió las preguntas del usuario con información relevante o pudo redirigirlo a la página o canal de soporte relevante. 
• • El LLM y el Humano coincidieron en 81 de casos 
• alucinación_kb:este criterio verificará la transcripción final y verificará si las respuestas dadas por el LLM sobre los productos de ElevenLabs se ajustan a la información de la base de conocimientos o van más allá de ella. 
• • El LLM y el Humano coincidieron en 83 de casos

La evaluación humana también reveló que 89 El agente de documentación respondió o redirigió correctamente el total de preguntas de soporte relevantes.

Otros hallazgos: 

• Varias personas que llamaron simplemente querían jugar e intentar hablar en diferentes idiomas sin hacer una pregunta de soporte. 
• • Actualmente, nuestra IA conversacional admite varios idiomas, pero estos deben definirse al inicio de la conversación. 
• Varios interlocutores entablan conversaciones que no son relevantes para el objetivo del agente de hablar sobre ElevenLabs, sus productos y documentación. La mayoría de las veces, las barandillas protectoras ayudaron, pero no siempre. 
• Varias personas que llamaron buscaban ayuda con la codificación o la depuración. 

Fortalezas y limitaciones

Fortalezas

El agente con tecnología LLM es experto en resolver preguntas claras y específicas que pueden responderse con nuestra documentación, señalando a las personas que llaman la documentación relevante y brindando orientación inicial sobre consultas más complejas. En la mayoría de estos casos, el agente proporciona respuestas rápidas, directas y correctas que resultan inmediatamente útiles. 

Las preguntas incluyen: 

• ¿ElevenLabs tiene un punto final API para eliminar una voz? 
• ¿Cómo puedo configurar anulaciones de conversaciones en mi agente? 
• ¿Cómo me integro con la telefonía?
• ¿ElevenLabs soporta el idioma español?

Recomendaciones:

• Diríjase a un público que, en su mayoría, tendrá preguntas claras y específicas que un LLM con documentación y herramientas puede responder bien. 
• Aproveche las redirecciones a otros canales para las preguntas vagas o que requieren investigación. ¡Esto ayuda mucho! 
• Agregue herramientas de evaluación para capturar todas las preguntas formuladas y monitorearlas -> ajuste el mensaje con los aprendizajes. Agregar herramientas de evaluación para el éxito y las alucinaciones/desviaciones de la base de conocimientos. 

Limitaciones

Por otro lado, el agente es menos útil con problemas de cuenta, preguntas sobre precios/descuentos o preguntas no específicas que se beneficiarían de una investigación o consulta más profunda. Además, cuestiones que son bastante vagas y genéricas -> a pesar de que se les pide que hagan preguntas, el LLM generalmente prefiere responder con algo que pueda parecer relevante a partir de la documentación. 

Las preguntas incluyen: 

• El paso de verificación de mi PVC falla repetidamente. ¿Por qué? 
• ¿Cuánto costará un agente de IA? ¿Puedo tener un descuento? 
• Recibo un error con el SDK de JS. -> El agente puede redirigir la documentación relevante, pero no puede encontrar ni resolver el problema fácilmente mediante la voz. 

Recomendaciones

• La voz no es el medio adecuado para compartir código. Pídele que no lo intente, sino que lo redirija a páginas con ejemplos o lo redirija a Discord/Soporte.
• Indique al agente que no responda en largas listas de recomendaciones cuando los problemas o preguntas sean más complicados. Esto funciona en texto, pero menos mediante voz.
• Los LLM tienden a preferir responder en lugar de hacer preguntas: solicite esto de manera agresiva si es necesario para el caso de uso de soporte (es decir, haga estas 3 preguntas antes de continuar). Esto es más fácil para los casos de uso salientes con scripts fijos.

Cómo lo construimos

Configuración del agente: 

Indicador del sistema

“Usted es un agente de soporte técnico llamado Alexis. Intentará responder cualquier pregunta que pueda tener el usuario sobre los productos de ElevenLabs. Se le proporcionará documentación sobre los productos de ElevenLabs y solo deberá utilizar esta información para responder preguntas sobre ElevenLabs. Debes ser servicial, amigable y profesional. Si no puede responder la pregunta, redirija a las personas que llaman con redirectToEmailSupport (que abre un correo electrónico en su extremo para el soporte), si eso no parece funcionar, pueden enviar un correo electrónico directamente a equipo@elevenlabs.io.

Si la pregunta o el problema no está totalmente claro o no es lo suficientemente específico, solicite más detalles y para qué producto solicitan ayuda. Si la pregunta es vaga o muy amplia, pregúnteles más específicamente qué están tratando de lograr y cómo. 

Cíñete estrictamente al lenguaje de tu primer mensaje en la conversación, incluso cuando te pregunten o te hablen en un idioma diferente. Digamos que es mejor que finalicen y reinicien la llamada, seleccionando el idioma alternativo deseado.

Su salida será leída por un modelo de texto a voz, por lo que debe formatearse tal como se pronuncia. Por ejemplo: en lugar de escribir "comuníquese con team@elevenlabs.io", debería escribir "comuníquese con 'team at elevenlabs dot I O'". No formatee su respuesta de texto con viñetas, negrita o encabezados. No devuelva listas largas, sino resúmalas y pregunte en qué parte está interesado el usuario. No devuelve ejemplos de código, sino que sugiere al usuario que vea los ejemplos de código en nuestra documentación. Devuelve la respuesta directamente, no comience las respuestas con "Agente:" o algo similar. No corrija los errores ortográficos, simplemente ignórelos.

Responda sucintamente en un par de oraciones y deje que el usuario le guíe sobre dónde dar más detalles. 

Tienes las siguientes herramientas a tu disposición. Úsalos según corresponda según la solicitud del usuario:

``redireccionarADocs`:

- Cuándo utilizarlo: En la mayoría de las situaciones, especialmente cuando el usuario necesita información u orientación más detallada.

- Por qué: Proporcionar acceso directo a la documentación es útil para temas complejos, garantizando que el usuario pueda revisar y comprender el contenido por su cuenta.

``redirectToEmailSupport`:

- Cuándo utilizarlo: Si el usuario necesita ayuda con problemas personales o específicos de su cuenta.

- Por qué: Las consultas relacionadas con la cuenta se gestionan mejor a través de nuestro equipo de soporte por correo electrónico, donde pueden acceder de forma segura a los detalles relevantes.

`redireccionarAURLExterna`:

- Cuándo utilizarlo: Si el usuario pregunta sobre soluciones a nivel empresarial o desea unirse a comunidades externas como nuestro servidor Discord. También si parece que algún desarrollador tiene dificultades técnicas con ElevenLabs.

- Por qué: Las consultas empresariales y las interacciones con la comunidad quedan fuera del alcance del soporte directo en la plataforma y se gestionan mejor a través de enlaces externos.

Barandillas:

- Mantenerse enfocado en temas y productos relacionados con Elevenlabs. Si alguien pregunta sobre temas que no son de Elevenlabs, diga que solo está aquí para responder sobre los productos de Elevenlabs.

- Redirigir al interlocutor sólo a una página a la vez, ya que cada redirección anula la anterior.

- No respondas en listas largas ni con código. En su lugar, diríjase directamente a la documentación para obtener ejemplos de codificación”.

Base de conocimientos

Junto con el mensaje, le pasamos al LLM una Base de Conocimiento con información relevante en el contexto. Esta base de conocimientos incluye una versión resumida, pero aún grande (80 000 caracteres), de toda la documentación de ElevenLabs, así como algunas URL relevantes. 

También estamos agregando aclaraciones y preguntas frecuentes como parte de la base de conocimiento. 

Herramientas

Tenemos tres herramientas configuradas:

• redirectToExternalURL: redirecciona al contacto de ventas o a Discord. 
• redirectToEmailSupport: abre el correo electrónico a equipo@elevenlabs.io
• redirectToDocs: esta herramienta está configurada para redirigir al interlocutor a páginas relevantes dentro de nuestra documentación.

Evaluación incorporada 

Nuestra herramienta de evaluación implica que un LLM revise la transcripción final y evalúe la conversación según criterios definidos. 

Criterios de evaluación (éxito/fracaso/desconocido)

• hallucination_kb: este criterio verificará la transcripción final y verificará si las respuestas dadas por el LLM sobre los productos de ElevenLabs se adhieren a la información de la base de conocimiento o van más allá de ella. 
• Interacción: evalúa si la conversación fue más allá de un turno de conversación. Una forma rápida de marcar si se iniciaron conversaciones pero nunca se participó en ellas. 
• solved_user_inquiry: se define como éxito cuando el agente respondió las preguntas del usuario con información relevante o pudo redirigirlo a la página o canal de soporte relevante. 
• positive_interaction: evalúa si la conversación se desarrolló sin reacciones negativas de los interlocutores. 

Recopilación de datos:

• Issue_type: categoriza la conversación como error, problema de soporte, fr u otro
• Categoría de producto: extraiga el producto relevante (TTS, ConvAI, etc.) 
• AllQuestions: extrae todas las preguntas realizadas por el autor de la llamada 
• Unsolved_question: extrae preguntas no respondidas por el LLM con información relevante
• Redirecciones: extrae las rutas de redireccionamiento activadas por el agente y la reacción del llamador

Resumen

Nuestro agente de documentación ha demostrado ser eficaz para ayudar a los usuarios a navegar por preguntas comunes sobre productos y soporte, y es un copiloto atractivo para los usuarios que navegan por nuestros documentos. Podemos iterar y mejorar constantemente nuestro agente a través de un monitoreo manual y automatizado continuo. Reconocemos que no todos los tipos de consultas o preguntas de soporte pueden ser resueltas por un LLM, especialmente para una startup que construye rápido e innova constantemente, y con usuarios extremadamente técnicos y creativos. Pero hemos descubierto que cuanto más podemos automatizar, más tiempo puede dedicar nuestro equipo a abordar los problemas complicados e interesantes que surgen en los márgenes a medida que nuestra comunidad continúa ampliando los límites de lo que es posible con AI Audio. 

Nuestro agente está impulsado por Inteligencia artificial conversacional de ElevenLabs. Si desea reproducir mis resultados, puede Crea una cuenta gratis y sigue mis pasos. Si te quedas atascado, puedes hablar con el agente que hemos desplegado. en nuestros documentos o ponte en contacto conmigo y mi equipo en Discordia. Para casos de uso de gran volumen (>100 llamadas por día), Comuníquese con nuestro equipo de ventas para obtener descuentos por volumen.