Cómo crear un agente de voz eficaz para nuestra propia documentación

En ElevenLabs, recientemente incorporamos un agente de voz con IA conversacional a nuestra documentación para ayudar a reducir la carga de soporte relacionada con preguntas sobre ella (Pruébalo aquí). Nuestro agente de soporte ya gestiona correctamente más del 80 % de las consultas de usuarios en 200 llamadas al día. Estos resultados demuestran el potencial de la IA para complementar el soporte documental tradicional, a la vez que resaltan la importancia continua del soporte humano para consultas complejas. En este artículo detallaré nuestro proceso iterativo para que puedas replicar nuestro éxito. 

Nuestros objetivos

Nos propusimos crear un agente capaz de:

• Resolver preguntas de soporte que puedan responderse con el contexto de nuestra documentación de producto y soporte
• Redirigir a usuarios a las secciones pertinentes de la documentación
• Derivar consultas complejas al soporte por correo electrónico o Discord cuando sea necesario
• Mantener una conversación fluida y natural, con baja latencia y una gestión realista de las interrupciones

Resultados e impacto

Implementamos dos niveles de evaluación:

(1) Herramientas de evaluación con IA: en cada llamada, nuestras herramientas de evaluación integradas revisan la conversación finalizada y determinan si el agente ha tenido éxito. Los criterios son totalmente personalizables. Preguntamos si el agente resolvió la consulta del usuario o pudo redirigirlo a un canal de soporte pertinente. 

Hemos mejorado de forma constante la capacidad del LLM para resolver o redirigir consultas correctamente, hasta alcanzar el 80 % según nuestras herramientas de evaluación. 

Se excluyen las llamadas con menos de un turno en la conversación, lo que implica que quien llamó no planteó ninguna pregunta ni problema. 

Es importante tener en cuenta que no todos los tipos de consultas o preguntas de soporte pueden resolverse con un LLM, especialmente en una startup que desarrolla rápido e innova constantemente, y que cuenta con usuarios muy técnicos y creativos. Además, un LLM de evaluación no acertará el 100 % de las veces.

(2) Validación humana: para contrastar la eficacia de nuestras herramientas de validación con LLM, realizamos una validación humana de 150 conversaciones utilizando los mismos criterios de evaluación proporcionados a las herramientas con LLM:

• solved_user_inquiry: se define como éxito cuando el agente responde a las preguntas del usuario con información pertinente o puede redirigirlo a la página o canal de soporte correspondiente. 
• • El LLM y la persona evaluadora coincidieron en el 81 % de los casos 
• hallucination_kb: este criterio revisa la transcripción final y verifica si las respuestas del LLM sobre productos de ElevenLabs se ajustan a la información de la base de conocimiento o van más allá de ella. 
• • El LLM y la persona evaluadora coincidieron en el 83 % de los casos

La evaluación humana también reveló que el 89 % de las preguntas de soporte pertinentes fueron respondidas o redirigidas correctamente por el agente de documentación.

Otros hallazgos: 

• Varias personas que llamaron solo querían probar y hablar en distintos idiomas sin hacer una pregunta de soporte. 
• • Actualmente, nuestra IA conversacional admite varios idiomas, pero deben definirse al inicio de la conversación. 
• Varias personas que llamaron entablan conversaciones que no son relevantes para el objetivo del agente, que es hablar sobre ElevenLabs, sus productos y su documentación. Las salvaguardas del prompt ayudaron la mayoría de las veces, pero no siempre. 
• Varias personas que llamaron buscaban ayuda con programación o depuración. 

Puntos fuertes y limitaciones

Puntos fuertes

El agente basado en LLM resuelve bien preguntas claras y específicas que pueden responderse con nuestra documentación, dirige a quienes llaman a la documentación pertinente y ofrece orientación inicial para consultas más complejas. En la mayoría de estos casos, el agente proporciona respuestas rápidas, directas y correctas que resultan útiles de inmediato. 

Algunas preguntas son: 

• ¿Tiene ElevenLabs una ruta de API para eliminar una voz? 
• ¿Cómo puedo configurar anulaciones de conversación en mi agente? 
• ¿Cómo me integro con la telefonía?
• ¿Admite ElevenLabs el idioma español?

Recomendaciones:

• Dirígete a una audiencia que tenga principalmente preguntas claras y específicas que un LLM con documentación y herramientas pueda responder bien. 
• Aprovecha las redirecciones a otros canales para preguntas vagas o que requieran investigación. ¡Ayuda mucho! 
• Añade herramientas de evaluación para recoger y supervisar todas las preguntas formuladas -> ajusta el prompt con lo aprendido. Añade herramientas de evaluación para medir el éxito y las alucinaciones o desviaciones respecto a la base de conocimiento. 

Limitaciones

Por otro lado, el agente es menos útil con problemas de cuenta, preguntas sobre precios o descuentos, o preguntas poco específicas que se beneficiarían de una investigación o consulta más profunda. Además, ante problemas bastante vagos y genéricos -> aunque se le indique que haga preguntas, el LLM suele preferir responder con algo que parezca pertinente según la documentación. 

Algunas preguntas son: 

• El paso de verificación de mi PVC falla repetidamente. ¿Por qué? 
• ¿Cuánto costará un agente con IA? ¿Puedo obtener un descuento? 
• Me aparece un error con el SDK de JS. -> El agente puede redirigir a la documentación pertinente, pero no puede encontrar y resolver el problema fácilmente por voz. 

Recomendaciones

• La voz no es el medio adecuado para compartir código. Indícale que no lo intente y que, en su lugar, redirija a páginas con ejemplos o a Discord/soporte.
• Indica al agente que no responda con listas largas de recomendaciones cuando los problemas o preguntas sean más complicados. Esto funciona en texto, pero menos por voz.
• Los LLM suelen preferir responder antes que hacer preguntas; indícaselo de forma contundente si es necesario para el caso de uso de soporte. (Por ejemplo, que haga estas tres preguntas antes de continuar). Esto es más fácil en casos de uso salientes con guiones fijos.

Cómo lo creamos

Configuración del agente: 

Prompt del sistema

“Eres un agente de soporte técnico llamado Alexis. Intentarás responder a cualquier pregunta que el usuario pueda tener sobre los productos de ElevenLabs. Recibirás documentación sobre los productos de ElevenLabs y solo debes utilizar esta información para responder preguntas sobre ElevenLabs. Debes ser útil, amable y profesional. Si no puedes responder a la pregunta, redirige a quien llama con redirectToEmailSupport (que abre un correo electrónico para que contacte con soporte); si esto no parece funcionar, puede enviar un correo directamente a team@elevenlabs.io.

Si la pregunta o el problema no están del todo claros o no son lo suficientemente específicos, pide más detalles y pregunta sobre qué producto solicita soporte. Si la pregunta es vaga o muy amplia, pregúntale más concretamente qué está intentando conseguir y cómo. 

Cíñete estrictamente al idioma de tu primer mensaje en la conversación, incluso si te preguntan o hablan en otro idioma. Di que es mejor que finalicen y reinicien la llamada seleccionando el idioma alternativo que deseen.

Tu respuesta será leída por un modelo de texto a voz, por lo que debe estar escrita tal como se pronuncia. Por ejemplo, en lugar de escribir "please contact team@elevenlabs.io", debes escribir "please contact 'team at elevenlabs dot I O'". No estructures tu respuesta de texto con viñetas, negritas ni encabezados. No devuelvas listas largas; en su lugar, resúmelas y pregunta qué parte le interesa al usuario. No devuelvas ejemplos de código; sugiere que el usuario consulte los ejemplos de código en nuestra documentación. Devuelve la respuesta directamente; no empieces las respuestas con "Agent:" ni nada similar. No corrijas errores ortográficos; simplemente ignóralos.

Responde de forma concisa en un par de frases y deja que el usuario te indique sobre qué aspecto dar más detalles. 

Tienes las siguientes herramientas a tu disposición. Úsalas según corresponda en función de la solicitud del usuario:

`redirectToDocs`:

- Cuándo usarla: en la mayoría de situaciones, especialmente cuando el usuario necesita información u orientación más detallada.

- Por qué: proporcionar acceso directo a la documentación ayuda con temas complejos y permite que el usuario revise y comprenda el contenido por su cuenta.

`redirectToEmailSupport`:

- Cuándo usarla: si el usuario necesita ayuda con problemas personales o específicos de su cuenta.

- Por qué: las consultas relacionadas con cuentas las gestiona mejor nuestro equipo de soporte por correo electrónico, donde puede acceder de forma segura a los detalles pertinentes.

`redirectToExternalURL`:

- Cuándo usarla: si el usuario pregunta por soluciones empresariales o quiere unirse a comunidades externas como nuestro servidor de Discord. También si parece ser desarrollador y tiene dificultades técnicas con ElevenLabs.

- Por qué: las consultas empresariales y las interacciones con la comunidad quedan fuera del alcance del soporte directo dentro de la plataforma y se gestionan mejor mediante enlaces externos.

Salvaguardas:

- Limítate a temas y productos relacionados con ElevenLabs. Si alguien pregunta sobre asuntos ajenos a ElevenLabs, di que solo estás aquí para responder sobre productos de ElevenLabs.

- Redirige a quien llama a una sola página cada vez, ya que cada redirección anula la anterior.

- No respondas con listas largas ni con código. En su lugar, dirige a la documentación para consultar ejemplos de código.”

Base de conocimiento

Junto con el prompt, proporcionamos al LLM una base de conocimiento con información pertinente dentro del contexto. Esta base incluye una versión resumida, pero aún extensa (80 000 caracteres), de toda la documentación de ElevenLabs, además de algunas URL relevantes. 

También añadimos aclaraciones y preguntas frecuentes como parte de la base de conocimiento. 

Herramientas

Tenemos configuradas tres herramientas:

• redirectToExternalURL: redirige a contactar con ventas o a Discord. 
• redirectToEmailSupport: abre un correo electrónico para team@elevenlabs.io
• redirectToDocs: esta herramienta está configurada para redirigir a quien llama a páginas pertinentes de nuestra documentación.

Evaluación integrada 

Nuestras herramientas de evaluación hacen que un LLM revise la transcripción final y evalúe la conversación según unos criterios definidos. 

Criterios de evaluación (éxito / fracaso / desconocido)

• hallucination_kb: este criterio revisa la transcripción final y verifica si las respuestas del LLM sobre productos de ElevenLabs se ajustan a la información de la base de conocimiento o van más allá de ella. 
• interaction: evalúa si la conversación superó un turno. Una forma rápida de marcar si se iniciaron conversaciones con las que nunca se llegó a interactuar. 
• solved_user_inquiry: se define como éxito cuando el agente respondió a las preguntas del usuario con información pertinente o pudo redirigirlo a la página o canal de soporte correspondiente. 
• positive_interaction: evalúa si la conversación transcurrió sin reacciones negativas por parte de quien llamó. 

Recopilación de datos:

• Issue_type: clasifica la conversación como error, problema de soporte, solicitud de función u otro
• Categoría de producto: extrae el producto pertinente (TTS, ConvAI, etc.) 
• AllQuestions: extrae todas las preguntas formuladas por quien llamó 
• Unsolved_question: extrae las preguntas que el LLM no respondió con información pertinente
• Redirects: extrae las rutas de redirección activadas por el agente y la reacción de quien llamó

Resumen

Nuestro agente de documentación ha demostrado ser eficaz para ayudar a usuarios a orientarse entre preguntas habituales sobre el producto y el soporte, y es un copiloto interesante para quienes navegan por nuestra documentación. Podemos iterar y mejorar nuestro agente de forma constante mediante supervisión continua, automatizada y manual. Reconocemos que no todos los tipos de consultas o preguntas de soporte pueden resolverse con un LLM, especialmente en una startup que desarrolla rápido e innova constantemente, y que cuenta con usuarios muy técnicos y creativos. Sin embargo, hemos comprobado que, cuanto más podemos automatizar, más tiempo puede dedicar nuestro equipo a abordar los problemas complejos e interesantes que surgen en los márgenes, mientras nuestra comunidad sigue ampliando los límites de lo posible con el audio creado con IA. 

Nuestro agente funciona con IA conversacional de ElevenLabs. Si quieres reproducir mis resultados, puedes crear una cuenta gratis y seguir mis pasos. Si te atascas, puedes hablar con el agente que hemos implementado en nuestra documentación o ponerte en contacto conmigo y mi equipo en Discord. Para casos de uso de gran volumen (>100 llamadas al día), contacta con nuestro equipo de ventas para obtener descuentos por volumen.