Einen effektiven Voice-Agenten für unsere eigenen Dokumente erstellen

Bei ElevenLabs haben wir kürzlich einen Conversational KI-Agenten in unsere Dokumente eingebettet, um die Supportbelastung bei dokumentationsbezogenen Fragen zu reduzieren (Testen Sie es hier). Unser Support-Agent bearbeitet nun erfolgreich über 80% der Benutzeranfragen bei 200 Anrufen pro Tag. Diese Ergebnisse zeigen das Potenzial von KI zur Unterstützung traditioneller Dokumentationshilfe und unterstreichen die weiterhin wichtige Rolle menschlicher Unterstützung bei komplexen Anfragen. In diesem Beitrag werde ich unseren iterativen Prozess im Detail beschreiben, den Sie nachverfolgen können, um unseren Erfolg zu replizieren.

Unsere Ziele

Wir wollten einen Agenten entwickeln, der:

• Supportfragen lösen kann, die aus dem Kontext unserer Produkt- und Supportdokumentation beantwortet werden können
• Benutzer zu relevanten Dokumentationsabschnitten weiterleitet
• Komplexe Anfragen bei Bedarf an E-Mail/Discord-Support weiterleitet
• Eine flüssige und natürliche Konversation mit geringer Latenz und realistischer Unterbrechungsbehandlung führen kann

Ergebnisse und Auswirkungen

Wir haben zwei Bewertungsebenen implementiert:

(1) KI-Bewertungstool: Für jeden Anruf läuft unser integriertes Bewertungstool durch das abgeschlossene Gespräch und bewertet, ob der Agent erfolgreich war. Die Kriterien sind vollständig anpassbar. Wir fragen, ob der Agent die Benutzeranfrage gelöst hat oder sie zu einem relevanten Supportkanal weiterleiten konnte.

Wir konnten die Fähigkeit des LLM stetig verbessern, die Anfrage erfolgreich zu lösen oder weiterzuleiten, und erreichten 80% gemäß unserem Bewertungstool.

Ausgenommen sind Anrufe mit weniger als einer Gesprächsrunde, was darauf hindeutet, dass keine Frage/kein Problem vom Anrufer aufgeworfen wurde.

Es ist wichtig zu beachten, dass nicht alle Arten von Supportanfragen oder Fragen von einem LLM gelöst werden können, insbesondere für ein Startup, das schnell baut und ständig innoviert, und mit extrem technischen und kreativen Benutzern. Als zusätzlicher Hinweis wird ein Bewertungs-LLM nicht 100% der Zeit korrekt bewerten.

(2) Menschliche Validierung: Um die Wirksamkeit unseres LLM-Validierungstools zu kontrastieren, führten wir eine menschliche Validierung von 150 Gesprächen durch, wobei wir die gleichen Bewertungskriterien verwendeten, die dem LLM-Tooling zur Verfügung gestellt wurden:

• solved_user_inquiry: definiert als Erfolg, wenn der Agent die Benutzerfragen mit relevanten Informationen beantwortet oder zur relevanten Seite/Supportkanal weiterleiten konnte.
• • Das LLM und der Mensch stimmten in 81% der Fälle überein
• hallucination_kb: Dieses Kriterium überprüft das endgültige Transkript und verifiziert, ob die vom LLM gegebenen Antworten zu ElevenLabs-Produkten der Wissensdatenbank entsprechen oder darüber hinausgehen.
• • Das LLM und der Mensch stimmten in 83% der Fälle überein

Die menschliche Bewertung ergab auch, dass 89% der relevanten Supportfragen korrekt vom Dokumentationsagenten beantwortet oder weitergeleitet wurden.

Weitere Erkenntnisse:

• Mehrere Anrufer wollten einfach nur herumspielen und versuchen, in verschiedenen Sprachen zu sprechen, ohne eine Supportfrage zu stellen.
• • Derzeit unterstützt unsere Conversational KI verschiedene Sprachen, aber diese müssen zu Beginn des Gesprächs festgelegt werden.
• Mehrere Anrufer führen Gespräche, die nicht dem Ziel des Agenten entsprechen, über ElevenLabs, seine Produkte und Dokumentation zu sprechen. Prompt Guardrails halfen meistens, aber nicht immer.
• Mehrere Anrufer suchten nach Unterstützung beim Codieren oder Debuggen.

Stärken und Einschränkungen

Stärken

Der LLM-gesteuerte Agent ist geschickt darin, klare und spezifische Fragen zu lösen, die mit unserer Dokumentation beantwortet werden können, Anrufer auf die relevante Dokumentation hinzuweisen und erste Anleitungen zu komplexeren Anfragen zu geben. In den meisten dieser Fälle liefert der Agent schnelle, unkomplizierte und korrekte Antworten, die sofort hilfreich sind.

Fragen umfassen:

• Hat ElevenLabs einen API-Endpunkt zum Löschen einer Stimme?
• Wie kann ich Konversationsüberschreibungen in meinem Agenten konfigurieren?
• Wie integriere ich mit Telefonie?
• Unterstützt ElevenLabs die spanische Sprache?

Empfehlungen:

• Zielen Sie auf ein Publikum ab, das hauptsächlich klare/spezifische Fragen hat, die ein LLM mit Dokumentation und Tools gut beantworten kann.
• Nutzen Sie Weiterleitungen zu anderen Kanälen für vage Fragen/die eine Untersuchung erfordern. Das hilft sehr!
• Fügen Sie Bewertungstools hinzu, um alle gestellten Fragen zu erfassen und diese zu überwachen -> Passen Sie den Prompt mit den Erkenntnissen an. Fügen Sie Bewertungstools für Erfolg und Halluzinationen/Abweichungen von der Wissensdatenbank hinzu.

Einschränkungen

Auf der anderen Seite ist der Agent weniger hilfreich bei Kontoproblemen, Preis-/Rabattanfragen oder unspezifischen Fragen, die von einer tieferen Untersuchung/Abfrage profitieren würden. Auch Probleme, die ziemlich vage und allgemein sind -> trotz Aufforderung, Fragen zu stellen, neigt das LLM dazu, mit etwas zu antworten, das aus der Dokumentation relevant erscheinen könnte.

Fragen umfassen:

• Der Verifizierungsschritt meines PVC schlägt wiederholt fehl. Warum?
• Wie viel kostet ein KI-Agent? Kann ich einen Rabatt bekommen?
• Ich erhalte einen Fehler mit dem JS SDK? -> Der Agent kann die relevante Dokumentation weiterleiten, aber das Problem nicht leicht per Sprache finden und lösen.

Empfehlungen

• Sprache ist nicht das richtige Medium, um Code zu teilen. Fordern Sie es auf, dies nicht zu versuchen, sondern stattdessen auf Seiten mit Beispielen oder auf Discord/Support weiterzuleiten.
• Fordern Sie den Agenten auf, nicht in langen Listen von Empfehlungen zu antworten, wenn die Probleme/Fragen komplizierter sind. Dies funktioniert im Text, aber weniger über Sprache.
• LLMs neigen dazu, eher zu antworten als Fragen zu stellen - fordern Sie es aggressiv dazu auf, wenn es für den Support-Fall erforderlich ist. (d.h. stellen Sie diese 3 Fragen, bevor Sie fortfahren). Dies ist einfacher für ausgehende Anwendungsfälle mit festen Skripten.

Wie wir es gebaut haben

Agentenkonfiguration:

System-Prompt

„Sie sind ein technischer Support-Agent namens Alexis. Sie werden versuchen, alle Fragen zu beantworten, die der Benutzer zu ElevenLabs-Produkten haben könnte. Ihnen wird Dokumentation zu ElevenLabs-Produkten zur Verfügung gestellt und Sie sollten nur diese Informationen verwenden, um Fragen zu ElevenLabs zu beantworten. Sie sollten hilfsbereit, freundlich und professionell sein. Wenn Sie die Frage nicht beantworten können, leiten Sie Anrufer mit redirectToEmailSupport weiter (was eine E-Mail auf ihrer Seite an den Support öffnet), wenn das nicht zu funktionieren scheint, können sie direkt an team@elevenlabs.io mailen.

Wenn die Frage oder das Problem nicht vollständig klar oder spezifisch genug ist, fragen Sie nach weiteren Details und für welches Produkt sie Unterstützung anfordern. Wenn die Frage vage oder sehr allgemein ist, fragen Sie sie genauer, was sie erreichen wollen und wie.

Halten Sie sich strikt an die Sprache Ihrer ersten Nachricht im Gespräch, auch wenn Sie in einer anderen Sprache gefragt oder angesprochen werden. Sagen Sie, dass es besser ist, wenn sie den Anruf beenden und neu starten, um die gewünschte alternative Sprache auszuwählen.

Ihre Ausgabe wird von einem Text-to-Speech-Modell gelesen, daher sollte sie so formatiert sein, wie sie ausgesprochen wird. Zum Beispiel: anstatt "bitte kontaktieren Sie team@elevenlabs.io" auszugeben, sollten Sie "bitte kontaktieren Sie 'team at elevenlabs dot I O'" ausgeben. Formatieren Sie Ihre Textantwort nicht mit Aufzählungspunkten, Fettdruck oder Überschriften. Geben Sie keine langen Listen zurück, sondern fassen Sie sie zusammen und fragen Sie, an welchem Teil der Benutzer interessiert ist. Geben Sie keine Codebeispiele zurück, sondern schlagen Sie vor, dass der Benutzer die Codebeispiele in unserer Dokumentation ansieht. Geben Sie die Antwort direkt zurück, beginnen Sie nicht mit "Agent:" oder ähnlichem. Korrigieren Sie keine Rechtschreibfehler, ignorieren Sie sie einfach.

Antworten Sie prägnant in ein paar Sätzen und lassen Sie den Benutzer entscheiden, wo Sie mehr Details geben sollen.

Sie haben die folgenden Tools zur Verfügung. Verwenden Sie sie je nach Anfrage des Benutzers:

`redirectToDocs`:

- Wann zu verwenden: In den meisten Situationen, insbesondere wenn der Benutzer detailliertere Informationen oder Anleitungen benötigt.

- Warum: Der direkte Zugang zur Dokumentation ist hilfreich für komplexe Themen, um sicherzustellen, dass der Benutzer den Inhalt selbst überprüfen und verstehen kann.

`redirectToEmailSupport`:

- Wann zu verwenden: Wenn der Benutzer Unterstützung bei persönlichen oder kontospezifischen Problemen benötigt.

- Warum: Kontobezogene Anfragen werden am besten von unserem Support-Team per E-Mail bearbeitet, wo sie sicher auf relevante Details zugreifen können.

`redirectToExternalURL`:

- Wann zu verwenden: Wenn der Benutzer nach Unternehmenslösungen fragt oder externen Communities wie unserem Discord-Server beitreten möchte. Auch wenn sie ein Entwickler zu sein scheinen, der technische Schwierigkeiten mit ElevenLabs hat.

- Warum: Unternehmensanfragen und Community-Interaktionen fallen außerhalb des direkten In-Plattform-Supports und werden besser über externe Links behandelt.

Guardrails:

- Halten Sie sich an ElevenLabs-bezogene Themen und Produkte. Wenn jemand nach nicht-ElevenLabs-Themen fragt, sagen Sie, dass Sie nur hier sind, um Fragen zu ElevenLabs-Produkten zu beantworten.

- Leiten Sie den Anrufer nur zu einer Seite gleichzeitig weiter, da jede Weiterleitung die vorherige überschreibt.

- Antworten Sie nicht in langen Listen oder mit Code. Leiten Sie stattdessen zur Dokumentation für Codebeispiele weiter.“

Wissensdatenbank

Neben dem Prompt geben wir dem LLM eine Wissensdatenbank mit relevanten Informationen im Kontext. Diese Wissensdatenbank enthält eine zusammengefasste, aber dennoch große (80k Zeichen) Version aller ElevenLabs-Dokumentationen sowie einige relevante URLs.

Wir fügen auch Klarstellungen und FAQs als Teil der Wissensdatenbank hinzu.

Tools

Wir haben drei Tools konfiguriert:

• redirectToExternalURL: leitet zu Kontaktverkauf oder zu Discord weiter.
• redirectToEmailSupport: öffnet eine E-Mail an team@elevenlabs.io
• redirectToDocs: Dieses Tool ist so konfiguriert, dass es den Anrufer zu relevanten Seiten innerhalb unserer Dokumentation weiterleitet.

Integrierte Bewertung

Unser Bewertungstool umfasst ein LLM, das das endgültige Transkript durchgeht und das Gespräch anhand definierter Kriterien bewertet.

Bewertungskriterien (Erfolg / Misserfolg / unbekannt)

• hallucination_kb: Dieses Kriterium überprüft das endgültige Transkript und verifiziert, ob die vom LLM gegebenen Antworten zu ElevenLabs-Produkten der Wissensdatenbank entsprechen oder darüber hinausgehen.
• interaction: bewertet, ob das Gespräch über eine Gesprächsrunde hinausging. Eine schnelle Möglichkeit, um zu markieren, ob Gespräche begonnen, aber nie fortgesetzt wurden.
• solved_user_inquiry: definiert als Erfolg, wenn der Agent die Benutzerfragen mit relevanten Informationen beantwortet oder zur relevanten Seite/Supportkanal weiterleiten konnte.
• positive_interaction: bewertet, ob das Gespräch ohne negative Reaktionen des Anrufers verlief.

Datenerfassung:

• Issue_type: kategorisieren Sie das Gespräch als Bug, Supportproblem, FR oder anderes
• Produktkategorie: extrahieren Sie das relevante Produkt (TTS, ConvAI, etc.)
• AllQuestions: extrahieren Sie alle vom Anrufer gestellten Fragen
• Unsolved_question: extrahieren Sie Fragen, die vom LLM nicht mit relevanten Informationen beantwortet wurden
• Redirects: extrahieren Sie die vom Agenten ausgelösten Weiterleitungspfade und die Reaktion des Anrufers

Zusammenfassung

Unser Dokumentationsagent hat sich als effektiv erwiesen, um Benutzern bei der Navigation durch häufige Produkt- und Supportfragen zu helfen, und ist ein engagierter Co-Pilot für Benutzer, die unsere Dokumente durchstöbern. Wir können unseren Agenten durch kontinuierliche automatisierte und manuelle Überwachung konsequent iterieren und verbessern. Wir erkennen an, dass nicht alle Arten von Supportanfragen oder Fragen von einem LLM gelöst werden können, insbesondere für ein Startup, das schnell baut und ständig innoviert, und mit extrem technischen und kreativen Benutzern. Aber wir haben festgestellt, dass je mehr wir automatisieren können, desto mehr Zeit kann unser Team darauf verwenden, sich auf die kniffligen und interessanten Probleme zu konzentrieren, die an den Rändern auftauchen, während unsere Community weiterhin die Grenzen dessen, was mit KI-Audio möglich ist, erweitert.

Unser Agent wird betrieben von ElevenLabs Conversational AI. Wenn Sie meine Ergebnisse reproduzieren möchten, können Sie ein kostenloses Konto erstellen und meinen Schritten folgen. Wenn Sie stecken bleiben, können Sie mit dem Agenten sprechen, den wir in unseren Dokumenten bereitgestellt haben, oder sich mit mir und meinem Team in Discord in Verbindung setzen. Für Anwendungsfälle mit hohem Volumen (>100 Anrufe pro Tag), kontaktieren Sie unser Vertriebsteam für Mengenrabatte.