Einen effektiven Voice Agent für unsere eigene Dokumentation entwickeln

Bei ElevenLabs haben wir kürzlich einen Conversational KI-Voice-Agent in unsere Dokumentation eingebunden, um den Supportaufwand für Fragen zur Dokumentation zu reduzieren (Testen Sie ihn hier). Unser Support-Agent bearbeitet inzwischen erfolgreich über 80 % der Nutzeranfragen in 200 Anrufen pro Tag. Diese Ergebnisse zeigen das Potenzial von KI, den klassischen Dokumentationssupport zu ergänzen, und unterstreichen zugleich die weiterhin wichtige Rolle menschlichen Supports bei komplexen Anfragen. In diesem Beitrag erläutere ich unseren iterativen Prozess, mit dem Sie unsere Ergebnisse nachvollziehen können. 

Unsere Ziele

Unser Ziel war ein Agent, der Folgendes kann:

• Supportfragen lösen, die sich anhand unserer Produkt- und Supportdokumentation beantworten lassen
• Nutzer zu relevanten Abschnitten der Dokumentation weiterleiten
• Komplexe Anfragen bei Bedarf an den E-Mail- oder Discord-Support weiterleiten
• Flüssige und natürliche Gespräche mit geringer Latenz und realistischer Unterbrechungsverarbeitung führen

Ergebnisse und Wirkung

Wir haben zwei Bewertungsebenen implementiert:

(1) KI-Tools zur Bewertung: Für jeden Anruf analysieren unsere integrierten Bewertungstools das abgeschlossene Gespräch und bewerten, ob der Agent erfolgreich war. Die Kriterien lassen sich vollständig anpassen. Wir prüfen, ob der Agent die Nutzeranfrage gelöst oder an einen relevanten Supportkanal weitergeleitet hat. 

Wir konnten die Fähigkeit des LLM, Anfragen erfolgreich zu lösen oder weiterzuleiten, kontinuierlich verbessern und laut unseren Bewertungstools 80 % erreichen. 

Anrufe mit weniger als einem Gesprächswechsel werden ausgeschlossen, da dabei keine Frage bzw. kein Problem durch den Anrufer vorgebracht wurde. 

Dabei ist wichtig: Nicht jede Art von Supportanfrage oder Frage lässt sich durch ein LLM lösen, besonders bei einem Start-up, das schnell entwickelt und kontinuierlich innoviert und dessen Nutzer äußerst technisch versiert und kreativ sind. Außerdem bewertet ein LLM zur Evaluation nicht in 100 % der Fälle korrekt.

(2) Menschliche Validierung: Um die Wirksamkeit unserer LLM-Validierungstools zu überprüfen, führten wir eine menschliche Validierung von 150 Gesprächen anhand derselben Bewertungskriterien durch, die auch den LLM-Tools bereitgestellt wurden:

• solved_user_inquiry: Als Erfolg definiert, wenn der Agent die Nutzerfragen mit relevanten Informationen beantwortet oder auf die relevante Seite bzw. den passenden Supportkanal weitergeleitet hat. 
• • Das LLM und die menschliche Bewertung stimmten in 81 % der Fälle überein 
• hallucination_kb: Dieses Kriterium prüft das endgültige Transkript und verifiziert, ob die Antworten des LLM zu ElevenLabs-Produkten den Informationen in der Wissensdatenbank entsprechen oder darüber hinausgehen. 
• • Das LLM und die menschliche Bewertung stimmten in 83 % der Fälle überein

Die menschliche Bewertung zeigte zudem, dass der Dokumentations-Agent 89 % der relevanten Supportfragen korrekt beantwortete oder weiterleitete.

Weitere Erkenntnisse: 

• Mehrere Anrufer wollten nur experimentieren und verschiedene Sprachen ausprobieren, ohne eine Supportfrage zu stellen. 
• • Derzeit unterstützt unsere Conversational AI verschiedene Sprachen, diese müssen jedoch zu Beginn des Gesprächs festgelegt werden. 
• Mehrere Anrufer führten Gespräche, die nicht dem Ziel des Agenten entsprachen, über ElevenLabs, seine Produkte und die Dokumentation zu sprechen. Prompt-Guardrails halfen meist, aber nicht immer. 
• Mehrere Anrufer suchten Unterstützung beim Programmieren oder Debugging. 

Stärken und Grenzen

Stärken

Der LLM-gestützte Agent kann klare und konkrete Fragen, die sich mit unserer Dokumentation beantworten lassen, gut lösen, Anrufer auf die relevante Dokumentation verweisen und bei komplexeren Anfragen erste Hilfestellung geben. In den meisten Fällen liefert der Agent schnelle, direkte und korrekte Antworten, die sofort weiterhelfen. 

Beispiele für Fragen: 

• Hat ElevenLabs einen API-Endpunkt zum Löschen einer Stimme? 
• Wie konfiguriere ich Gesprächsüberschreibungen in meinem Agenten? 
• Wie integriere ich Telefonie?
• Unterstützt ElevenLabs die spanische Sprache?

Empfehlungen:

• Richten Sie sich an eine Zielgruppe, die überwiegend klare und konkrete Fragen stellt, die ein LLM mit Dokumentation und Tools gut beantworten kann. 
• Nutzen Sie Weiterleitungen auf andere Kanäle für vage Fragen oder Anfragen, die Recherche erfordern. Das hilft erheblich. 
• Fügen Sie Bewertungstools hinzu, um alle gestellten Fragen zu erfassen und zu überwachen -> passen Sie den Prompt anhand der Erkenntnisse an. Ergänzen Sie Bewertungstools für Erfolg sowie Halluzinationen bzw. Abweichungen von der Wissensdatenbank. 

Grenzen

Andererseits ist der Agent bei Kontoanliegen, Fragen zu Preisen oder Rabatten sowie unspezifischen Fragen, die von tiefergehender Recherche profitieren würden, weniger hilfreich. Auch bei eher vagen und allgemeinen Problemen -> obwohl er dazu aufgefordert wird, Fragen zu stellen, bevorzugt das LLM meist eine Antwort, die aus der Dokumentation relevant erscheinen könnte. 

Beispiele für Fragen: 

• Der Verifizierungsschritt meines PVC schlägt wiederholt fehl. Warum? 
• Wie viel kostet ein KI-Agent? Kann ich einen Rabatt bekommen? 
• Ich erhalte einen Fehler mit dem JS SDK? -> Der Agent kann auf die relevante Dokumentation weiterleiten, das Problem per Stimme aber nicht einfach finden und lösen. 

Empfehlungen

• Stimme ist nicht das richtige Medium, um Code zu teilen. Weisen Sie den Agenten an, es nicht zu versuchen, sondern auf Seiten mit Beispielen oder an Discord/Support weiterzuleiten.
• Weisen Sie den Agenten an, bei komplexeren Problemen oder Fragen nicht mit langen Listen von Empfehlungen zu antworten. Das funktioniert schriftlich, aber weniger gut per Stimme.
• LLMs bevorzugen Antworten gegenüber dem Stellen von Fragen – weisen Sie sie bei Bedarf für den Support-Anwendungsfall ausdrücklich dazu an. (Zum Beispiel: Stellen Sie diese drei Fragen, bevor Sie fortfahren.) Bei Outbound-Anwendungsfällen mit festen Skripten ist das einfacher.

So haben wir ihn entwickelt

Agentenkonfiguration: 

System-Prompt

„Sie sind ein technischer Support-Agent namens Alexis. Sie versuchen, alle Fragen zu ElevenLabs-Produkten zu beantworten. Sie erhalten Dokumentation zu ElevenLabs-Produkten und dürfen nur diese Informationen verwenden, um Fragen zu ElevenLabs zu beantworten. Sie sollen hilfsbereit, freundlich und professionell sein. Falls Sie eine Frage nicht beantworten können, leiten Sie Anrufer mit redirectToEmailSupport weiter (dadurch wird beim Anrufer eine E-Mail an den Support geöffnet). Falls das nicht zu funktionieren scheint, können sie direkt eine E-Mail senden an team@elevenlabs.io.

Wenn die Frage oder das Problem nicht vollständig klar oder konkret genug ist, fragen Sie nach weiteren Details und danach, für welches Produkt Support benötigt wird. Wenn die Frage vage oder sehr allgemein ist, fragen Sie genauer, was die Person erreichen möchte und wie.

Halten Sie sich strikt an die Sprache Ihrer ersten Nachricht im Gespräch, auch wenn Sie in einer anderen Sprache gefragt oder angesprochen werden. Sagen Sie, dass es besser ist, den Anruf zu beenden und neu zu starten und dabei die gewünschte andere Sprache auszuwählen.

Ihre Ausgabe wird von einem Text-to-Speech-Modell vorgelesen und sollte daher so formatiert sein, wie sie ausgesprochen wird. Geben Sie beispielsweise statt „please contact team@elevenlabs.io“ „please contact 'team at elevenlabs dot I O'“ aus. Formatieren Sie Ihre Textantwort nicht mit Aufzählungspunkten, Fettdruck oder Überschriften. Geben Sie keine langen Listen zurück, sondern fassen Sie sie zusammen und fragen Sie, welcher Teil den Nutzer interessiert. Geben Sie keine Codebeispiele zurück, sondern schlagen Sie vor, dass der Nutzer die Codebeispiele in unserer Dokumentation ansieht. Geben Sie die Antwort direkt zurück und beginnen Sie Antworten nicht mit „Agent:“ oder Ähnlichem. Korrigieren Sie keine Rechtschreibfehler, sondern ignorieren Sie sie einfach.

Antworten Sie kurz in ein paar Sätzen und lassen Sie den Nutzer entscheiden, wo Sie mehr Details geben sollen. 

Ihnen stehen die folgenden Tools zur Verfügung. Nutzen Sie sie je nach Anfrage des Nutzers:

`redirectToDocs`:

- Wann verwenden: In den meisten Situationen, insbesondere wenn der Nutzer detailliertere Informationen oder Anleitung benötigt.

- Warum: Direkter Zugriff auf die Dokumentation ist bei komplexen Themen hilfreich, damit Nutzer die Inhalte selbst prüfen und verstehen können.

`redirectToEmailSupport`:

- Wann verwenden: Wenn der Nutzer Hilfe bei persönlichen oder kontospezifischen Anliegen benötigt.

- Warum: Kontoanfragen werden am besten per E-Mail von unserem Support-Team bearbeitet, das dort sicher auf die relevanten Details zugreifen kann.

`redirectToExternalURL`:

- Wann verwenden: Wenn der Nutzer nach Lösungen für Unternehmen fragt oder externen Communities wie unserem Discord-Server beitreten möchte. Auch wenn es sich offenbar um einen Entwickler handelt, der technische Schwierigkeiten mit ElevenLabs hat.

- Warum: Unternehmensanfragen und Community-Interaktionen liegen außerhalb des direkten In-Platform-Supports und werden besser über externe Links abgewickelt.

Guardrails:

- Bleiben Sie bei Themen und Produkten von ElevenLabs. Wenn jemand nach Themen außerhalb von ElevenLabs fragt, sagen Sie, dass Sie nur Fragen zu ElevenLabs-Produkten beantworten können.

- Leiten Sie den Anrufer immer nur auf eine Seite weiter, da jede Weiterleitung die vorherige überschreibt.

- Antworten Sie nicht mit langen Listen oder Code. Verweisen Sie stattdessen für Codebeispiele auf die Dokumentation.“

Wissensdatenbank

Zusammen mit dem Prompt geben wir dem LLM eine Wissensdatenbank mit relevanten Informationen im Kontext. Diese Wissensdatenbank enthält eine zusammengefasste, aber weiterhin umfangreiche Version (80.000 Zeichen) der gesamten ElevenLabs-Dokumentation sowie einige relevante URLs. 

Außerdem ergänzen wir Klarstellungen und FAQs als Teil der Wissensdatenbank. 

Tools

Wir haben drei Tools konfiguriert:

• redirectToExternalURL: leitet zum Vertrieb oder zu Discord weiter. 
• redirectToEmailSupport: öffnet eine E-Mail an team@elevenlabs.io
• redirectToDocs: Dieses Tool ist so konfiguriert, dass es den Anrufer auf relevante Seiten in unserer Dokumentation weiterleitet.

Integrierte Bewertung 

Unsere Bewertungstools nutzen ein LLM, das das endgültige Transkript prüft und das Gespräch anhand definierter Kriterien bewertet. 

Bewertungskriterien (Erfolg / Misserfolg / unbekannt)

• hallucination_kb: Dieses Kriterium prüft das endgültige Transkript und verifiziert, ob die Antworten des LLM zu ElevenLabs-Produkten den Informationen in der Wissensdatenbank entsprechen oder darüber hinausgehen. 
• interaction: Bewertet, ob das Gespräch über einen Gesprächswechsel hinausging. Eine schnelle Methode, um Gespräche zu markieren, die begonnen, aber nie fortgeführt wurden. 
• solved_user_inquiry: Als Erfolg definiert, wenn der Agent die Nutzerfragen mit relevanten Informationen beantwortet oder auf die relevante Seite bzw. den passenden Supportkanal weitergeleitet hat. 
• positive_interaction: Bewertet, ob das Gespräch ohne negative Reaktionen des Anrufers verlief. 

Datenerfassung:

• Issue_type: Das Gespräch als Bug, Supportanfrage, FR oder Sonstiges kategorisieren
• Produktkategorie: Das relevante Produkt extrahieren (TTS, ConvAI usw.) 
• AllQuestions: Alle vom Anrufer gestellten Fragen extrahieren 
• Unsolved_question: Fragen extrahieren, die das LLM nicht mit relevanten Informationen beantwortet hat
• Redirects: Die vom Agenten ausgelösten Weiterleitungspfade und die Reaktion des Anrufers extrahieren

Zusammenfassung

Unser Dokumentations-Agent hilft Nutzern nachweislich effektiv bei häufigen Produkt- und Supportfragen und ist ein hilfreicher Copilot beim Navigieren in unserer Dokumentation. Durch kontinuierliches automatisiertes und manuelles Monitoring können wir unseren Agenten fortlaufend weiterentwickeln und verbessern. Uns ist bewusst, dass sich nicht jede Art von Supportanfrage oder Frage durch ein LLM lösen lässt – besonders bei einem Start-up, das schnell entwickelt und kontinuierlich innoviert und dessen Nutzer äußerst technisch versiert und kreativ sind. Wir haben jedoch festgestellt: Je mehr wir automatisieren können, desto mehr Zeit hat unser Team, sich auf die schwierigen und interessanten Probleme zu konzentrieren, die an den Rändern entstehen, während unsere Community weiterhin die Grenzen dessen erweitert, was mit KI-Audio möglich ist. 

Unser Agent wird von ElevenLabs Conversational AI betrieben. Wenn Sie meine Ergebnisse nachvollziehen möchten, können Sie kostenlos ein Konto erstellen und meinen Schritten folgen. Wenn Sie nicht weiterkommen, können Sie mit dem Agenten sprechen, den wir in unserer Dokumentation bereitgestellt haben, oder mich und mein Team über Discord kontaktieren. Bei Anwendungsfällen mit hohem Volumen (>100 Anrufe pro Tag) kontaktieren Sie unser Vertriebsteam für Mengenrabatte.