So erstellen Sie einen KI-Sprachassistenten: Markengerechte Voice AI

Stellen Sie sich vor, Sie rufen ein Einzelhandelsgeschäft an, um eine Rückerstattung anzufordern, werden von einer menschenähnlichen KI begrüßt und erhalten das Geld innerhalb weniger Minuten auf Ihr Bankkonto. Jede Interaktion läuft nahtlos ab, ohne dass menschliches Supportpersonal nötig ist. KI-gestützte Sprachassistenten, die komplexe Anwendungsfälle bewältigen können und einst als Fiktion galten, sind heute Realität. 

Immer mehr Unternehmen setzen für kundenorientierte Anwendungen auf KI-Sprachassistenten. Diese Assistenten basieren auf modernen Voice Agents und generativer KI und unterstützen Intent-Erkennung, Antworten mit niedriger Latenz sowie funktionale Integrationen für unterschiedliche Anwendungsfälle. 

Mit Tools wie ElevenAgents ist es einfacher denn je, Sprachassistenten in Ihre Kundensupport-Workflows einzubinden. Um einen KI-Sprachassistenten zu entwickeln, definieren Sie seine Aufgabe und verbinden dann Speech to Text, ein LLM und Text to Speech zu einer Echtzeit-Pipeline. Ergänzen Sie Ihre Wissensdatenbank und Geschäftstools, schreiben Sie Systemanweisungen und Fallback-Regeln, testen Sie Latenz und Sicherheit und messen Sie die Ergebnisse nach dem Launch.

Dieser Leitfaden zeigt, wie Sie einen KI-Sprachassistenten entwickeln, der eng an Ihrer Marke ausgerichtet ist. 

Zusammenfassung

• Ein KI-Sprachassistent verbindet Speech to Text, ein LLM und Text to Speech, um dialogorientierte KI zu schaffen, die handeln kann. 
• Halten Sie die Roundtrip-Antwortzeit mit Voice Activity Detection (VAD) unter 500 ms, damit die Voice AI natürlich klingt und weniger Anrufe abgebrochen werden.
• Integrieren Sie die interne Wissensdatenbank und Tools, um kontextbezogene, präzise und hilfreiche KI-Antworten in unterschiedlichen Szenarien zu ermöglichen.
• Setzen Sie Schutzmaßnahmen ein, die eine ausdrückliche mündliche Bestätigung verlangen, und übergeben Sie emotional aufgeladene oder komplexe Anfragen an einen menschlichen Live-Agenten.
• Nutzen Sie ElevenAPI für interaktive Sprach- und Audiomodelle mit hoher Genauigkeit, die für Live-Interaktionen entwickelt wurden. 

Was ist ein KI-Sprachassistent? 

Ein KI-Sprachassistent ist Software, die gesprochene Sprache versteht und Nutzern die Interaktion mit verbundenen Systemen ermöglicht. Er kombiniert Speech to Text, KI-Modelle und Text-to-Speech-Technologien, um Gespräche in Aktionen umzusetzen. 

Über die Transkription von Sprache hinaus können KI-Sprachassistenten Aufgaben ausführen, etwa Apps starten, Daten abrufen und Maschinen steuern. Je nach verwendetem Sprachmodell können einige KI-Assistenten praktisch nicht von menschlichen Aufnahmen unterschieden werden.

KI-Sprachassistenten sind jedoch keine neue Technologie. Viele Verbraucher nutzen Siri, Alexa und Google Assistant – kommerzielle Sprachassistenten, die auf einfache Befehle reagieren. Mit der Weiterentwicklung von KI-Technologien entwickeln jedoch immer mehr Organisationen KI-Sprachassistenten für komplexere Unternehmens-Workflows. 

Zum Beispiel hat Admiral, ein Versicherungsanbieter, einen KI-Sprachassistenten entwickelt, um Millionen von Kunden zu unterstützen. Der KI-Assistent beantwortet Anfragen, ruft Dokumente ab und entlastet menschliche Agenten von repetitiven Aufgaben. 

Wenn Sie einen KI-Sprachassistenten für kommerzielle oder industrielle Workflows entwickeln möchten, lesen Sie weiter. Anhand eines Beispiels für einen Python-KI-Sprachassistenten erläutern wir wichtige Implementierungsdetails. 

So erstellen Sie einen KI-Sprachassistenten: Definieren Sie die Aufgabe Ihres KI-Voice-Agents 

Voice AI automatisiert häufig den Kundensupport in Callcentern. Angesichts der umfangreichen Fähigkeiten eines KI-Voice-Agents können Sie jedoch einen KI-Sprachassistenten für nahezu jeden Anwendungsfall entwickeln, einschließlich Vertrieb, Produkt und HR. 

Unabhängig vom Einsatzbereich Ihres Voice Agents muss er zur Geschäftslogik passen. Stimmen Sie sich für einen leistungsstarken Sprachassistenten mit Fachexperten über häufige Herausforderungen der Endnutzer ab. Erfassen Sie dann die Customer Journey und definieren Sie messbare Kennzahlen. 

Wenn Sie Voice AI beispielsweise für einen Vertriebstrichter einsetzen, muss der Agent Fragen zur Vorqualifizierung stellen können. 

Unser KI-Sales-Development-Representative (SDR) Dom hat genau das getan und dabei eine Qualifizierungsgenauigkeit von 92 %. 

Definieren Sie Erfolgskennzahlen, Kanäle und Eskalationswege

Im Unternehmenseinsatz muss der Agent bestimmte Ziele zuverlässig erreichen. Je enger das Ziel gefasst ist, desto leichter lässt sich der Agent bewerten und optimieren.

Stellen Sie daher früh in der Entwicklung Fragen wie diese:

• Welche Antwortlatenz ist akzeptabel? 
• Welche Containment-Rate wird erwartet? 
• Muss der Agent mehrere Sprachen beherrschen? 
• Kann der KI-Assistent einfache Anfragen vollständig ohne menschliches Eingreifen bearbeiten?
• Unter welchen Umständen sollte der Agent an den menschlichen Support eskalieren? 

Mit Roh-APIs entwickeln oder ElevenAgents nutzen?

Bevor Sie Code schreiben, entscheiden Sie, wie viel vom Voice-Stack Sie selbst betreiben möchten. Sie können Speech to Text, ein LLM und Text to Speech über ElevenAPI selbst verbinden oder ElevenAgents nutzen, eine verwaltete Plattform, die diese Komponenten bündelt.

Die Entwicklung mit Roh-APIs gibt Ihnen vollständige Kontrolle über jede Ebene. Sie wählen das LLM, schreiben den Orchestrierungscode und verantworten Turn-Taking, Unterbrechungen, Telefonie und Monitoring. Dieser Weg eignet sich für Teams mit spezifischen Architekturanforderungen und wird im Python-Walkthrough dieses Leitfadens verfolgt.

ElevenAgents vereint Modelle, Tools, eine Wissensdatenbank und Workflows in einem Dashboard. Es verbindet Telefonieanbieter wie Twilio und Amazon Connect mit Geschäftstools wie Salesforce, Zendesk und HubSpot. Außerdem enthält es Simulationen und automatisierte Tests vor dem Launch sowie anschließend Analysen zu Erfolgsrate, CSAT und Transkripten.

Nutzen Sie diese Fragen für die Auswahl:

• Geschwindigkeit: Mit ElevenAgents kann ein Team einen Agenten über ein Dashboard konfigurieren und starten, während Roh-APIs die Entwicklung und Wartung der gesamten Pipeline erfordern.
• Kontrolle: Mit Roh-APIs können Sie jeden Schritt im Code anpassen, während ElevenAgents gängige Anforderungen per Konfiguration abdeckt.
• Betrieb: ElevenAgents enthält Tests und Analysen, während Sie bei Roh-APIs Ihr eigenes Monitoring aufbauen müssen.
• Team: ElevenAgents eignet sich für gemischte Teams aus Produkt, Support und Betrieb, Roh-APIs für Teams mit dedizierten Entwicklern.

Ein praktischer Ansatz besteht darin, den Anwendungsfall zuerst mit ElevenAgents zu validieren und einzelne Ebenen nur dort in individuellen Code zu überführen, wo Sie mehr Kontrolle benötigen.

Die Architektur des KI-Sprachassistenten planen 

Nachdem Sie das Geschäftsziel definiert haben, ordnen Sie die Agentenfunktionen den passenden Technologien zu. Ein KI-Sprachassistent stützt sich auf mehrere zentrale Komponenten, die zusammen Sprache in Text umwandeln, Aktionen auslösen und eine stimmige Antwort liefern. 

• Ein Speech-to-Text-Modell erfasst gesprochene Äußerungen, erkennt Phoneme und erstellt Gesprächstranskripte. 
• Eine KI-Engine, die von einem einfachen regelbasierten Algorithmus oder einer Bibliothek für natürliche Sprachverarbeitung bis zu einem Large Language Model (LLM) reicht, fungiert als Gehirn des Sprachassistenten. 
• Ein Text-to-Speech-Modell synthetisiert dialogorientierte Antworten mit menschenähnlichen Stimmen und befolgt Markenrichtlinien. 

ElevenLabs bietet Sprach- und Audiomodelle für Speech to Text und Text to Dialogue, mit denen Produkt- und Engineering-Teams ihre KI-Sprachassistenten konzipieren können. Unsere Modelle unterstützen nuancierte Intonation, emotionale Wahrnehmung und Antworten mit geringer Latenz. Sie können über ElevenAPI auf die Sprachmodelle zugreifen. 

Bei KI-Modellen hängt Ihre Wahl stark von den Zielen und Anforderungen des Sprachassistenten ab. LLMs wie OpenAI-GPT-Modelle, Gemini und Claude zeichnen sich zwar beim Schlussfolgern aus, benötigen aber zusätzliches Finetuning für domänenspezifische Anforderungen. Manchmal ist ein einfacheres neuronales Netzwerk oder ein regelbasierter Parser praktischer. 

Neben Sprach- und KI-Modellen benötigen Sie auch individuelle Software, die bestimmte Entitäten aus Gesprächen oder Nutzeranfragen extrahiert. Wenn ein Anrufer beispielsweise sagt: „Ich möchte mit der Vertriebsabteilung sprechen“, muss Ihr Code „Vertriebsabteilung“ erkennen und die passende Aktion auslösen.

API-Keys erstellen und Speech to Text, ein LLM, Tools und Text to Speech verbinden

Bevor Sie Sprach- und Sprachmodelle verbinden. Ebenso benötigen Sie API-Keys, um API-Anfragen zu stellen, wenn Sie externe Servicetools in Ihren Sprachassistenten integrieren. 

• Um einen ElevenLabs-API-Key zu erstellen, klicken Sie hier. 
• Um ein OpenAI-LLM zu verwenden, rufen Sie Ihren Key hier ab. 
• Wenn Sie CRMs, ERPs und andere Tools von Drittanbietern verbinden, lesen Sie die offizielle Dokumentation, um einen API-Key zu erstellen und unterstützte APIs zu finden. 

Speichern Sie die API-Keys nach dem Abruf in Ihrer Entwicklungsumgebung. 

Anschließend initialisieren Sie die Tools, das LLM und die Audiomodelle und greifen darauf zu, indem Sie die richtigen Argumente an die API übergeben. 

1. Verbinden Sie sich zunächst mit ElevenLabs Scribe v2 Realtime, um automatische Spracherkennung durchzuführen. ElevenLabs Scribe v2 Realtime ermöglicht die Entwicklung von Voice Agents mit geringer Latenz, die Gespräche in unter 150 ms in Text umwandeln (ohne Netzwerk- und Anwendungszeit). 

Unten sehen Sie einen Python-Codeausschnitt, der mit ElevenLabs Scribe v2 Realtime Mikrofonaufnahmen erfasst.

async def run(
    self,
    audio_queue: asyncio.Queue[bytes],
    on_partial: Callable[[str], None],
    on_committed: TranscriptHandler,
) -> None:
    audio_format = AudioFormat(f"pcm_{self.settings.audio_sample_rate}")
    connection = await self.client.speech_to_text.realtime.connect(
        RealtimeAudioOptions(
            model_id="scribe_v2_realtime",
            audio_format=audio_format,
            sample_rate=self.settings.audio_sample_rate,
            commit_strategy=CommitStrategy.VAD,
            vad_silence_threshold_secs=0.45,
            min_speech_duration_ms=120,
        )
    )

2. Senden Sie als Nächstes das Transkript an ein LLM mit starken Fähigkeiten zum Schlussfolgern, um eine Antwort zu erzeugen. In diesem Beispiel verwenden wir OpenAI GPT-4o mini. 

So senden Sie in Ihrem Python-Code ein Transkript an ein LLM. 

async def _stream_completion(self) -> tuple[str, list[dict[str, str]]]:
    response = await self.client.chat.completions.create(
        model=self.settings.openai_model,
        messages=[self.messages[0], *self.messages[-12:]],
        tools=TOOLS,
        tool_choice="auto",
        parallel_tool_calls=False,
        temperature=0.4,
        stream=True,
    )

3. Nachdem Sie die Ausgabe des LLM erhalten haben, wandeln Sie sie mit ElevenLabs v4 Turbo in eine realistische gesprochene Antwort um. Unser Text-to-Speech-Modell ist sehr ausdrucksstark, für Echtzeit-Interaktionen entwickelt und bietet eine extrem niedrige Latenz von etwa 100 ms (bezieht sich nur auf die Modell-Inferenzzeit. Die tatsächliche End-to-End-Latenz hängt von Faktoren wie Ihrem Standort und dem verwendeten Endpoint-Typ ab).

Der folgende Code zeigt, wie der Agent einen WebSocket nutzt, um Sprachantworten mit der ElevenLabs Text-to-Dialogue-API zu streamen.

async def stream(self, text: str) -> AsyncIterator[bytes]:
    query = urlencode(
        {
            "model_id": self.settings.elevenlabs_tts_model_id,
            "output_format": "pcm_24000",
        }
    )
    url = f"wss://api.elevenlabs.io/v1/text-to-dialogue/stream-input?{query}"
    voice_id = self.settings.elevenlabs_voice_id


    async with websockets.connect(url, max_size=2**20, ping_interval=20) as socket:
        await socket.send(
            json.dumps(
                {
                    "voices": [voice_id],
                    "xi_api_key": self.settings.elevenlabs_api_key,
                }
            )
        )
        await socket.send(
            json.dumps(
                {
                    "inputs": [
                        {"text": text, "voice_id": voice_id, "new_turn": False}
                    ]
                }
            )
        )
        await socket.send(json.dumps({"close_socket": True}))

Ihr Agent für automatische Spracherkennung sollte mehrteilige Gespräche problemlos verarbeiten. Dafür benötigen Sie einen Voice Agent, der erkennt, wann Sprache beginnt und endet. 

Gespräche gestalten, die natürlich klingen und bei der Aufgabe bleiben  

Herkömmliche Interactive-Voice-Response- (IVR-)Systeme arbeiten nicht über die Szenarien hinaus, für die sie programmiert wurden. Sollen sie Probleme lösen, die nicht in ihren Regeln definiert sind, liefern diese IVRs keine zufriedenstellenden Antworten. Zudem klingen sie nicht immer natürlich, was das Kundenerlebnis beeinträchtigt.

Mit fortschrittlichen KI- und Sprachmodellen kann ein Sprachassistent natürlicher reagieren und Randfälle behandeln. Sie können unterschiedliche Szenarien planen, die der Agent antizipieren muss, sowie einen Eskalationsweg für Fälle, die er nicht lösen kann. Einige Kunden rufen beispielsweise an, um nach dem Versandstatus zu fragen, während andere wegen fehlerhafter Produkte frustriert sind und darauf bestehen, mit einem CX-Manager zu sprechen. 

Systemanweisungen, Regeln für Turn-Taking und Fallback-Antworten schreiben

Um unterschiedliche Szenarien zu bearbeiten, erstellen Sie spezifischen Code zur Logikbehandlung und System-Prompts in der Anwendung des KI-Voice-Agents. 

Der folgende System-Prompt erkennt beispielsweise Frustration und weist das LLM an, empathischer zu antworten. 

SYSTEM_PROMPT = ""You are a calm, empathetic voice assistant for customer support.
Speak naturally in short, clear sentences that are easy to hear. Answer from
retrieved company information when relevant; say when the answer is uncertain
rather than inventing a policy. Use tools for customer lookup and support
requests. Before creating a ticket or transferring a caller, request explicit
verbal confirmation through the tool flow and wait for a clear yes. Never ask
for passwords, full payment card numbers, or authentication codes. Do not claim
a ticket was created, a contact was found, or a transfer completed unless the
tool confirms it. Keep responses concise and avoid markdown when speaking.
"""

KI-Gespräche sollten sich nie gehetzt anfühlen oder unterbrochen werden. Das Sprachmodell muss erkennen, wann der Nutzer aufgehört hat zu sprechen, und rechtzeitig antworten. Mit ElevenLabs Scribe v2 Realtime können Sie VAD beim Erfassen von Mikrofoneingaben aktivieren. Anders als herkömmliche VAD, die ausschließlich auf der Dauer von Stille beruht, verwendet ElevenLabs Scribe v2 Realtime Deep-Learning-Algorithmen, um festzustellen, ob ein Kunde fertig gesprochen hat. 

Um VAD zu aktivieren, setzen Sie den Parameter in Ihrem Code bei der Interaktion mit der Speech-to-Text-API. 

commit_strategy=CommitStrategy.VAD,

Stellen Sie als Nächstes höfliche, respektvolle Fallback-Antworten bereit, falls der Agent die Anfrage des Kunden nicht zufriedenstellend beantworten kann. Ebenso kann ein KI-Agent beim Transkribieren von Gesprächen auf einen Fehler stoßen. Ihr Code sollte technische Schwierigkeiten behandeln und offen mit Kunden kommunizieren. 

Für Fallback-Antworten verwenden Sie bedingte Logik in Ihrem Code. Der folgende Codeausschnitt erfasst beispielsweise den Fehlerstatus der Speech-to-Text-API und löst passende Antworten aus. 

connection.on(RealtimeEvents.ERROR, handle_error)
connection.on(RealtimeEvents.AUTH_ERROR, handle_error)
connection.on(RealtimeEvents.CLOSE, stopped.set)

Wissens- und Tool-Ebene für zuverlässige Antworten aufbauen 

LLMs verfügen über starke Fähigkeiten zum Schlussfolgern, die einem KI-Sprachassistenten natürliche Antworten ermöglichen. Eine dialogorientierte Antwort bedeutet jedoch nicht immer Genauigkeit. Ohne fundierende Daten können LLMs halluzinieren, wodurch der Voice Agent plausible, aber ungenaue Antworten liefert. 

Wenn Sie GPT-4o mini beispielsweise nach einem Produkt fragen, das Sie gerade eingeführt haben, kann es keine verlässliche Antwort geben. Dafür müssen Sie das LLM über ein Retrieval-Augmented-Generation-System (RAG) mit Ihrer internen Wissensdatenbank verbinden. RAG ermöglicht dem LLM, auf interne Produktleitfäden zuzugreifen und eine präzise Antwort zu erzeugen. 

Retrieval, API-Aktionen, Berechtigungen und Übergaben an Menschen hinzufügen

Um RAG zu verwenden, müssen Sie eine Vektordatenbank erstellen. Eine Vektordatenbank speichert Dokumente als numerische Repräsentationen in einem mehrdimensionalen Raum. Der folgende Codeausschnitt zeigt, wie der Voice Agent relevante Dokumente aus dem Vektorspeicher abruft, bevor er das LLM abfragt. 

def search(self, query: str, top_k: int = 3) -> list[dict[str, str | float]]:
    query_vector = _vectorize(query)
    ranked = sorted(
        (
            (_cosine(query_vector, chunk.vector), chunk)
            for chunk in self.chunks
        ),
        key=lambda item: item[0],
        reverse=True,
    )
    return [
        {"source": chunk.source, "text": chunk.text, "score": score}
        for score, chunk in ranked[: max(0, top_k)]
        if score > 0

Über RAG hinaus benötigt Ihr KI-Sprachassistent wahrscheinlich Zugriff auf CRM-, ERP- und andere Unternehmenssysteme. Dadurch kann der Voice Agent notwendige Informationen wie Kundendaten, historische Transaktionen und Markttrends als Kontext für Antworten heranziehen.

Sie können beispielsweise ElevenLabs in HubSpot integrieren und dafür APIs verwenden. So können Sie häufige Probleme mit der CRM-Wissensdatenbank lösen, Tickets erstellen und den Support mit vollständigem Gesprächskontext eskalieren. 

Hier ist ein Codeausschnitt, mit dem der Voice Agent ein Support-Ticket in HubSpot erstellen kann.

esponse = await self.client.post(
    "/crm/v3/objects/tickets",
    json={
        "properties": {
            "subject": title,
            "content": description,
            "hs_pipeline": "0",
            "hs_pipeline_stage": "1",
        }
    },
)
response.raise_for_status()
ticket = response.json()
if contact_email:
    contact_response = await self.search_contact(contact_email)
    results = contact_response.get("results", [])
    if results:
        await self.client.put(
            f"/crm/v4/objects/tickets/{ticket['id']}/associations/contacts/{results[0]['id']}",
            json=[{"associationCategory": "HUBSPOT_DEFINED", "associationTypeId": 16}],
        )
return {"mode": "live", "id": ticket.get("id"), "title": title}

Obwohl KI-Voice-Agents die Problemlösung beschleunigen können, müssen Kunden ihre Optionen kennen – insbesondere wenn Änderungen ihre Konten erheblich beeinflussen könnten. Anders als bei textbasierten Chatbots erfordert die mündliche Auflistung von Optionen mehr Schutzmaßnahmen. Haben sie einmal eine Wahl getroffen, kann es schwierig sein, diese während eines Anrufs rückgängig zu machen.

In diesem Fall empfehlen wir, den Anrufer zu authentifizieren und eine mündliche Bestätigung einzuholen. Möchte der Kunde beispielsweise einen Kauf stornieren, muss Ihr Voice Agent ausdrücklich fragen: „Möchten Sie die Bestellung wirklich stornieren?“ und auf eine Antwort warten. 

Unten zeigen wir ein Beispiel. 

def request(self, name: str, arguments: dict[str, Any]) -> str:
    self.pending = PendingAction(name=name, arguments=arguments)
    if name == "create_support_ticket":
        return "I can create that support ticket. Would you like me to submit it?"
    return "I can transfer you to a human support agent. Should I start the transfer?"

def resolve(self, text: str) -> tuple[ConfirmationState, PendingAction | None]:
    if self.pending is None:
        return ConfirmationState.NONE, None

    answer = re.sub(r"[^a-z']+", " ", text.lower()).strip()
    if answer in {
        "yes", "yes please", "yeah", "yeah please", "yep", "sure",
        "please do", "confirm", "do it",
    }:
        action, self.pending = self.pending, None
        return ConfirmationState.CONFIRMED, action
    if answer in {"no", "nope", "dont", "do not", "cancel", "stop"}:
        self.pending = None
        return ConfirmationState.DECLINED, None
    return ConfirmationState.PENDING, None

So überprüfen Sie die Identität eines Anrufers mit einem KI-Voice-Agent

Bevor ein KI-Voice-Agent Kontodetails weitergibt oder Änderungen an einem Konto vornimmt, sollte er bestätigen, mit wem er spricht. Die Telefonnummer eines Anrufers ist ein nützliches Signal, belegt aber nicht dessen Identität. Kombinieren Sie sie mit weiteren Prüfungen:

• Gleichen Sie die Nummer des Anrufers mit einem Kundendatensatz in Ihrem CRM ab.
• Fragen Sie nach Details, die nur der Kontoinhaber kennen würde, etwa nach einem aktuellen Bestelldatum.
• Validieren Sie die Antworten über einen Tool-Aufruf anhand Ihrer Daten und verlassen Sie sich nie darauf, dass das LLM ihre Richtigkeit beurteilt.
• Beschränken Sie die möglichen Aktionen eines nicht verifizierten Anrufers, etwa indem Sie Bestellstatus-Abfragen erlauben, aber keine Stornierungen.

Halten Sie Passwörter, vollständige Zahlungskartennummern und Authentifizierungscodes aus dem Gespräch heraus, wie im obigen System-Prompt angewiesen.

KI-Voice-Agent mit Live-Anrufweiterleitung und Eskalation

Bei einer Live-Weiterleitung wird der Anrufer an einen menschlichen Agenten übergeben, ohne dass er sich wiederholen muss. Bei einer Warmübergabe übermittelt der Voice Agent dem Menschen das Transkript und den Kontext, bevor der Anruf verbunden wird. Häufige Auslöser sind:

• Der Anrufer möchte mit einer Person sprechen.
• Der Anrufer klingt frustriert oder das Gespräch wird emotional aufgeladen.
• Der Agent kann die Anfrage nach seinen Fallback-Antworten nicht lösen.
• Die Anfrage erfordert eine Aktion, die von einem Menschen genehmigt werden muss.

In einigen Fällen muss der KI-Agent den Anruf an einen menschlichen Agenten eskalieren. Häufig erkennt der Voice Agent Intents, die auf Frustration hinweisen, oder bestimmte Wörter, die die Übergabe auslösen. In Ihrem Code muss die Anrufweiterleitung nahtlos erfolgen und für Kunden im Hintergrund bleiben. 

Vor der Übergabe leiten Sie das Transkript, Kundendetails und weiteren unterstützenden Kontext an den Live-Support weiter. ElevenLabs bietet ein Tool zur Weiterleitung an Telefonnummern, das von KI-Agenten bearbeitete Anrufe an einen SIP-Trunk oder eine Twilio-Telefonnummer weiterleitet.

Der folgende Codeausschnitt zeigt eine Übergabe an eine Twilio-Konferenz. 

account = self.settings.twilio_account_sid
call_sid = self.settings.twilio_call_sid
conference = f"support-{call_sid}"
room = xml.sax.saxutils.escape(conference)
twiml = f"<Response><Dial><Conference>{room}</Conference></Dial></Response>"
api = f"https://api.twilio.com/2010-04-01/Accounts/{account}"
auth = (account, self.settings.twilio_auth_token)
async with httpx.AsyncClient(timeout=15.0, auth=auth) as client:
    agent_call = await client.post(
        f"{api}/Calls.json",
        data={
            "To": self.settings.handoff_number,
            "From": self.settings.twilio_from_number,
            "Twiml": twiml,
        },
    )
    agent_call.raise_for_status()
    caller_call = await client.post(
        f"{api}/Calls/{call_sid}.json",
        data={"Twiml": twiml},
    )
    caller_call.raise_for_status()

Einen KI-Sprachassistenten ohne Code in ElevenAgents entwickeln

Wenn Sie keinen individuellen Code benötigen, können Sie denselben Assistenten in ElevenAgents starten. Die Schritte entsprechen der obigen Architektur, doch Sie konfigurieren jede Ebene in einem Dashboard, statt Code zu schreiben.

1. Erstellen Sie einen Agenten und beschreiben Sie seine Aufgabe im System-Prompt, einschließlich Tonalität, Umfang und Eskalationszeitpunkt.
2. Wählen Sie eine Stimme aus der Stimmbibliothek oder entwerfen bzw. klonen Sie Ihre eigene und legen Sie die Sprachen fest, die der Agent sprechen soll.
3. Fügen Sie Ihre Wissensdatenbank hinzu, damit der Agent auf Grundlage Ihrer eigenen Dokumente antworten kann.
4. Verbinden Sie Tools und Integrationen wie Ihr CRM oder Helpdesk, damit der Agent Aktionen ausführen kann.
5. Richten Sie eine Übergabe an einen menschlichen Agenten für Anrufe ein, die der Assistent nicht lösen kann.
6. Führen Sie Simulationen und automatisierte Tests durch, um das Verhalten vor dem Launch zu prüfen.
7. Stellen Sie den Agenten über eine Telefonnummer oder einen Kanal bereit und prüfen Sie anschließend Erfolgsraten, CSAT und Transkripte.

Die Hinweise zum Testen und Messen in den folgenden Abschnitten gelten unabhängig davon, ob Sie mit oder ohne Code entwickeln.

So erstellen Sie einen KI-Sprachassistenten, der zu Ihrer Marke passt 

Organisationen können die Stimme des KI-Agenten an ihre Marke anpassen. Eine einheitliche Tonalität im gesamten Gespräch schafft Vertrauen. Mit ElevenLabs gibt es mehrere Möglichkeiten, die Stimme Ihres KI-Agenten anzupassen. 

• ElevenLabs Stimmbibliothek bietet mehr als 20.000 KI-Stimmen, die natürlich in über 90 Sprachen sprechen. Von energiegeladen bis ruhig und selbstbewusst können Sie jede Stimme durchsuchen und nutzen, die zu Ihrer Markentonality passt. 
• ElevenLabs Voice Design ermöglicht es Ihnen, mit einem Text-Prompt eine einzigartige Stimmidentität zu erstellen. Beschreiben Sie Tempo, Tonfall, Emotion und weitere stimmliche Merkmale, um die gewünschte Stimme zu erhalten. 
• ElevenLabs KI-Stimme klonen erstellt durch Analyse einer Probe Ihrer Sprachaufnahmen eine digitale Kopie Ihrer Stimme. 

Neben Emotion und Nuancen ist es wichtig, die Aussprache der KI-Stimme zu prüfen, insbesondere bei besonderen Namen. Erstellen Sie bei Bedarf ein Aussprachewörterbuch, auf das Ihr Sprachmodell zugreifen kann. 

Latenz, Unterbrechungen, Genauigkeit und Sicherheit vor dem Launch testen 

Testen Sie Ihren KI-Voice-Agent vor dem Launch gründlich, um zuverlässige Leistung in verschiedenen Szenarien sicherzustellen. 

• Latenztest: Ein Agent, der mehr als 700 ms für eine Antwort braucht, klingt für Kunden unnatürlich. Je nach Setup können Netzwerkgeschwindigkeit, das LLM, Sprachmodelle und Drittanbieter-APIs die Latenz beeinflussen. Idealerweise liegt die Gesprächslatenz unter 500 ms. 
• Unterbrechungstest: Prüfen Sie, ob der Agent Unterbrechungen während eines Gesprächs verarbeitet. Er sollte insbesondere Audioframes der Ausgabe verwerfen, TTS stoppen und die Erfassung der Spracheingabe ohne Kontextverlust fortsetzen. 
• Turn-Taking-Test: Wenn der Nutzer aufhört zu sprechen, sollte der Agent natürlich übernehmen. Bewerten Sie, ob der Agent zum richtigen Zeitpunkt übernimmt und ob er mitten in der Rede unterbricht. Einen detaillierten Leitfaden dazu, wie ElevenLabs Turn-Taking handhabt, finden Sie hier. 
• Genauigkeitstest: Jede Ungenauigkeit in der STT-Ebene setzt sich nachgelagert fort. Stellen Sie sicher, dass der Sprachassistent Sprache auch in lauten Umgebungen versteht. Außerdem muss das Sprachmodell Sprache mit unterschiedlichen Akzenten zuverlässig korrekt transkribieren. 
• Sicherheitstest: Stellen Sie sicher, dass Guardrails Systemverhalten verhindern, das gegen Markenrichtlinien verstößt. Wird eine Interaktion emotional aufgeladen, muss der Agent gemäß vordefinierten Richtlinien eine Warmübergabe an einen menschlichen Agenten ermöglichen.

Ergebnisse messen und die Entwicklung Ihres Sprachassistenten verbessern 

Das Bestehen interner Testkriterien bereitet Ihren KI-Voice-Agent auf den Praxiseinsatz vor. Es ist jedoch nicht das Endziel im Entwicklungszyklus. Ebenso wichtig sind Iterationen nach der Bereitstellung, damit Ihr KI-Voice-Agent Kundenanfragen weiterhin lösen kann.

Nutzen Sie Feedback aus Kennzahlen für dialogorientierte KI, um Lücken in Ihrem KI-Assistenten zu erkennen. Optimieren Sie dann schrittweise die Anwendungslogik, API-Integrationen, Modellauswahl und weitere Komponenten des Tech-Stacks, um die Leistung der dialogorientierten KI zu verbessern.

Containment, Lösungsrate, Kundenzufriedenheit und Fehlermodi verfolgen

Messen Sie Ihren KI-Assistenten kontinuierlich anhand von Branchenbenchmarks. Zu den wichtigen Kennzahlen gehören: 

• Containment: Erfasst, wie viele Gespräche vom KI-Agenten erfolgreich gelöst werden. 
• Eskalationsrate: Misst Anrufe, die letztlich menschliches Eingreifen erfordern. 
• Word Error Rate: Ein Genauigkeitsbenchmark, der angibt, wie präzise KI Audio transkribiert. 
• Halluzinationsrate: Kennzeichnet Vorfälle, bei denen LLMs ungenaue, aber plausible Antworten erzeugen. 
• CSAT: Kundenfeedback dazu, wie zufrieden Kunden mit dem KI-Voice-Agent sind. 

Erfahren Sie mehr über Kennzahlen für dialogorientierte KI.

Mit ElevenAPI für KI-Sprachassistenten starten 

ElevenAPI vereinfacht die Entwicklung von KI-Sprachassistenten. Mit führenden Text-to-Speech- und Speech-to-Text-Modellen können Sie kontextbezogene Agenten für dialogorientierte KI erstellen, die sich direkt in Ihre Unternehmens-Workflows einfügen. Unsere Sprach- und Audiomodelle liefern konstant hohe Genauigkeit und niedrige Latenz für ein natürliches Kundenerlebnis. 

Rufen Sie hier Ihren ElevenAPI-API-Key ab und entdecken Sie unsere offizielle Dokumentation, um mit der Entwicklung zu beginnen. 

FAQ: Einen KI-Sprachassistenten entwickeln