Spracherkennung

Überblick

Das System-Tool für die Spracherkennung ermöglicht Ihrem ElevenLabs-Agenten, seine Ausgabesprache auf jede vom Agenten unterstützte Sprache umzustellen. Dieses System-Tool ist nicht automatisch aktiviert. Seine Beschreibung kann an Ihren konkreten Anwendungsfall angepasst werden.

Unser Tool zur Spracherkennung löst die Sprachumstellung in zwei Fällen aus. Beide basieren auf der erkannten Sprache und dem Inhalt des empfangenen Audios:

• detection: Wenn ein Nutzer eine andere Sprache als die aktuelle Ausgabesprache spricht, wird eine Umstellung ausgelöst.
• content: Wenn der Nutzer in der aktuellen Sprache darum bittet, zu einer neuen Sprache zu wechseln, wird eine Umstellung ausgelöst.

Zweck: Während Gesprächen automatisch zur erkannten Sprache des Nutzers wechseln.

Auslösebedingungen: Das LLM sollte dieses Tool aufrufen, wenn:

• Der Nutzer eine andere Sprache als die aktuelle Gesprächssprache spricht
• Der Nutzer ausdrücklich einen Sprachwechsel anfordert
• Das Gespräch Unterstützung für mehrere Sprachen benötigt

Parameter:

• reason (String, erforderlich): Der Grund für den Sprachwechsel
• language (String, erforderlich): Der Sprachcode, zu dem gewechselt werden soll (muss in der Liste der unterstützten Sprachen enthalten sein)

Format des Funktionsaufrufs:

{
  "type": "function",
  "function": {
    "name": "language_detection",
    "arguments": "{\"reason\": \"User requested Spanish\", \"language\": \"es\"}"
  }
}

Implementierung: Konfigurieren Sie unterstützte Sprachen in den Agent-Einstellungen und fügen Sie das Systemtool zur Spracherkennung hinzu. Der Agent passt Stimme und Antworten automatisch an die erkannten Sprachen an.

Spracherkennung aktivieren

Sprachwechsel auf den Gesprächsbeginn beschränken

In einem langen Gespräch können Hintergrundgeräusche oder ein ungewöhnlicher Akzent gelegentlich einen Wechsel auslösen, den der Anrufer nicht beabsichtigt hat. Durch Aktivieren von only_at_conversation_start wird der Wechsel auf die ersten beiden Nutzer- Turns beschränkt.

Wenn die Sprache während dieser beiden Turns nicht wechselt, wird die Spracherkennung für den Rest des Gesprächs deaktiviert: Jeder spätere Versuch schlägt fehl und der Agent spricht weiterhin die aktuelle Sprache. Wenn die Sprache innerhalb dieses Zeitfensters wechselt, bleibt der Wechsel für den Rest des Gesprächs verfügbar, sodass eine falsche Erkennung weiterhin korrigiert werden kann.

Die Option ist standardmäßig deaktiviert.

API-Implementierung

Wenn Sie einen Agenten über die API erstellen, können Sie das Tool für die Spracherkennung zu Ihrer Agentenkonfiguration hinzufügen. Es sollte als System-Tool definiert werden:

from elevenlabs import AgentConfig, ConversationalConfig, ElevenLabs
elevenlabs = ElevenLabs(api_key="YOUR_API_KEY")
# Create language presets
language_presets = {
    "nl": {"overrides": {"agent": {"first_message": "Hoi, hoe gaat het met je?"}}},
    "fi": {"overrides": {"agent": {"first_message": "Hei, kuinka voit?"}}},
    "tr": {"overrides": {"agent": {"first_message": "Merhaba, nasılsın?"}}},
    "ru": {"overrides": {"agent": {"first_message": "Привет, как ты?"}}},
    "pt": {"overrides": {"agent": {"first_message": "Oi, como você está?"}}},
}
response = elevenlabs.conversational_ai.agents.create(
    conversation_config=ConversationalConfig(
        agent=AgentConfig(
            first_message="Hi how are you?",
            prompt={
                "built_in_tools": {
                    "language_detection": {
                        "type": "system",
                        "name": "language_detection",
                        # Optional: customize when the tool should be triggered
                        "description": "",
                        "params": {"system_tool_type": "language_detection"},
                    }
                },
            },
        ),
        language_presets=language_presets,
    ),
)