LeitfädenCookbooks

LiveAvatar

Erfahren Sie, wie Sie ElevenAgents für Avatar-Streaming in Echtzeit mit HeyGens LiveAvatar integrieren

Überblick

Die LiveAvatar-Integration verbindet ElevenAgents mit der LiveAvatar-Plattform von HeyGen, um interaktive Avatar-Erlebnisse zu erstellen. Diese Integration kombiniert ElevenLabs Agents (für Audiointeraktionen) mit dem Echtzeit-Video-Streaming von LiveAvatar und ermöglicht visuelle Gespräche mit KI-Avataren bei geringer Latenz.

Mit dieser Integration können Sie:

  • Konversations-KI-Agenten mit visueller Avatar-Darstellung bereitstellen
  • Interaktive Kundendienst-Erlebnisse mit lebensechten Avataren erstellen
  • Ansprechende virtuelle Assistenten für Websites und Anwendungen entwickeln

Funktionsweise

Die Integration nutzt den LITE-Sitzungsmodus von LiveAvatar, bei dem die Aufgaben zwischen den beiden Plattformen aufgeteilt sind:

  • ElevenLabs: Übernimmt das Streaming und die Orchestrierung von Audioein- und -ausgabe
  • LiveAvatar: Verwaltet das Avatar-Rendering und das Echtzeit-Video-Streaming

Wenn eine Sitzung im LITE-Modus mit einer ElevenAgents-Konfiguration startet, stellt LiveAvatar einen Worker bereit, der sich mit Ihrem ElevenLabs-Agenten verbindet. Die Audioausgabe des Agenten steuert Lippensynchronisation und Animationen des Avatars in Echtzeit.

Voraussetzungen

Stellen Sie vor der Einrichtung der Integration sicher, dass Sie Folgendes haben:

  1. Ein ElevenLabs-Konto mit API-Zugriff
  2. Ein HeyGen-LiveAvatar-Konto mit API-Zugriff
  3. Einen ElevenLabs-Agenten (erstellen Sie einen gemäß der Schnellstart-Anleitung)

Für den ElevenLabs-Agenten müssen die Audio-Ein- und -Ausgabeformate auf PCM 24000 Hz eingestellt sein. Dies kann in Voice settings > TTS output formats und Advanced > User input audio format eingestellt werden.

Einrichtung

1

ElevenLabs-Zugangsdaten abrufen

Sie benötigen zwei Angaben aus Ihrem ElevenLabs-Konto:

  1. Agent-ID: Navigieren Sie zu Agents Platform > Agents und kopieren Sie die ID des Agenten, den Sie verwenden möchten

  2. API-Schlüssel: Gehen Sie zu Settings > API Keys und erstellen Sie einen neuen API-Schlüssel oder verwenden Sie einen bestehenden

Der API-Schlüssel benötigt die Berechtigungen convai_read, user_read und voices_read.

2

ElevenLabs-API-Schlüssel bei LiveAvatar registrieren

LiveAvatar erfordert, dass Ihr ElevenLabs-API-Schlüssel über den Secrets-Endpunkt registriert wird. Bei dieser Registrierung wird Ihr Schlüssel mit Amazon KMS verschlüsselt und eine secret_id für die Verwendung in Sitzungen zurückgegeben.

Senden Sie eine POST-Anfrage an den Secrets-Endpunkt von LiveAvatar:

curl -X POST "https://api.liveavatar.com/v1/secrets" \
  -H "Content-Type: application/json" \
  -H "X-Api-Key: <your_heygen_api_key>" \
  -d '{
    "secret_type": "ELEVENLABS_API_KEY",
    "secret_value": "<your_secret_value>",
    "secret_name": "<your_secret_name>"
  }'

Die Antwort enthält Ihre secret_id. Speichern Sie diese secret_id für die Verwendung beim Starten von Sitzungen.

3

LiveAvatar-Sitzung starten

Verwenden Sie beim Starten einer LiveAvatar-Sitzung den LITE-Modus und fügen Sie Ihre ElevenAgents-Konfiguration ein:

{
  "mode": "LITE",
  "elevenlabs_agent_config": {
    "secret_id": "xxxxxxxxxxxxxxxx",
    "agent_id": "agent_xxxxxxxxxxxxxxxx"
  },
  "avatar_id": "xxxxx"
}

Vollständige Details zur Sitzungsverwaltung finden Sie in der LiveAvatar Session API-Dokumentation.

Ereignisse und Callbacks

Die Integration übermittelt Ereignisse über LiveKit-Räume und verwendet dieselbe Ereignisstruktur wie der FULL-Modus von LiveAvatar. Damit können Sie:

  • Änderungen des Gesprächsstatus überwachen
  • Sprech- und Zuhörmodi des Agenten verfolgen
  • Verbindungs- und Trennungsereignisse verarbeiten
  • Transkriptionen und Agentenantworten verarbeiten

Konfigurieren Sie Ihre Event-Handler gemäß der LiveAvatar-Ereignisdokumentation.

Abrechnung

Für diese Integration erfolgt die Abrechnung über beide Plattformen separat:

KomponenteAbrechnung
LiveAvatar (Avatar-Video)1 Credit pro Sitzungsminute
ElevenLabs (Konversations-KI)Wird Ihrem ElevenLabs-Konto gemäß Ihrem Abonnement in Rechnung gestellt

Das Avatar-Streaming wird nur für die Videokomponente abgerechnet, während die gesamte Agentennutzung (Audio und LLM) separat über Ihr ElevenLabs-Konto abgerechnet wird.

Ressourcen