PrzewodnikiPrzepisy

LiveAvatar

Dowiedz się, jak zintegrować ElevenAgents z LiveAvatar od HeyGen, aby przesyłać awatary w czasie rzeczywistym

Omówienie

Integracja z LiveAvatar łączy ElevenAgents z platformą LiveAvatar od HeyGen, by tworzyć interaktywne doświadczenia z awatarami. Łączy ElevenLabs Agents (obsługujące interakcje audio) ze strumieniowaniem wideo awatarów LiveAvatar w czasie rzeczywistym, umożliwiając wizualne rozmowy z awatarami AI z niskim opóźnieniem.

Dzięki tej integracji możesz:

  • Wdrażać konwersacyjne agentów AI z wizualną reprezentacją awatara
  • Tworzyć interaktywną obsługę klienta z realistycznymi awatarami
  • Budować angażujących wirtualnych asystentów dla stron i aplikacji

Jak to działa

Integracja używa trybu sesji LITE LiveAvatar, w którym zadania są podzielone między obie platformy:

  • ElevenLabs: Obsługuje przesyłanie strumieniowe i koordynację wejścia oraz wyjścia audio
  • LiveAvatar: Zarządza renderowaniem awatara i strumieniowaniem wideo w czasie rzeczywistym

Gdy rozpoczyna się sesja w trybie LITE z konfiguracją ElevenAgents, LiveAvatar uruchamia worker, który łączy się z twoim agentem ElevenLabs. Wyjście audio agenta steruje synchronizacją ruchu ust i animacjami awatara w czasie rzeczywistym.

Wymagania

Przed konfiguracją integracji upewnij się, że masz:

  1. Konto ElevenLabs z dostępem do API
  2. Konto HeyGen LiveAvatar z dostępem do API
  3. Agenta ElevenLabs (utwórz go zgodnie z poradnikiem szybkiego startu)

Agent ElevenLabs musi mieć ustawione formaty wejścia i wyjścia audio na PCM 24000 Hz. Możesz to ustawić w Voice settings > TTS output formats oraz Advanced > User input audio format.

Konfiguracja

1

Uzyskaj dane ElevenLabs

Potrzebujesz dwóch elementów ze swojego konta ElevenLabs:

  1. ID agenta: Przejdź do Agents Platform > Agents i skopiuj ID agenta, którego chcesz użyć

  2. Klucz API: Przejdź do Settings > API Keys i wygeneruj nowy klucz API (lub użyj istniejącego)

Klucz API musi mieć uprawnienia convai_read, user_read i voices_read.

2

Zarejestruj klucz API ElevenLabs w LiveAvatar

LiveAvatar wymaga zarejestrowania klucza API ElevenLabs przez endpoint sekretów. Rejestracja szyfruje klucz za pomocą Amazon KMS i zwraca secret_id do użycia w sesjach.

Wyślij żądanie POST do endpointu sekretów LiveAvatar:

curl -X POST "https://api.liveavatar.com/v1/secrets" \
  -H "Content-Type: application/json" \
  -H "X-Api-Key: <your_heygen_api_key>" \
  -d '{
    "secret_type": "ELEVENLABS_API_KEY",
    "secret_value": "<your_secret_value>",
    "secret_name": "<your_secret_name>"
  }'

Odpowiedź zawiera secret_id. Zachowaj go do użycia przy rozpoczynaniu sesji.

3

Rozpocznij sesję LiveAvatar

Podczas rozpoczynania sesji LiveAvatar użyj trybu LITE i dodaj konfigurację ElevenAgents:

{
  "mode": "LITE",
  "elevenlabs_agent_config": {
    "secret_id": "xxxxxxxxxxxxxxxx",
    "agent_id": "agent_xxxxxxxxxxxxxxxx"
  },
  "avatar_id": "xxxxx"
}

Pełne informacje o zarządzaniu sesjami znajdziesz w dokumentacji API sesji LiveAvatar.

Zdarzenia i callbacki

Integracja dostarcza zdarzenia przez pokoje LiveKit, używając tej samej struktury zdarzeń co tryb FULL LiveAvatar. Dzięki temu możesz:

  • Monitorować zmiany stanu rozmowy
  • Śledzić tryby mówienia i słuchania agenta
  • Obsługiwać zdarzenia połączenia i rozłączenia
  • Przetwarzać transkrypcje i odpowiedzi agenta

Skonfiguruj obsługę zdarzeń zgodnie z dokumentacją zdarzeń LiveAvatar.

Rozliczenia

Ta integracja jest rozliczana osobno przez obie platformy:

KomponentRozliczenia
LiveAvatar (wideo awatara)1 kredyt za minutę sesji
ElevenLabs (konwersacyjne AI)Rozliczane na koncie ElevenLabs zgodnie z planem subskrypcji

Strumieniowanie awatara jest rozliczane tylko za komponent wideo, a użycie agentów (audio i LLM) jest naliczane osobno na twoim koncie ElevenLabs.

Materiały