Skip to navigation
HandleidingenCookbooks

LiveAvatar

Leer hoe je ElevenAgents integreert met HeyGen's LiveAvatar voor realtime avatarstreaming

Overzicht

De LiveAvatar-integratie verbindt ElevenAgents met het LiveAvatar-platform van HeyGen om interactieve avatarervaringen te creëren. Deze integratie combineert ElevenLabs Agents (voor audio-interacties) met realtime videostreaming van avatars van LiveAvatar, waardoor visuele gesprekken met AI-avatars met lage latentie mogelijk zijn.

Met deze integratie kun je:

  • conversationele AI-agents met een visuele avatarrepresentatie implementeren
  • interactieve klantenservice-ervaringen met levensechte avatars creëren
  • aantrekkelijke virtuele assistenten voor websites en applicaties bouwen

Zo werkt het

De integratie gebruikt de LITE-sessiemodus van LiveAvatar, waarbij de verantwoordelijkheden tussen de twee platforms worden verdeeld:

  • ElevenLabs: Verzorgt de streaming en orkestratie van audio-invoer en -uitvoer
  • LiveAvatar: Beheert het renderen van avatars en realtime videostreaming

Wanneer een sessie in de LITE-modus start met een ElevenAgents-configuratie, stuurt LiveAvatar een worker aan die verbinding maakt met je ElevenLabs-agent. De audio-uitvoer van de agent stuurt de lipsynchronisatie en animaties van de avatar in realtime aan.

Vereisten

Controleer vóór je de integratie instelt of je het volgende hebt:

  1. Een ElevenLabs-account met API-toegang
  2. Een HeyGen LiveAvatar-account met API-toegang
  3. Een ElevenLabs-agent (maak er een volgens de quickstartgids)

Voor de ElevenLabs Agent moeten de audio-invoer- en uitvoerformaten zijn ingesteld op PCM 24000 Hz. Dit kun je instellen via Voice settings > TTS output formats en Advanced > User input audio format.

Instellen

1

Je ElevenLabs-inloggegevens ophalen

Je hebt twee zaken uit je ElevenLabs-account nodig:

  1. Agent-ID: Ga naar Agents Platform > Agents en kopieer de ID van de agent die je wilt gebruiken

  2. API-sleutel: Ga naar Settings > API Keys en genereer een nieuwe API-sleutel (of gebruik een bestaande)

De API-sleutel moet de machtigingen convai_read, user_read en voices_read hebben.

2

Je ElevenLabs API-sleutel registreren bij LiveAvatar

LiveAvatar vereist dat je ElevenLabs API-sleutel wordt geregistreerd via hun secrets-endpoint. Bij deze registratie wordt je sleutel versleuteld met Amazon KMS en wordt een secret_id teruggegeven voor gebruik in sessies.

Doe een POST-request naar het secrets-endpoint van LiveAvatar:

curl -X POST "https://api.liveavatar.com/v1/secrets" \
  -H "Content-Type: application/json" \
  -H "X-Api-Key: <your_heygen_api_key>" \
  -d '{
    "secret_type": "ELEVENLABS_API_KEY",
    "secret_value": "<your_secret_value>",
    "secret_name": "<your_secret_name>"
  }'

Het antwoord bevat je secret_id. Bewaar deze secret_id voor gebruik wanneer je sessies start.

3

Een LiveAvatar-sessie starten

Gebruik bij het starten van een LiveAvatar-sessie de LITE-modus en voeg je ElevenAgents-configuratie toe:

{
  "mode": "LITE",
  "elevenlabs_agent_config": {
    "secret_id": "xxxxxxxxxxxxxxxx",
    "agent_id": "agent_xxxxxxxxxxxxxxxx"
  },
  "avatar_id": "xxxxx"
}

Bekijk de API-documentatie voor LiveAvatar-sessies voor alle informatie over sessiebeheer.

Events en callbacks

De integratie levert events via LiveKit-ruimtes, met dezelfde eventstructuur als de FULL-modus van LiveAvatar. Hiermee kun je:

  • wijzigingen in de gespreksstatus volgen
  • bijhouden wanneer de agent spreekt en luistert
  • verbindings- en verbrekingsevents afhandelen
  • transcripties en reacties van agents verwerken

Configureer je eventhandlers volgens de documentatie over LiveAvatar-events.

Facturering

Deze integratie omvat afzonderlijke facturering door beide platforms:

OnderdeelFacturering
LiveAvatar (avatarvideo)1 credit per sessieminuut
ElevenLabs (conversationele AI)Gefactureerd aan je ElevenLabs-account op basis van je abonnement

De avatarstreaming wordt alleen gefactureerd voor de videocomponent, terwijl al het gebruik van agents (audio en LLM) afzonderlijk via je ElevenLabs-account in rekening wordt gebracht.

Bronnen