Vai alla navigazione
GuideRicettari

LiveAvatar

Scopri come integrare ElevenAgents con LiveAvatar di HeyGen per lo streaming di avatar in tempo reale

Panoramica

L’integrazione LiveAvatar collega ElevenAgents alla piattaforma LiveAvatar di HeyGen per creare esperienze interattive con avatar. Combina gli agenti ElevenLabs (che gestiscono le interazioni audio) con lo streaming video in tempo reale degli avatar di LiveAvatar, consentendo conversazioni visive a bassa latenza con avatar IA.

Con questa integrazione puoi:

  • Distribuire agenti IA conversazionali con una rappresentazione visiva tramite avatar
  • Creare esperienze di assistenza clienti interattive con avatar realistici
  • Realizzare assistenti virtuali coinvolgenti per siti web e applicazioni

Come funziona

L’integrazione usa la modalità di sessione LITE di LiveAvatar, in cui le responsabilità sono suddivise tra le due piattaforme:

  • ElevenLabs: gestisce lo streaming e l’orchestrazione dell’input e dell’output audio
  • LiveAvatar: gestisce il rendering degli avatar e lo streaming video in tempo reale

Quando una sessione in modalità LITE viene avviata con una configurazione ElevenAgents, LiveAvatar avvia un worker che si connette al tuo agente ElevenLabs. L’output audio dell’agente guida in tempo reale il lip sync e le animazioni dell’avatar.

Prerequisiti

Prima di configurare l’integrazione, assicurati di avere:

  1. Un account ElevenLabs con accesso API
  2. Un account HeyGen LiveAvatar con accesso API
  3. Un agente ElevenLabs (creane uno seguendo la guida rapida)

L’agente ElevenLabs deve avere i formati di input e output audio impostati su PCM 24000 Hz. Puoi configurarli in Impostazioni voce > Formati di output TTS e Avanzate > Formato audio di input dell’utente.

Configurazione

1

Ottieni le tue credenziali ElevenLabs

Ti servono due elementi dal tuo account ElevenLabs:

  1. ID dell’agente: vai a Piattaforma Agents > Agenti e copia l’ID dell’agente che vuoi usare

  2. Chiave API: vai a Impostazioni > Chiavi API e genera una nuova chiave API (oppure usa una chiave esistente)

La chiave API deve avere le autorizzazioni convai_read, user_read e voices_read.

2

Registra la tua chiave API ElevenLabs con LiveAvatar

LiveAvatar richiede che la tua chiave API ElevenLabs venga registrata tramite il relativo endpoint secrets. Questa registrazione cifra la chiave con Amazon KMS e restituisce un secret_id da usare nelle sessioni.

Invia una richiesta POST all’endpoint secrets di LiveAvatar:

curl -X POST "https://api.liveavatar.com/v1/secrets" \
  -H "Content-Type: application/json" \
  -H "X-Api-Key: <your_heygen_api_key>" \
  -d '{
    "secret_type": "ELEVENLABS_API_KEY",
    "secret_value": "<your_secret_value>",
    "secret_name": "<your_secret_name>"
  }'

La risposta contiene il tuo secret_id. Conserva questo secret_id per usarlo all’avvio delle sessioni.

3

Avvia una sessione LiveAvatar

Quando avvii una sessione LiveAvatar, usa la modalità LITE e includi la configurazione di ElevenAgents:

{
  "mode": "LITE",
  "elevenlabs_agent_config": {
    "secret_id": "xxxxxxxxxxxxxxxx",
    "agent_id": "agent_xxxxxxxxxxxxxxxx"
  },
  "avatar_id": "xxxxx"
}

Consulta la documentazione dell’API delle sessioni LiveAvatar per tutti i dettagli sulla gestione delle sessioni.

Eventi e callback

L’integrazione invia eventi tramite le stanze LiveKit, usando la stessa struttura di eventi della modalità FULL di LiveAvatar. Questo ti consente di:

  • Monitorare le modifiche allo stato della conversazione
  • Tenere traccia delle modalità in cui l’agente parla e ascolta
  • Gestire gli eventi di connessione e disconnessione
  • Elaborare trascrizioni e risposte dell’agente

Configura i tuoi event handler in base alla documentazione degli eventi LiveAvatar.

Fatturazione

Questa integrazione prevede una fatturazione separata per le due piattaforme:

ComponenteFatturazione
LiveAvatar (video dell’avatar)1 credito per minuto di sessione
ElevenLabs (IA conversazionale)Addebitata sul tuo account ElevenLabs in base al tuo piano di abbonamento

Lo streaming dell’avatar viene fatturato esclusivamente per la componente video, mentre tutto l’utilizzo degli agenti (audio e LLM) viene addebitato separatamente tramite il tuo account ElevenLabs.

Risorse