Kompatibilitet med OpenAI Realtime API

ElevenLabs Realtime använder samma trådprotokoll som OpenAI:s Realtime API: samma klient- och serverhändelser över samma WebSocket-transport. Om du redan har en app byggd med OpenAI:s Realtime SDK kan du peka den mot ElevenLabs Realtime i stället för api.openai.com utan att byta SDK.

Tillgängliga modeller

Så fungerar det

1. Din backend begär en kortlivad klienthemlighet från ElevenLabs, avgränsad till en specifik sessionskonfiguration.
2. Din frontend skickar klienthemligheten till OpenAI:s Realtime SDK i stället för en OpenAI API-nyckel.
3. SDK:t ansluter via WebSocket till ElevenLabs Realtime, och konversationen fortsätter med samma klient- och serverhändelser som OpenAI:s Realtime API.

Skapa en klienthemlighet

Begär klienthemligheten från din backend, inte från webbläsaren, så att din ElevenLabs API-nyckel aldrig når klienten.

Skapa en API-nyckel i dashboarden här, som du använder för att säkert få åtkomst till API:t.

Spara nyckeln som en hanterad hemlighet och skicka den till SDK:erna antingen som en miljövariabel via en .env-fil eller direkt i appens konfiguration, beroende på vad du föredrar.

ELEVENLABS_API_KEY=<your_api_key_here>

import os
from dotenv import load_dotenv
from elevenlabs import (
    CreateClientSecretRequest,
    ExpiresAfter,
    OpenAiAudioConfigInput,
    OpenAiAudioInputConfigInput,
    OpenAiAudioInputFormat,
    OpenAiAudioOutputConfigInput,
    OpenAiAudioOutputFormat,
    OpenAiSessionConfigInput,
    OpenAiTurnDetection,
)
from elevenlabs.client import ElevenLabs
load_dotenv()
elevenlabs = ElevenLabs(api_key=os.getenv("ELEVENLABS_API_KEY"))
client_secret = elevenlabs.conversational_ai.realtime.create_client_secret(
    request=CreateClientSecretRequest(
        session=OpenAiSessionConfigInput(
            type="realtime",
            model="eleven_realtime_v1_mini",
            instructions="You are a helpful, friendly voice assistant. Keep replies concise.",
            output_modalities=["audio"],
            audio=OpenAiAudioConfigInput(
                input=OpenAiAudioInputConfigInput(
                    format=OpenAiAudioInputFormat(type="audio/pcm", rate=24000),
                    turn_detection=OpenAiTurnDetection(type="semantic_vad", eagerness="medium"),
                ),
                output=OpenAiAudioOutputConfigInput(
                    format=OpenAiAudioOutputFormat(type="audio/pcm"),
                    voice="brian",
                ),
            ),
        ),
        expires_after=ExpiresAfter(anchor="created_at", seconds=600),
    ),
)

Svaret innehåller value (den tillfälliga autentiseringsuppgift som din frontend använder), dess utgångstid och den förhandlade session. Returnera endast value till webbläsaren.

Anslut från webbläsaren

Skicka klienthemligheten till OpenAI:s Realtime SDK (@openai/agents-realtime) som API-nyckel och peka WebSocket-transporten mot ElevenLabs slutpunkt i stället för OpenAI:s standardalternativ.

import { OpenAIRealtimeWebSocket, RealtimeAgent, RealtimeSession } from "@openai/agents-realtime";
const { value: clientSecret } = await fetch("/api/token").then((res) => res.json());
const agent = new RealtimeAgent({
  name: "ElevenLabs agent",
  instructions: "You are a helpful, friendly voice assistant. Keep replies concise.",
});
const transport = new OpenAIRealtimeWebSocket({
  url: "wss://api.elevenlabs.io/v1/convai/realtime",
});
const session = new RealtimeSession(agent, {
  transport,
  model: "eleven_realtime_v1_mini",
  config: {
    outputModalities: ["audio"],
    audio: { output: { voice: "brian" } },
  },
});
await session.connect({ apiKey: clientSecret });

SDK:t kopplar automatiskt ljud endast för sin WebRTC-transport. Via WebSocket behöver du själv spela in och spela upp PCM16-ljud i 24 kHz, till exempel med wavtools, samma hjälpfunktion som OpenAI använder i sina egna WebSocket-exempel.

Begränsningar

Den här guiden beskriver direktanslutning från en webbläsare. Dokumentation för anslutning från OpenAI Realtime SDK:er på serversidan har inte publicerats ännu.

Vanliga frågor