Eleven Realtime 소개: 자연스러운 음성 에이전트를 더 쉽게 구축하는 방법

오늘날 자연스럽게 들리는 음성 에이전트를 구축하려면 많은 결정을 내려야 합니다. 음성 인식, 음성 활동 감지, 턴테이킹, 기반 LLM, 텍스트 음성 변환 등 개별 구성 요소를 선택해야 합니다. 이 스택을 구축하는 것 자체가 하나의 프로젝트이며, 모든 구성 요소가 원활하게 함께 작동하게 하려면 더 많은 테스트와 튜닝이 필요합니다.

Eleven Realtime은 이러한 어려움을 없애는 새로운 종류의 음성 변환 모델입니다. 각 모델은 서로 다른 사용 사례에 맞게 최적화된 완전한 음성 에이전트입니다. 두 모델 모두 90개 이상의 언어를 지원하며 ElevenLabs 라이브러리의 17,000개 이상의 음성을 사용할 수 있습니다:

오늘 출시하는 모델은 다음과 같습니다:

• Eleven Realtime v1 Mini는 저렴한 비용으로 자연스러운 대화를 제공합니다. AI 어시스턴트, 교사, 인터랙티브 캐릭터에 가장 적합하며, 대부분의 사용 사례에 충분합니다.
• Eleven Realtime v1 Max는 복잡한 작업을 위한 모델입니다. 에이전트가 프로세스를 따르고 단계별로 추론해야 하는 고객 지원, 리드 검증, 다단계 workflow에 적합합니다.

실시간 모델을 만든 이유

자연스럽게 들리는 음성 에이전트를 만들기 위해 설정 전문가가 될 필요는 없습니다. 에이전트가 자연스럽게 느껴지고 들리게 하려면, 멈춘 뒤 응답하기까지 얼마나 기다릴지, 사용자가 에이전트를 중단했을 때 어떻게 대응할지, 음성과 프롬프트, 모델이 어떻게 함께 작동할지처럼 미묘한 판단이 필요합니다. ElevenAgents에서는 이러한 모든 설정을 조정할 수 있습니다.

이미 실시간 API를 사용 중인 개발자에게도 마찬가지입니다. ElevenLabs의 API는 OpenAI의 Realtime API와 호환되므로, 기존 코드에서 엔드포인트와 모델 이름만 바꾸면 Eleven Realtime을 사용해 볼 수 있습니다.

성능

Artificial Analysis는 음성 추론을 위한 Big Bench Audio, 대화 역학을 위한 Full-Duplex-Bench, 사람의 선호도와 작업 성공률을 위한 Speech Agent Arena라는 3개의 공개 벤치마크에서 두 모델을 독립적으로 평가했습니다.

음성 추론

Big Bench Audio는 음성으로 1,000개의 추론 질문을 하고 음성 응답을 평가합니다. Realtime v1 Max는 질문의 98.8%에 정확하게 답했고, v1 Mini는 75.9%에 정확하게 답했습니다.

속도

Big Bench Audio는 음성으로 1,000개의 추론 질문을 하고 음성 응답을 평가합니다. V1 Max는 평균 0.57초 만에 말하기를 시작하고, v1 Mini는 0.62초 만에 시작합니다.

정확도와 속도의 파레토 프런티어

정확도와 속도는 일반적으로 상충 관계로 여겨집니다. Big Bench Audio에서 가장 높은 점수를 받은 모델은 응답 시간이 가장 길고, 가장 빠른 모델은 정확도를 크게 포기합니다. v1 Max는 두 지표 모두에서 뛰어난 성능을 보입니다.

대화 역학과 사람의 선호도

휴지, 턴테이킹, 중단, 백채널을 테스트하는 Full-Duplex-Bench에서 v1 Mini는 95.8%, v1 Max는 94.1%를 기록했습니다. 사람들이 블라인드 라이브 대화에서 두 모델을 비교하는 Speech Agent Arena에서는 v1 Max가 998점, v1 Mini가 988점을 받았습니다. 도구 사용 작업에서는 v1 Max가 87.1%, v1 Mini가 60.3%를 완료했습니다. 따라서 도구 호출이 많은 사용 사례에는 Max를 권장합니다.

시작하기

ElevenAgents에서 사용하기(권장)

에이전트를 만들거나 기존 에이전트를 열고 드롭다운에서 Realtime 모델을 선택하세요. 그러면 프로덕션 환경에서 에이전트를 운영하기 위해 ElevenAgents가 제공하는 모든 기능을 사용할 수 있습니다. 전화, 웹, WhatsApp, CCaaS 채널, workflow, 지식 베이스, 가드레일, 테스트, 모니터링이 포함됩니다.

ElevenAgents 문서에서 자세한 내용을 확인하세요.

Realtime API를 통해 사용하기

이미 OpenAI의 Realtime API와 통합되어 있다면, 코드는 그대로 유지하고 연결 대상만 변경하는 것이 Eleven Realtime을 가장 빠르게 사용해 보는 방법입니다. Realtime API는 WebSocket으로 연결되고 OpenAI Realtime 사양을 따르므로 OpenAI SDK를 그대로 사용할 수 있습니다.

import { OpenAIRealtimeWebSocket, RealtimeAgent, RealtimeSession } from "@openai/agents-realtime";

const { value: clientSecret } = await fetch("/api/token").then((res) => res.json());

const agent = new RealtimeAgent({
  name: "ElevenLabs agent",
  instructions: "You are a helpful, friendly voice assistant. Keep replies concise.",
});

const transport = new OpenAIRealtimeWebSocket({
  url: "wss://api.elevenlabs.io/v1/convai/realtime",
});

const session = new RealtimeSession(agent, {
  transport,
  model: "eleven_realtime_v1_mini",
  config: {
    outputModalities: ["audio"],
    audio: { output: { voice: "brian" } },
  },
});

await session.connect({ apiKey: clientSecret });

Realtime API는 WebSocket으로만 연결되므로, WebRTC 통합은 먼저 WebSocket으로 이전해야 합니다. 또한 ElevenAgents와 별도로 작동하므로 채널, 지식 베이스 또는 기타 플랫폼 기능이 필요하다면 처음부터 ElevenAgents를 기반으로 구축하세요.

마이그레이션 가이드에서 절차와 OpenAI API와의 차이점을 확인할 수 있습니다.