Eleven v4를 소개합니다역대 가장 감성적인 모델, Eleven v4를 만나보세요.

콘텐츠로 건너뛰기

Eleven Realtime 소개: 자연스러운 음성 에이전트를 더 쉽게 구축하는 방법

작성자
Min Kim
게시일
최종 업데이트

듣기이 글 오디오로 듣기

오늘날 자연스럽게 들리는 음성 에이전트를 구축하려면 수많은 결정을 내려야 합니다. 음성 인식, 음성 활동 감지, 턴 테이킹, 기반 LLM, 텍스트 음성 변환 같은 개별 구성 요소를 선택해야 합니다. 이 스택을 구축하는 것 자체가 하나의 프로젝트이며, 모든 구성 요소가 원활히 함께 작동하게 하려면 더 많은 테스트와 튜닝이 필요합니다.

Eleven Realtime은 이러한 어려움을 없애는 새로운 유형의 음성 변환 모델입니다. 각 모델은 개별 사용 사례에 맞게 최적화된 완전한 음성 에이전트입니다. 두 모델 모두 90개 이상의 언어를 지원하며 ElevenLabs 라이브러리의 17,000개 이상 음성을 모두 사용할 수 있습니다:

오늘 출시하는 제품은 다음과 같습니다:

  • Eleven Realtime v1 Mini는 저렴한 비용으로 자연스러운 대화를 제공합니다. AI 어시스턴트, 교사, 인터랙티브 캐릭터에 가장 적합하며 대부분의 사용 사례에 충분합니다.
  • Eleven Realtime v1 Max는 복잡한 작업을 위한 모델입니다. 에이전트가 프로세스를 따르고 단계별로 추론해야 하는 고객 지원, 리드 검증, 여러 단계의 워크플로에 이상적입니다.

Realtime 모델을 만든 이유

자연스럽게 들리는 음성 에이전트를 만들기 위해 구성 전문가가 될 필요는 없습니다. 에이전트가 자연스럽게 느껴지고 들리도록 하려면, 멈춘 뒤 답변하기 전 얼마나 기다릴지, 사용자가 에이전트의 말을 끊었을 때 어떻게 대응할지, 음성·프롬프트·모델이 어떻게 함께 작동할지처럼 섬세한 판단이 필요합니다. ElevenAgents에서는 이러한 모든 설정을 조정할 수 있습니다.

이미 Realtime API를 사용하는 개발자에게도 마찬가지입니다. ElevenLabs API는 OpenAI의 Realtime API와 호환되므로, 기존 코드에서 엔드포인트와 모델 이름만 바꾸면 Eleven Realtime을 사용할 수 있습니다.

캐스케이드 아키텍처 기반

Eleven Realtime은 캐스케이드 아키텍처를 기반으로 하며, 앞서 설명한 구성 요소를 엔드 투 엔드로 튜닝했습니다. 오디오 입력과 오디오 출력, 하나의 모델 ID를 제공하고 퓨즈드 및 듀플렉스 모델과 동일한 리더보드에서 측정할 수 있는 시스템이므로 이를 음성 변환 모델이라고 부릅니다.

퓨즈드 모델은 처음에 음성 에이전트가 얼마나 자연스럽게 느껴질 수 있는지에 대한 기준을 제시했습니다. 반면 캐스케이드 구성은 각 핸드오프마다 지연 시간이 늘어나고 구성 요소들이 서로에 맞춰 튜닝되지 않는다는 의미였습니다. Realtime은 이러한 절충안을 없앴으며, 이전에는 직접 해야 했던 튜닝도 이미 완료되어 있습니다.

캐스케이드 방식은 모든 단계에서 텍스트가 생성되므로 프로덕션 환경에서도 실용적인 장점이 있습니다. 에이전트가 무엇을 들었고 무엇을 말하기로 결정했는지 확인할 수 있어, 잘못 들은 단어와 잘못된 결정을 구분할 수 있습니다. 이 텍스트를 통해 ElevenAgents는 Realtime 에이전트에 가드레일과 PII 삭제를 적용할 수 있습니다. 

아래 벤치마크는 이러한 절충안이 실제로 사라졌는지 검증합니다. 대화 역학 측면에서 두 모델은 퓨즈드 모델과 같은 수준의 점수를 기록합니다. 정확도와 속도를 함께 보면 Artificial Analysis 리더보드에서 v1 Max보다 더 빠르면서 정확한 모델은 없습니다.

성능

Artificial Analysis는 세 가지 공개 벤치마크에서 두 모델을 독립적으로 평가했습니다. 음성 추론을 위한 Big Bench Audio, 대화 역학을 위한 Full-Duplex-Bench, 그리고 사람의 선호도와 작업 성공률을 위한 Speech Agent Arena입니다.

Benchmark table shows v1 Max outperforming Mini on speech reasoning and task success.

음성 추론

Big Bench Audio는 음성으로 1,000개의 추론 질문을 제시하고 말로 답한 내용을 평가합니다. Realtime v1 Max는 질문의 98.8%에 정확히 답했으며, v1 Mini는 75.9%에 정확히 답했습니다.

Speech reasoning benchmark: Eleven Realtime v1 Max leads at 98.8%; Mini trails at 75.9%.

속도

Big Bench Audio는 음성으로 1,000개의 추론 질문을 제시하고 말로 답한 내용을 평가합니다. V1 Max는 평균 0.57초 만에 발화를 시작하며, v1 Mini는 0.62초 만에 시작합니다.

Eleven Realtime leads time to first audio at 570–620 ms, ahead of other models.

정확도와 속도의 파레토 프런티어

정확도와 속도는 일반적으로 절충 관계로 여겨집니다. Big Bench Audio에서 가장 높은 점수를 받은 모델은 답변 시간이 가장 길고, 가장 빠른 모델은 정확도를 크게 포기합니다. v1 Max는 두 지표 모두에서 뛰어난 성능을 보입니다.

Pareto frontier for Realtime

대화 역학과 사람의 선호도

멈춤, 턴 테이킹, 중단, 백채널을 테스트하는 Full-Duplex-Bench에서 v1 Mini는 95.8%, v1 Max는 94.1%를 기록했습니다. 사람들이 블라인드 라이브 대화로 두 모델을 비교하는 Speech Agent Arena에서 v1 Max는 998점, v1 Mini는 988점을 받았습니다. 도구 사용 작업에서는 v1 Max가 87.1%, v1 Mini가 60.3%를 완료했습니다. 따라서 도구 호출이 많은 사용 사례에는 Max를 권장합니다.

시작하기

ElevenAgents에서 시작하기(권장)

에이전트를 생성하거나 기존 에이전트를 열고 드롭다운에서 Realtime 모델을 선택하세요. 이후 프로덕션 환경에서 에이전트를 운영하는 데 필요한 ElevenAgents의 모든 기능을 사용할 수 있습니다. 여기에는 전화, 웹, WhatsApp, CCaaS 채널, 워크플로, 지식 베이스, 가드레일, 테스트, 모니터링이 포함됩니다.

자세한 내용은 ElevenAgents 문서를 확인하세요.

Realtime API를 통해

이미 OpenAI의 Realtime API와 통합되어 있다면, 코드를 유지한 채 연결 대상을 바꾸는 것이 Eleven Realtime을 가장 빠르게 사용해 보는 방법입니다. Realtime API는 WebSocket으로 연결되며 OpenAI Realtime 사양을 따르므로 OpenAI의 SDK를 그대로 사용할 수 있습니다.

import { OpenAIRealtimeWebSocket, RealtimeAgent, RealtimeSession } from "@openai/agents-realtime";

const { value: clientSecret } = await fetch("/api/token").then((res) => res.json());

const agent = new RealtimeAgent({
  name: "ElevenLabs agent",
  instructions: "You are a helpful, friendly voice assistant. Keep replies concise.",
});

const transport = new OpenAIRealtimeWebSocket({
  url: "wss://api.elevenlabs.io/v1/convai/realtime",
});

const session = new RealtimeSession(agent, {
  transport,
  model: "eleven_realtime_v1_mini",
  config: {
    outputModalities: ["audio"],
    audio: { output: { voice: "brian" } },
  },
});

await session.connect({ apiKey: clientSecret });

Realtime API는 WebSocket 연결만 지원하므로 WebRTC 통합은 먼저 WebSocket으로 전환해야 합니다. 또한 ElevenAgents와 별도로 작동하므로 채널, 지식 베이스 또는 기타 플랫폼 기능이 필요하다면 처음부터 ElevenAgents를 기반으로 구축하세요.

마이그레이션 가이드에서 단계별 절차와 OpenAI API와의 차이점을 확인할 수 있습니다.

작성자

Min은 ElevenLabs의 Growth 팀에서 ElevenAPI와 On-Prem/On-Device를 담당하고 있습니다. 이전에는 Stainless에서 두 번째 GTM 채용 인력으로서 제품 마케팅을 이끌었고, 그전에는 WorkOS의 초기 PMM으로서 출시, 세일즈 지원, 콘텐츠, 성장을 주도했습니다.

유사한 기사

최고 품질의 AI 오디오로 창작하세요