跳到导航

ElevenAgents

了解如何使用 ElevenLabs 构建、发布和扩展智能体。

智能体通过自然对话完成任务,从快速请求到复杂、开放式 workflow。ElevenLabs 提供富有表现力的语音模型、用于构建多模态智能体的开发者工具,以及大规模监控和评估智能体表现的工具。

平台能力

从设计、部署到优化,ElevenLabs 提供大规模构建智能体所需的一切。

设计和配置

目标指南说明
创建对话工作流工作流使用可视化工作流构建器创建多步骤工作流
编写系统提示词系统提示词了解编写有效智能体提示词的最佳实践
选择语言模型模型从支持的 LLM 中选择,或使用自己的自定义模型
控制对话流程对话流程配置轮次交接、打断和超时设置
配置声音和语言声音和语言从 31 种语言的超过 10,000 种声音中选择,并进行自定义
为智能体添加知识知识库上传文档并启用 RAG,为回答提供依据
连接工具工具让智能体调用客户端和 API 执行操作
个性化每次对话个性化使用动态变量和覆盖配置进行逐次对话自定义
保护智能体访问身份验证为受保护的智能体访问实施自定义身份验证

连接和部署

目标指南说明
使用 React 组件构建ElevenLabs UI面向音频和智能体应用的预构建组件库(基于 shadcn)
在网站中嵌入小组件小组件为任意网站添加可自定义的网页小组件
构建 React 网页应用React SDK支持语音的 React Hooks 和组件
构建 iOS 应用Swift SDK面向语音智能体的原生 iOS SDK
构建 Android 应用Kotlin SDK面向语音智能体的原生 Android SDK
构建 React Native 应用React Native SDK使用 React Native 跨平台支持 iOS 和 Android
通过 SIP 中继连接SIP 中继集成现有电话基础设施
批量拨打外呼电话批量通话以编程方式触发多通电话
使用 Twilio 集成Twilio用于电话通话的原生 Twilio 集成
构建自定义集成WebSocket API用于自定义实现的底层 WebSocket 协议
接收实时事件事件订阅对话事件和更新

监控和优化

目标指南说明
按外部 ID 列出用户用户查看终端用户并打开其对话
搜索转写文本搜索对话在对话历史记录中进行关键词和语义搜索
运行 A/B 测试实验使用真实流量测试智能体配置更改
测试智能体行为测试为智能体创建并运行自动化测试
分析对话质量对话分析提取洞察并评估对话结果
跟踪指标和分析数据分析监控性能指标和对话历史记录
配置数据保留隐私为对话和音频设置保留策略
降低 LLM 成本成本优化监控并优化语言模型支出
以代码方式管理智能体CLI通过终端对智能体进行版本控制和部署
通过 Claude 管理智能体托管 MCP通过任意 MCP 客户端创建和更新智能体

架构

ElevenAgents 协调 4 个核心组件:

  1. 用于语音识别的微调 Speech to Text(ASR)模型
  2. 自选语言模型或自定义 LLM
  3. 覆盖 10,000+ 种音色和 70+ 种语言的低延迟 Text to Speech(TTS)模型
  4. 处理对话时序的专有轮次交接模型

语音智能体还可使用 Realtime 模型,这是 ElevenLabs 专为低延迟语音对话打造的模型。

Eleven Realtime 与 ElevenAgents 和 Speech Engine 的关系

ElevenLabs 提供 3 种为产品添加语音的方式,分别适用于不同程度的控制需求和集成工作量。

产品简介主要受众
ElevenAgents全渠道智能体平台。可运行 Realtime 模型,也可运行完全级联、可配置的管线,支持自定义 TTS、LLM、STT、workflow、评估和监控。大规模构建生产级智能体的开发者和企业。
Realtime 模型独立 API,提供一系列语音转语音模型,每种模型均针对不同用例优化。可通过 Realtime API 直接使用,也可作为 ElevenAgents 中的模型选项。希望以最小复杂度添加语音的开发者和企业,包括已在使用其他实时语音 API 并希望切换的团队。
Speech Engine独立的语音编排层,适合已构建基于文本的聊天智能体并希望添加语音的团队。已构建文本智能体并希望添加语音的开发者和企业。

如需使用 OpenAI 的 Realtime SDK 和线协议连接 Realtime 模型,请参阅 OpenAI Realtime API 兼容性指南;如需为现有文本智能体添加语音,请参阅 Speech Engine 概览。