实时模型
使用专为低延迟语音智能体打造的 ElevenLabs 模型。
概述
实时模型是专为低延迟语音对话打造、可供语音智能体使用的 ElevenLabs 模型。
每个语音智能体都有一种 语音模式:自定义 或 实时。在自定义模式下,你可以自行选择 LLM、TTS 模型和 ASR 设置,如 模型 所述。在实时模式下,你选择实时模型,ElevenLabs 会为你管理这些设置。
提供两种实时模型:
智能体的系统提示词、音色、工具、知识库和轮次设置在两种模式下的使用方式相同。
正在使用其他实时 API,例如 SpaceXAI 或 OpenAI?实时 API 可让你更快试用 实时模型:将现有客户端指向 ElevenLabs,并继续使用已有事件。
实时模型正逐步推出。如果智能体 智能体 标签页中未显示 语音模式 设置,
说明实时模型暂未在工作区中提供,且 API 会拒绝 realtime_model,并返回错误
Realtime models are not available for this workspace.
选择语音模式
如果符合以下任一情况,请让智能体保持自定义模式:
- 智能体使用自定义 LLM、Amazon Bedrock 或 Speech Engine。
- 智能体需要特定的 LLM 或 TTS 模型。
- 工作流节点会覆盖 LLM、TTS 模型或其他托管设置。
- 智能体会转接至自定义模式的智能体,或从此类智能体接收转接。
- 智能体仅支持文本。实时模型专为语音对话打造。
否则,请从 Eleven Realtime v1 Mini 开始。在以下情况下,改用 Eleven Realtime v1 Max:
- 智能体需要遵循较长或复杂的指令,或依赖多步骤工具调用,而 Mini 的回复效果不够好。
- 智能体必须遵守美国或欧盟的 Zero Retention Mode 或 HIPAA。Mini 不支持这两项要求。
Max 不适用于印度和新加坡数据驻留环境,并且需要至少 1,024 的令牌上限,或不设上限。请参阅限制和合规与数据驻留。
配置
通过控制台更新
通过 CLI 更新
通过 API 更新
若要关闭实时模式,请将 语音模式 设为 自定义 并发布。智能体会恢复使用其保存的 LLM、TTS 模型和 ASR 设置。
托管设置
设置实时模型后,ElevenLabs 会管理以下设置,智能体将忽略为它们保存的值。切换回自定义模式后,会重新使用保存的值。
令牌上限(agent.prompt.max_tokens)会保留已保存的值,但工作流节点无法覆盖它,并且 Eleven Realtime v1 Max 要求最低值。请参阅限制。
如需更改其中任一设置,请将智能体切换到自定义模式。
仍然适用的设置
所有其他智能体设置的作用方式都与自定义模式相同,包括:
智能体处于实时模式时,控制台会隐藏包括温度在内的 LLM 设置。请使用 CLI 或 API 更改实时智能体的温度。
如果实时模型未及时回复或返回错误,智能体会按照 LLM 级联的说明回退到备用 LLM。实时模型决定智能体在回退前等待多久。
限制
发布智能体时,ElevenLabs 会检查以下规则。违反任一规则的草稿仍可保存,但发布会失败,并显示需要更改的设置。
- 仅限 ElevenAgents 智能体:通过其他 ElevenLabs 产品(例如 Speech Engine)创建的智能体无法使用实时模型。
- 不支持自定义 LLM:智能体的 LLM 为自定义 LLM 或 Amazon Bedrock 时,无法使用实时模式。切换前,请先在自定义模式中选择内置 LLM。
- 工作流不得覆盖托管设置:工作流节点无法覆盖任何托管设置或令牌上限。请移除覆盖设置,或让智能体保持自定义模式。
- Max 的令牌上限:Eleven Realtime v1 Max 需要令牌上限为 1,024 或更高,或不设上限。
- 模式间转接:实时模式的智能体只能向其他实时模式智能体转接,或接收其转接。支持 Mini 与 Max 智能体之间的转接。
发布时仅检查已发布智能体发起的转接。从自定义模式智能体转接至实时智能体的情况, 仅会在下次发布该自定义模式智能体时被检测到;在此之前,对话期间会拒绝该转接, 当前智能体会继续留在通话中。
转接错误为 Transfers between default and Realtime model modes are not supported.,其中 “default” 指自定义模式。
合规与数据驻留
实时模型与其他模型遵循相同的 Zero Retention Mode、HIPAA 和数据驻留规则。Mini 和 Max 的可用性不同:
无论是在工作区强制执行,还是在智能体上启用,Zero Retention Mode 都会生效。
如果实时模型不符合智能体的合规或数据驻留设置,ElevenLabs 会拒绝该模型,并返回注明模型名称的错误。请选择另一种实时模型,或切换到自定义模式。
定价
实时智能体按标准 ElevenAgents 每分钟费率计费,另加实时模型费率下的输入、缓存输入和输出令牌费用。Eleven Realtime v1 Max 的每令牌成本高于 Eleven Realtime v1 Mini。请参阅 ElevenLabs 定价了解当前费率。