跳到导航

表现力模式

构建可根据对话上下文调整语气、时机和情感表达的语音智能体。

概览

表现力模式让智能体能够输出体现意图、情感和重点的语音,并根据用户的声音和表达内容实时调整。它基于对话系统的两项系统级改进:

  1. Eleven v4 Turbo — ElevenAgents 中情感理解和上下文感知能力最强的文本转语音模型。
  2. 全新轮次交接系统 — 响应时机更准确,打断更少。

为智能体选择 Eleven v4 Turbo 作为 TTS 模型后,将自动启用表现力模式。

Eleven v4 Turbo

Eleven v4 Turbo 是 Eleven v4 的实时版本,中位推理延迟约为 100ms,专为实时往返对话优化。它能在多轮对话中保持上下文,并调整表达方式以匹配每次交流的语气和意图。

  • 上下文感知表达:智能体会根据对话上下文调整语气——用户听起来担忧时,回应会更平静;需要清晰说明时,表达会更直接。
  • 显式情感控制:通过系统提示词规则引导表达,从精确触发条件到更广泛的场景均可设置,以符合品牌声音和合规要求。
  • 支持 90+ 种语言:相比 Flash 模型约 32 种语言有大幅扩展。
  • 表现力标签:LLM 可输出 [laughs]、[whispers] 或 [sighs] 等标签,控制特定时刻的表达。

ElevenAgents 定价为所有套餐提供统一的每分钟通话费率,不因 TTS 模型而单独定价。额外通话分钟数为每分钟 $0.08,LLM 使用量另行计费。请参阅 ElevenAgents 定价。

轮次交接系统

全新轮次交接系统利用来自 Scribe v2 Realtime 的实时信号——包括情感线索和语音模式——判断智能体应在何时说话、暂停或等待。这有助于智能体做出更自然的回应,尤其是在情绪强烈的情境中。

例如,“嗯”既可以是完整的确认,也可能是准备继续说话的开场。系统除了分析转录文本,还会分析说话方式(如韵律等语音线索),从而更自然地把握智能体的回应时机。

还可通过 轮次积极度 设置进一步微调轮次交接行为。

配置

启用表现力模式

1

选择 TTS 模型

将智能体的 TTS 模型设为 Eleven v4 Turbo(eleven_v4_turbo)。该模型会自动启用表现力模式。如需关闭,请将 expressive_mode 设为 false。

  1. 在控制台中打开智能体,在 音色 下选择音色以打开 智能体音色 面板。
  2. 在 TTS 模型系列 下选择 V4 Turbo。表现力模式 开关将开启,下方的 推荐音频标签 会列出智能体可用的标签。
  3. 点击 发布 保存更改。

启用表现力模式

2

在系统提示词中引导情感表达

在智能体的系统提示词中添加指令,以引导智能体如何调整语气。你可以使用宽泛的指导,也可以设置具体触发条件。

系统提示词示例

通过系统提示词中的自然语言指令引导智能体的情感表达。模型会结合上下文理解这些指令,因此并非每种情况都需要明确标签。

宽泛指导

You are a customer support agent. When a user sounds frustrated or upset, respond
in a calm, reassuring tone. When delivering good news, allow your tone to reflect
genuine warmth. Maintain a professional but approachable delivery throughout.

具体触发条件

You are a conversational AI agent with expressive speech capabilities.
Tone guidelines:
- When a user expresses frustration, use a calm and empathetic tone
- When explaining technical steps, use a clear and measured pace
- When a user shares good news, respond with warmth and enthusiasm
- When handling complaints, remain composed and solution-oriented

使用表现力标签

除了上下文感知表达外,LLM 还可以输出显式标签来控制特定时刻。常见标签包括:

  • [laughs] — 在语音中加入笑声
  • [whispers] — 降低音量以耳语
  • [sighs] — 加入叹息感
  • [slow] — 放慢语速
  • [excited] — 让表达更兴奋

每个标签大约会影响接下来 4-5 个词,之后恢复正常表达。

You can also use expressive tags in your responses for precise control:
- [laughs] for moments of humor
- [whispers] for confidential or intimate moments
- [sighs] for resignation or relief
- [slow] when emphasizing important information
Example: "That's great to hear! [laughs] I'm glad we could sort that out for you."

最佳实践

引导智能体根据情境调整情感表达。面对沮丧的客户,应给出平静且富有同理心的回应;用户分享好消息时,应表现出真诚的温暖。语气不匹配会损害信任。

在系统提示词中定义清晰的语气指南,而不是完全依赖模型判断。这样可确保表达始终符合品牌声音和合规要求。

不同语言中的表现力表达可能有所不同。请针对每种目标语言测试智能体,确保情感细微差别能如预期传达,尤其是在对话习惯不同的语言中。

将表现力模式与合适的 轮次积极度 设置搭配使用。在情感敏感的对话中,耐心模式可为用户留出更多表达空间;积极模式则适合快节奏互动。

使用对话分析了解用户对表现力表达的反应。根据对话结果和用户反馈优化语气指南。

限制

  • 表现力标签的效果大约持续 4-5 个词,之后会恢复正常表达。
  • 不同音色和语言的表现力可能有所差异。

常见问题

不会。ElevenAgents 定价为所有套餐提供统一的每分钟通话费率,表现力模式和 TTS 模型均不单独收费:额外通话分钟数为每分钟 $0.08,LLM 使用量另行计费。请参阅 ElevenAgents 定价。

在 智能体音色 面板的 TTS 模型系列 下选择 V4 Turbo。该模型会自动启用表现力模式。如需关闭,可关闭 表现力模式 开关,或通过 API 或 CLI 将 conversation_config.tts.expressive_mode 设为 false。

系统利用来自 Scribe v2 Realtime 的实时信号,包括情感线索和语音模式,预测智能体应在何时回应。它会同时分析转录文本和词语的说话方式(韵律),以自然地把握回应时机。

Eleven v4 支持专业语音克隆。如果 PVC 尚未在 Eleven v4 上训练,请打开 我的音色,找到该音色,然后点击 Eleven v4 旁的加号按钮以开始微调。有关音色设置,包括专业语音克隆的克隆强度,请参阅 Eleven v4。

Eleven v4 Turbo 支持 90+ 种语言,相比 Flash 模型约 32 种语言有所扩展。

Eleven v4 Turbo 的情感表现范围比 Flash 和 Multilingual v2 更广,并可根据对话上下文调整表达。它支持 90+ 种语言,而 Flash 约支持 32 种。

相关功能