跳到导航
高级

LLM 级联

了解 Agents Platform 如何通过级联回退机制确保 LLM 响应可靠。

概览

Agents Platform 使用 LLM 级联机制，提升文本生成能力的可靠性和韧性。当配置的主大型语言模型（LLM）失败时，系统会自动尝试使用备用 LLM，确保更流畅、更一致的用户体验。

失败可能包括 API 错误、超时或 LLM 提供商返回空响应。级联逻辑会妥善处理这些情况。

工作原理

级联过程遵循以下顺序：

  1. 尝试首选 LLM： 系统首先尝试使用智能体配置中选择的 LLM 生成响应。

  2. 备用 LLM 顺序： 如果首选 LLM 失败，系统会自动回退到预定义的备用 LLM 顺序。该顺序根据模型性能、速度和可靠性制定。当前默认顺序（可能会变更）为：

    1. Gemini 2.5 Flash
    2. GPT-4o
    3. Gemini 2.5 Flash Lite
    4. Claude Sonnet 4.5

  3. HIPAA 合规： 如果智能体在要求严格数据隐私的模式下运行（HIPAA 合规/零数据保留），备用列表将仅保留上述顺序中符合要求的模型。

  4. 重试： 系统会在可用 LLM 顺序中（首选 + 备用）多次重试生成过程（至少 3 次）。若某个备用 LLM 也失败，则继续尝试顺序中的下一个模型。如果在重试次数限制内没有更多唯一的备用 LLM，系统可能会重试此前失败的备用模型。

  5. 延迟初始化： 仅在需要时初始化备用 LLM 连接，以优化资源使用。

ElevenLabs 在内部管理备用 LLM 的具体列表和顺序，并针对 性能和可用性进行优化。上述顺序代表当前默认设置，但可能会 在不另行通知的情况下更新。

自定义 LLM

配置 自定义 LLM 后，系统会跳过向 其他 模型级联的标准逻辑，转而尝试使用指定的自定义 LLM。

如果自定义 LLM 失败，系统会使用 同一个 自定义 LLM 多次重试请求（符合标准的最少重试次数），之后才将请求视为失败。系统不会回退到 ElevenLabs 托管的模型，从而确保遵循特定配置。

对于使用 Realtime 模型 的智能体，如果 Realtime 模型未及时响应，智能体会回退到备用 LLM。Realtime 模型决定智能体的等待时长。

优势

  • 可靠性更高： 降低特定 LLM 提供商临时问题带来的影响。
  • 可用性更高： 即使部分 LLM 服务中断，也能提高成功生成响应的概率。
  • 无缝运行： 回退机制会自动运行，终端用户无需感知。

配置

LLM 级联是自动进行的后台流程。唯一需要的配置是在智能体设置中选择 首选 LLM。其余部分由系统处理，以确保稳定性能。