跳到导航
高级

LLM 级联

了解 Agents Platform 如何通过级联回退机制确保 LLM 响应可靠。

概述

Agents Platform 采用 LLM 级联机制，提升文本生成能力的可靠性和韧性。若配置的主大语言模型（LLM）失败，系统会自动尝试使用备用模型，从而提供更流畅、更一致的用户体验。

失败可能包括 API 错误、超时或 LLM 提供商返回空响应。级联逻辑可妥善处理这些情况。

工作原理

级联流程遵循既定顺序：

  1. 首选 LLM 尝试： 系统会先使用智能体配置中选择的 LLM 生成响应。

  2. 备用 LLM 顺序： 如果首选 LLM 失败，系统会自动回退到预定义的备用 LLM 顺序。该顺序根据模型性能、速度和可靠性精心制定。当前默认顺序（可能变更）为：

    1. Gemini 3.5 Flash
    2. GPT-4o
    3. Gemini 3.5 Flash-Lite
    4. Claude Sonnet 4.6

  3. HIPAA 合规性： 如果智能体运行在要求严格数据隐私的模式下（HIPAA 合规性／零数据保留），备用列表将仅保留上述顺序中符合要求的模型。

  4. 重试： 系统会在可用 LLM 顺序中（首选模型 + 备用模型）多次重试生成流程（至少尝试 3 次）。如果某个备用 LLM 也失败，系统会继续尝试顺序中的下一个模型。如果在重试次数限制内用尽所有不同的备用 LLM，系统可能会重新尝试之前失败的备用模型。

  5. 延迟初始化： 仅在需要时初始化备用 LLM 连接，从而优化资源使用。

备用 LLM 的具体列表和顺序由 ElevenLabs 内部管理，并针对性能和可用性进行优化。 上述顺序为当前默认值，但可能会在不另行通知的情况下更新。

自定义 LLM

将自定义 LLM配置为主模型时，默认会绕过级联至 ElevenLabs 托管模型的标准逻辑。系统会尝试使用自定义 LLM；如果失败，会使用_同一个_自定义 LLM 多次重试请求（与标准最低重试次数一致），然后才将请求视为失败。

此默认设置会让所有流量都留在自己的端点上，但也意味着自定义 LLM 持续失败时，对话将结束。若要在自定义 LLM 不可用时保持对话运行，请配置一个回退到其他模型的自定义备用级联。

配置自定义备用级联

无论主模型是自定义 LLM 还是其他模型，自定义备用级联的工作方式相同。将智能体的备用 LLM 偏好设为 override，并提供一个 order 数组，按顺序列出要回退到的 ElevenLabs 托管模型。具体结构请参阅创建智能体和更新智能体端点中的 backup_llm_config 字段。

也可在 ElevenLabs 控制台的 备用 LLM 配置 中选择 自定义，然后排列回退模型。 可用选项请参阅模型。

级联遵循上述相同的重试和超时行为：按顺序依次尝试每个模型，系统会在将请求视为失败前，跨整个顺序（主模型加备用模型）至少尝试 3 次。设置 cascade_timeout_seconds（2–15 秒，默认值为 4）可控制系统在转向下一个模型前等待单个模型的时长。

自定义 LLM 只能作为主模型使用，不能列在备用 order 中。 备用条目必须是 ElevenLabs 托管模型。

当自定义 LLM 为主模型且 backup_llm_config 设为 default 或 disabled 时， 系统不会回退到 ElevenLabs 托管模型——自定义 LLM 持续失败将导致对话结束，且没有备用模型。 使用 override 启用回退。只有在明确不需要回退时才应设置 disabled（强烈不建议在生产环境中使用）。

对于使用实时模型的智能体，如果实时模型未及时响应，智能体会回退到备用 LLM。实时模型决定智能体的等待时长。

优势

  • 提升可靠性： 降低特定 LLM 提供商临时问题带来的影响。
  • 更高可用性： 即使 LLM 出现部分故障，也能提高成功生成响应的概率。
  • 无缝运行： 回退机制自动运行，对最终用户透明。

配置

LLM 级联是自动执行的后台流程。默认情况下，只需在智能体设置中选择 首选 LLM，其余部分由系统处理。

如需自定义回退行为，包括将自定义 LLM 用作主模型时，请将智能体的 备用 LLM 配置 设为 默认、自定义 或 已禁用（请参阅上文自定义 LLM）。