> This is a page from the ElevenLabs documentation. For a complete page index, fetch https://elevenlabs.io/docs/llms.txt. For the full documentation in a single file, fetch https://elevenlabs.io/docs/llms-full.txt.

# LLM 级联

## 概览

Agents Platform 使用 LLM 级联机制，提升文本生成能力的可靠性和韧性。当配置的主大型语言模型（LLM）失败时，系统会自动尝试使用备用 LLM，确保更流畅、更一致的用户体验。

失败可能包括 API 错误、超时或 LLM 提供商返回空响应。级联逻辑会妥善处理这些情况。

## 工作原理

级联过程遵循以下顺序：

1. **尝试首选 LLM：** 系统首先尝试使用智能体配置中选择的 LLM 生成响应。

2. **备用 LLM 顺序：** 如果首选 LLM 失败，系统会自动回退到预定义的备用 LLM 顺序。该顺序根据模型性能、速度和可靠性制定。当前默认顺序（可能会变更）为：

   1. Gemini 2.5 Flash
   2. GPT-4o
   3. Gemini 2.5 Flash Lite
   4. Claude Sonnet 4.5

3. **HIPAA 合规：** 如果智能体在要求严格数据隐私的模式下运行（HIPAA 合规/零数据保留），备用列表将仅保留上述顺序中符合要求的模型。

4. **重试：** 系统会在可用 LLM 顺序中（首选 + 备用）多次重试生成过程（至少 3 次）。若某个备用 LLM 也失败，则继续尝试顺序中的下一个模型。如果在重试次数限制内没有更多唯一的备用 LLM，系统可能会重试此前失败的备用模型。

5. **延迟初始化：** 仅在需要时初始化备用 LLM 连接，以优化资源使用。

> **Info**
>
> ElevenLabs 在内部管理备用 LLM 的具体列表和顺序，并针对
> 性能和可用性进行优化。上述顺序代表当前默认设置，但可能会
> 在不另行通知的情况下更新。

## 自定义 LLM

配置 [自定义 LLM](/docs/zh/eleven-agents/customization/llm/custom-llm) 后，系统会跳过向 *其他* 模型级联的标准逻辑，转而尝试使用指定的自定义 LLM。

如果自定义 LLM 失败，系统会使用 *同一个* 自定义 LLM 多次重试请求（符合标准的最少重试次数），之后才将请求视为失败。系统不会回退到 ElevenLabs 托管的模型，从而确保遵循特定配置。

对于使用 [Realtime 模型](/docs/zh/eleven-agents/customization/realtime-models) 的智能体，如果 Realtime 模型未及时响应，智能体会回退到备用 LLM。Realtime 模型决定智能体的等待时长。

## 优势

* **可靠性更高：** 降低特定 LLM 提供商临时问题带来的影响。
* **可用性更高：** 即使部分 LLM 服务中断，也能提高成功生成响应的概率。
* **无缝运行：** 回退机制会自动运行，终端用户无需感知。

## 配置

LLM 级联是自动进行的后台流程。唯一需要的配置是在智能体设置中选择 **首选 LLM**。其余部分由系统处理，以确保稳定性能。