Avanzado

Cascada de LLM

Descubre cómo Agents Platform garantiza respuestas fiables de los LLM mediante un mecanismo de respaldo en cascada.

Resumen

Agents Platform utiliza un mecanismo en cascada de LLM para mejorar la fiabilidad y la resiliencia de sus capacidades de generación de texto. Este sistema intenta usar automáticamente modelos de lenguaje grandes (LLM) de respaldo si falla el LLM principal configurado, lo que garantiza una experiencia de usuario más fluida y consistente.

Los fallos pueden incluir errores de API, tiempos de espera agotados o respuestas vacías del proveedor de LLM. La lógica en cascada gestiona estas situaciones correctamente.

Cómo funciona

El proceso en cascada sigue una secuencia definida:

  1. Intento con el LLM preferido: El sistema intenta primero generar una respuesta con el LLM seleccionado en la configuración del agente.

  2. Secuencia de LLM de respaldo: Si falla el LLM preferido, el sistema recurre automáticamente a una secuencia predefinida de LLM de respaldo. Esta secuencia se selecciona en función del rendimiento, la velocidad y la fiabilidad de los modelos. La secuencia predeterminada actual (sujeta a cambios) es:

    1. Gemini 2.5 Flash
    2. GPT-4o
    3. Gemini 2.5 Flash Lite
    4. Claude Sonnet 4.5

  3. Cumplimiento de HIPAA: Si el agente opera en un modo que requiere una privacidad de datos estricta (cumplimiento de HIPAA / retención de datos cero), la lista de respaldo se filtra para incluir únicamente modelos compatibles de la secuencia anterior.

  4. Reintentos: El sistema vuelve a intentar el proceso de generación varias veces (al menos 3 intentos) en la secuencia de LLM disponibles (preferido + respaldos). Si también falla un LLM de respaldo, pasa al siguiente de la secuencia. Si se queda sin LLM de respaldo únicos dentro del límite de reintentos, puede volver a intentar modelos de respaldo que hayan fallado anteriormente.

  5. Inicialización diferida: Las conexiones de los LLM de respaldo solo se inicializan cuando son necesarias, lo que optimiza el uso de recursos.

ElevenLabs gestiona internamente la lista específica y el orden de los LLM de respaldo, y los optimiza para obtener rendimiento y disponibilidad. La secuencia indicada arriba representa la predeterminada actual, pero puede actualizarse sin previo aviso.

LLM personalizados

Cuando configuras un LLM personalizado, se omite la lógica en cascada estándar hacia otros modelos. El sistema intentará usar el LLM personalizado que hayas especificado.

Si falla tu LLM personalizado, el sistema volverá a intentar la solicitud varias veces con el mismo LLM personalizado (respetando el número mínimo de reintentos estándar) antes de considerar que la solicitud ha fallado. No recurrirá a modelos alojados por ElevenLabs, para garantizar que se respete tu configuración específica.

Ventajas

  • Mayor fiabilidad: Reduce el impacto de los problemas temporales con un proveedor de LLM específico.
  • Mayor disponibilidad: Aumenta la probabilidad de generar una respuesta correctamente incluso durante interrupciones parciales de los LLM.
  • Funcionamiento fluido: El mecanismo de respaldo es automático y transparente para el usuario final.

Configuración

La cascada de LLM es un proceso automático en segundo plano. La única configuración necesaria es seleccionar tu LLM preferido en los ajustes del agente. El sistema se encarga del resto para garantizar un rendimiento robusto.