Passer à la navigation
Avancé

Cascades de LLM

Découvrez comment Agents Platform garantit des réponses LLM fiables grâce à un mécanisme de repli en cascade.

Vue d’ensemble

Agents Platform utilise un mécanisme de cascade de LLM afin de renforcer la fiabilité et la résilience de ses capacités de génération de texte. Si le LLM principal configuré échoue, ce système tente automatiquement d’utiliser des grands modèles de langage (LLM) de secours, pour offrir une expérience utilisateur plus fluide et cohérente.

Les échecs peuvent inclure des erreurs d’API, des délais d’expiration ou des réponses vides du fournisseur de LLM. La logique de cascade gère ces situations avec fiabilité.

Fonctionnement

Le processus de cascade suit une séquence définie :

  1. Tentative avec le LLM préféré : le système tente d’abord de générer une réponse à l’aide du LLM sélectionné dans la configuration de l’agent.

  2. Séquence de LLM de secours : si le LLM préféré échoue, le système utilise automatiquement une séquence prédéfinie de LLM de secours. Cette séquence est sélectionnée selon les performances, la vitesse et la fiabilité des modèles. La séquence par défaut actuelle, susceptible d’évoluer, est la suivante :

    1. Gemini 2.5 Flash
    2. GPT-4o
    3. Gemini 2.5 Flash Lite
    4. Claude Sonnet 4.5

  3. Conformité HIPAA : si l’agent fonctionne dans un mode exigeant une confidentialité stricte des données, conformité HIPAA ou mode zéro rétention, la liste de secours est filtrée pour n’inclure que les modèles conformes de la séquence ci-dessus.

  4. Nouvelles tentatives : le système relance plusieurs fois le processus de génération, avec au moins 3 tentatives, parmi la séquence des LLM disponibles, LLM préféré et modèles de secours. Si un LLM de secours échoue également, le système passe au suivant dans la séquence. S’il n’y a plus de LLM de secours uniques dans la limite de tentatives, il peut relancer des modèles de secours ayant déjà échoué.

  5. Initialisation différée : les connexions aux LLM de secours ne sont initialisées qu’en cas de besoin, ce qui optimise l’utilisation des ressources.

La liste précise et l’ordre des LLM de secours sont gérés en interne par ElevenLabs et optimisés pour la performance et la disponibilité. La séquence indiquée ci-dessus correspond à la valeur par défaut actuelle, mais peut être mise à jour sans préavis.

LLM personnalisés

Lorsque vous configurez un LLM personnalisé, la logique de cascade standard vers d’autres modèles est contournée. Le système tentera d’utiliser le LLM personnalisé que vous avez indiqué.

Si votre LLM personnalisé échoue, le système relancera plusieurs fois la requête avec le même LLM personnalisé, conformément au nombre minimal de tentatives standard, avant de considérer la requête comme ayant échoué. Il ne basculera pas vers des modèles hébergés par ElevenLabs, afin de respecter votre configuration spécifique.

Pour un agent utilisant un modèle Realtime, l’agent bascule vers un LLM de secours si le modèle Realtime ne répond pas à temps. Le modèle Realtime détermine la durée d’attente de l’agent.

Avantages

  • Fiabilité accrue : réduit l’impact de problèmes temporaires chez un fournisseur de LLM spécifique.
  • Disponibilité renforcée : augmente la probabilité de générer une réponse avec succès, même lors de pannes partielles de LLM.
  • Fonctionnement transparent : le mécanisme de repli est automatique et transparent pour l’utilisateur final.

Configuration

La cascade de LLM est un processus automatique en arrière-plan. La seule configuration requise consiste à sélectionner votre LLM préféré dans les paramètres de l’agent. Le système gère le reste pour garantir des performances fiables.