Naar navigatie springen

LLM-cascadering

Lees hoe Agents Platform betrouwbare LLM-reacties waarborgt met een trapsgewijs fallbackmechanisme.

Overzicht

Agents Platform gebruikt een LLM-cascaderingsmechanisme om de betrouwbaarheid en robuustheid van de mogelijkheden voor tekstgeneratie te verbeteren. Dit systeem probeert automatisch backup Large Language Models (LLM’s) te gebruiken als de geconfigureerde primaire LLM uitvalt, voor een soepelere en consistentere gebruikerservaring.

Storingen kunnen API-fouten, time-outs of lege reacties van de LLM-provider omvatten. De cascadelogica handelt deze situaties probleemloos af.

Hoe het werkt

Het cascadeproces volgt een vaste volgorde:

  1. Poging met voorkeurs-LLM: Het systeem probeert eerst een reactie te genereren met de LLM die is geselecteerd in de configuratie van de agent.

  2. Volgorde van backup-LLM’s: Als de voorkeurs-LLM uitvalt, schakelt het systeem automatisch over naar een vooraf bepaalde reeks backup-LLM’s. Deze volgorde is samengesteld op basis van modelprestaties, snelheid en betrouwbaarheid. De huidige standaardvolgorde (onder voorbehoud van wijzigingen) is:

    1. Gemini 3.5 Flash
    2. GPT-4o
    3. Gemini 3.5 Flash-Lite
    4. Claude Sonnet 4.6
  3. HIPAA-naleving: Als de agent werkt in een modus die strikte gegevensprivacy vereist (HIPAA-naleving / zero data retention), wordt de back-uplijst gefilterd zodat alleen conforme modellen uit de bovenstaande volgorde worden opgenomen.

  4. Nieuwe pogingen: Het systeem probeert het generatieproces meerdere keren opnieuw (minimaal 3 pogingen) binnen de volgorde van beschikbare LLM’s (voorkeur + backups). Als een backup-LLM ook uitvalt, gaat het door naar de volgende in de volgorde. Als de unieke backup-LLM’s binnen de limiet voor nieuwe pogingen opraken, kan het eerder mislukte backupmodellen opnieuw proberen.

  5. Luie initialisatie: Verbindingen met backup-LLM’s worden alleen geïnitialiseerd wanneer dat nodig is, waardoor het gebruik van resources wordt geoptimaliseerd.

De specifieke lijst en volgorde van backup-LLM’s worden intern beheerd door ElevenLabs en geoptimaliseerd voor prestaties en beschikbaarheid. De hierboven vermelde volgorde is de huidige standaard, maar kan zonder voorafgaande kennisgeving worden bijgewerkt.

Aangepaste LLM’s

Wanneer je een aangepaste LLM als primair model configureert, wordt de standaardcascadelogica naar door ElevenLabs gehoste modellen standaard omzeild. Het systeem probeert je aangepaste LLM te gebruiken en probeert bij een fout de request meerdere keren opnieuw met dezelfde aangepaste LLM (met het standaard minimale aantal nieuwe pogingen) voordat de request als mislukt wordt beschouwd.

Deze standaardinstelling houdt al het verkeer op je eigen endpoint, maar betekent dat een aanhoudende storing van je aangepaste LLM het gesprek beëindigt. Configureer een aangepaste backupcascade die op andere modellen terugvalt om gesprekken te laten doorgaan wanneer je aangepaste LLM niet beschikbaar is.

Een aangepaste backupcascade configureren

Een aangepaste backupcascade werkt hetzelfde wanneer een aangepaste LLM primair is als voor elk ander model. Stel de voorkeur voor backup-LLM’s van de agent in op override en geef een array order op met de door ElevenLabs gehoste modellen waarop je achtereenvolgens wilt terugvallen. Bekijk het veld backup_llm_config op de endpoints Create agent en Update agent voor de exacte structuur.

Je kunt dit ook configureren in het ElevenLabs-dashboard onder Configuratie van backup-LLM’s door Aangepast te selecteren en de fallbackmodellen te rangschikken. Bekijk Modellen voor de beschikbare opties.

De cascade volgt hetzelfde hierboven beschreven gedrag voor nieuwe pogingen en time-outs: elk model in de volgorde wordt op zijn beurt geprobeerd en het systeem doet minimaal 3 pogingen binnen de volgorde (primair plus backups) voordat de request als mislukt wordt beschouwd. Stel cascade_timeout_seconds in (2–15 seconden, standaard 4) om te bepalen hoe lang het systeem op één model wacht voordat het naar het volgende gaat.

Een aangepaste LLM kan alleen als primair model worden gebruikt — deze kan niet in de backup-order worden opgenomen. Backupvermeldingen moeten door ElevenLabs gehoste modellen zijn.

Wanneer je aangepaste LLM primair is en backup_llm_config is ingesteld op default of disabled, valt het systeem niet terug op door ElevenLabs gehoste modellen — een aanhoudende storing van je aangepaste LLM beëindigt het gesprek zonder backup. Gebruik override om fallback in te schakelen. Stel disabled alleen in als je bewust geen fallback wilt (sterk afgeraden voor productie).

Bij een agent die een Realtime-model gebruikt, valt de agent terug op een backup-LLM als het Realtime-model niet op tijd reageert. Het Realtime-model bepaalt hoe lang de agent wacht.

Voordelen

  • Grotere betrouwbaarheid: Vermindert de impact van tijdelijke problemen bij een specifieke LLM-provider.
  • Hogere beschikbaarheid: Vergroot de kans dat met succes een reactie wordt gegenereerd, ook tijdens gedeeltelijke LLM-storingen.
  • Naadloze werking: Het fallbackmechanisme is automatisch en transparant voor de eindgebruiker.

Configuratie

LLM-cascadering is een automatisch achtergrondproces. Standaard hoef je alleen je Voorkeurs-LLM te selecteren in de instellingen van de agent; het systeem regelt de rest.

Als je het fallbackgedrag wilt aanpassen — ook wanneer je een aangepaste LLM als primaire LLM gebruikt — stel je de Configuratie van backup-LLM’s van de agent in op Standaard, Aangepast of Uitgeschakeld (zie Aangepaste LLM’s hierboven).