Skip to navigation
Geavanceerd

LLM-cascadering

Leer hoe Agents Platform betrouwbare LLM-antwoorden waarborgt met een trapsgewijs fallbackmechanisme.

Overzicht

Agents Platform gebruikt een LLM-cascaderingsmechanisme om de betrouwbaarheid en robuustheid van de mogelijkheden voor tekstgeneratie te verbeteren. Dit systeem probeert automatisch reserve-Large Language Models (LLM’s) te gebruiken als de primair geconfigureerde LLM faalt, voor een soepelere en consistentere gebruikerservaring.

Fouten kunnen API-fouten, time-outs of lege antwoorden van de LLM-provider omvatten. De cascadingslogica handelt deze situaties netjes af.

Zo werkt het

Het cascadeproces volgt een vaste volgorde:

  1. Poging met voorkeurs-LLM: Het systeem probeert eerst een antwoord te genereren met de LLM die is geselecteerd in de configuratie van de agent.

  2. Volgorde van reserve-LLM’s: Als de voorkeurs-LLM faalt, valt het systeem automatisch terug op een vooraf gedefinieerde volgorde van reserve-LLM’s. Deze volgorde is samengesteld op basis van modelprestaties, snelheid en betrouwbaarheid. De huidige standaardvolgorde (kan veranderen) is:

    1. Gemini 2.5 Flash
    2. GPT-4o
    3. Gemini 2.5 Flash Lite
    4. Claude Sonnet 4.5

  3. HIPAA-naleving: Als de agent werkt in een modus die strikte gegevensprivacy vereist (HIPAA-naleving / geen gegevensretentie), wordt de reservelijst gefilterd zodat deze alleen compatibele modellen uit de bovenstaande volgorde bevat.

  4. Nieuwe pogingen: Het systeem probeert het generatieproces meerdere keren opnieuw (minimaal 3 pogingen) met de beschikbare LLM’s in de volgorde (voorkeur + reserves). Als een reserve-LLM ook faalt, gaat het door naar de volgende in de volgorde. Als de unieke reserve-LLM’s binnen de limiet voor nieuwe pogingen op zijn, kan het eerder mislukte reservemodellen opnieuw proberen.

  5. Luie initialisatie: Verbindingen met reserve-LLM’s worden alleen geïnitialiseerd wanneer dat nodig is, waardoor het gebruik van resources wordt geoptimaliseerd.

De specifieke lijst en volgorde van reserve-LLM’s worden intern beheerd door ElevenLabs en geoptimaliseerd voor prestaties en beschikbaarheid. De bovenstaande volgorde is de huidige standaard, maar kan zonder kennisgeving worden bijgewerkt.

Aangepaste LLM’s

Wanneer je een aangepaste LLM configureert, wordt de standaardcascaderingslogica naar andere modellen omzeild. Het systeem probeert je opgegeven aangepaste LLM te gebruiken.

Als je aangepaste LLM faalt, probeert het systeem de request meerdere keren opnieuw met dezelfde aangepaste LLM (overeenkomstig het standaardminimum voor nieuwe pogingen) voordat de request als mislukt wordt beschouwd. Het valt niet terug op door ElevenLabs gehoste modellen, zodat je specifieke configuratie wordt gerespecteerd.

Voordelen

  • Betere betrouwbaarheid: Vermindert de impact van tijdelijke problemen bij een specifieke LLM-provider.
  • Hogere beschikbaarheid: Vergroot de kans op het succesvol genereren van een antwoord, zelfs tijdens gedeeltelijke uitval van LLM’s.
  • Naadloze werking: Het fallbackmechanisme is automatisch en transparant voor de eindgebruiker.

Configuratie

LLM-cascadering is een automatisch achtergrondproces. De enige vereiste configuratie is het selecteren van je Voorkeurs-LLM in de instellingen van de agent. Het systeem regelt de rest om robuuste prestaties te waarborgen.