Hoppa till navigering
Avancerat

LLM-kaskad

Lär dig hur Agents Platform säkerställer tillförlitliga LLM-svar med en kaskadmekanism för reservlösningar.

Översikt

Agents Platform använder en LLM-kaskadmekanism för att förbättra tillförlitligheten och motståndskraften i sina funktioner för textgenerering. Systemet försöker automatiskt använda reservmodeller för stora språkmodeller (LLM:er) om den primärt konfigurerade LLM:en misslyckas, vilket ger en smidigare och mer konsekvent användarupplevelse.

Fel kan omfatta API-fel, tidsgränser eller tomma svar från LLM-leverantören. Kaskadlogiken hanterar dessa situationer på ett smidigt sätt.

Så fungerar det

Kaskadprocessen följer en definierad sekvens:

  1. Försök med föredragen LLM: Systemet försöker först generera ett svar med den LLM som valts i agentens konfiguration.

  2. Sekvens av reserv-LLM:er: Om den föredragna LLM:en misslyckas växlar systemet automatiskt till en fördefinierad sekvens av reserv-LLM:er. Den här sekvensen har sammanställts utifrån modellprestanda, hastighet och tillförlitlighet. Den nuvarande standardsekvensen (kan ändras) är:

    1. Gemini 2.5 Flash
    2. GPT-4o
    3. Gemini 2.5 Flash Lite
    4. Claude Sonnet 4.5

  3. HIPAA-efterlevnad: Om agenten arbetar i ett läge som kräver strikt datasekretess (HIPAA-efterlevnad / noll datalagring) filtreras reservlistan så att den endast innehåller kompatibla modeller från sekvensen ovan.

  4. Nya försök: Systemet försöker generera svaret flera gånger (minst 3 försök) i sekvensen av tillgängliga LLM:er (föredragen + reservmodeller). Om även en reserv-LLM misslyckas fortsätter systemet till nästa i sekvensen. Om de unika reserv-LLM:erna tar slut inom gränsen för antal försök kan tidigare misslyckade reservmodeller provas igen.

  5. Lat initiering: Anslutningar till reserv-LLM:er initieras endast vid behov, vilket optimerar resursanvändningen.

Den specifika listan och ordningen för reserv-LLM:er hanteras internt av ElevenLabs och optimeras för prestanda och tillgänglighet. Sekvensen ovan är den nuvarande standarden, men kan uppdateras utan föregående meddelande.

Anpassade LLM:er

När du konfigurerar en anpassad LLM kringgås den vanliga kaskadlogiken till andra modeller. Systemet försöker använda din angivna anpassade LLM.

Om din anpassade LLM misslyckas försöker systemet utföra begäran flera gånger med samma anpassade LLM (enligt det vanliga minsta antalet försök) innan begäran anses ha misslyckats. Det växlar inte till modeller som driftas av ElevenLabs, så att din specifika konfiguration respekteras.

För en agent som använder en Realtime-modell växlar agenten till en reserv-LLM om Realtime-modellen inte svarar i tid. Realtime-modellen avgör hur länge agenten väntar.

Fördelar

  • Ökad tillförlitlighet: Minskar påverkan av tillfälliga problem hos en specifik LLM-leverantör.
  • Högre tillgänglighet: Ökar sannolikheten för att ett svar genereras även vid partiella avbrott för LLM:er.
  • Smidig drift: Reservmekanismen är automatisk och transparent för slutanvändaren.

Konfiguration

LLM-kaskad är en automatisk bakgrundsprocess. Den enda konfiguration som krävs är att välja din föredragna LLM i agentens inställningar. Systemet hanterar resten för att säkerställa robust prestanda.