Hoppa till navigering

LLM-kaskadering

Lär dig hur Agents Platform säkerställer tillförlitliga LLM-svar med en kaskadbaserad reservmekanism.

Översikt

Agents Platform använder en mekanism för LLM-kaskadering för att förbättra tillförlitligheten och robustheten i sina funktioner för textgenerering. Systemet försöker automatiskt använda reservmodeller för stora språkmodeller (LLM:er) om den primärt konfigurerade LLM:en misslyckas, vilket ger en smidigare och mer konsekvent användarupplevelse.

Fel kan inkludera API-fel, tidsgränser eller tomma svar från LLM-leverantören. Kaskadlogiken hanterar dessa situationer smidigt.

Så fungerar det

Kaskadprocessen följer en definierad sekvens:

  1. Försök med önskad LLM: Systemet försöker först generera ett svar med den LLM som valts i agentens konfiguration.

  2. Sekvens för reserv-LLM: Om den önskade LLM:en misslyckas växlar systemet automatiskt till en fördefinierad sekvens av reserv-LLM:er. Sekvensen har valts ut baserat på modellprestanda, hastighet och tillförlitlighet. Den aktuella standardsekvensen (som kan ändras) är:

    1. Gemini 3.5 Flash
    2. GPT-4o
    3. Gemini 3.5 Flash-Lite
    4. Claude Sonnet 4.6
  3. HIPAA-efterlevnad: Om agenten körs i ett läge som kräver strikt datasekretess (HIPAA-efterlevnad / ingen datalagring) filtreras reservlistan så att den endast innehåller kompatibla modeller från sekvensen ovan.

  4. Nya försök: Systemet försöker generera flera gånger (minst 3 försök) i sekvensen av tillgängliga LLM:er (önskad + reserver). Om även en reserv-LLM misslyckas fortsätter det till nästa i sekvensen. Om unika reserv-LLM:er tar slut inom försöksgränsen kan systemet försöka igen med tidigare misslyckade reservmodeller.

  5. Lat initiering: Anslutningar till reserv-LLM:er initieras endast vid behov, vilket optimerar resursanvändningen.

Den specifika listan och ordningen för reserv-LLM:er hanteras internt av ElevenLabs och optimeras för prestanda och tillgänglighet. Sekvensen ovan är den aktuella standarden, men kan uppdateras utan föregående meddelande.

Anpassade LLM:er

När du konfigurerar en anpassad LLM som din primära modell kringgås standardlogiken för kaskadering till modeller som driftas av ElevenLabs som standard. Systemet försöker använda din anpassade LLM och försöker, om den misslyckas, förfrågan igen med samma anpassade LLM flera gånger (i enlighet med det vanliga minsta antalet försök) innan förfrågan anses ha misslyckats.

Detta standardbeteende håller all trafik på din egen slutpunkt, men innebär att ett ihållande fel i din anpassade LLM avslutar samtalet. Konfigurera en anpassad reservkaskad som växlar till andra modeller för att hålla samtal igång när din anpassade LLM är otillgänglig.

Konfigurera en anpassad reservkaskad

En anpassad reservkaskad fungerar på samma sätt när en anpassad LLM är primär som för alla andra modeller. Ställ in agentens inställning för reserv-LLM på override och ange en order-array som listar modellerna som driftas av ElevenLabs att växla till, i turordning. Se fältet backup_llm_config i slutpunkterna Skapa agent och Uppdatera agent för exakt struktur.

Du kan också konfigurera detta i ElevenLabs kontrollpanel under Konfiguration av reserv-LLM genom att välja Anpassad och ordna reservmodellerna. Se Modeller för tillgängliga alternativ.

Kaskaden följer samma beteende för nya försök och tidsgränser som beskrivs ovan: varje modell i ordningen testas i tur och ordning, och systemet gör minst 3 försök i sekvensen (primär plus reserver) innan förfrågan anses ha misslyckats. Ange cascade_timeout_seconds (2–15 sekunder, standard 4) för att styra hur länge systemet väntar på en enskild modell innan det går vidare till nästa.

En anpassad LLM kan endast användas som primär modell — den kan inte listas i reservens order. Reservposter måste vara modeller som driftas av ElevenLabs.

När din anpassade LLM är primär och backup_llm_config är inställd på default eller disabled växlar systemet inte till modeller som driftas av ElevenLabs — ett ihållande fel i din anpassade LLM avslutar samtalet utan reserv. Använd override för att aktivera reservlösning. Ange endast disabled om du avsiktligt inte vill ha någon reservlösning (avråds starkt för produktion).

För en agent som använder en realtidsmodell växlar agenten till en reserv-LLM om realtidsmodellen inte svarar i tid. Realtidsmodellen anger hur länge agenten väntar.

Fördelar

  • Ökad tillförlitlighet: Minskar effekten av tillfälliga problem hos en specifik LLM-leverantör.
  • Högre tillgänglighet: Ökar sannolikheten för att generera ett svar även vid partiella LLM-avbrott.
  • Smidig drift: Reservmekanismen är automatisk och transparent för slutanvändaren.

Konfiguration

LLM-kaskadering är en automatisk bakgrundsprocess. Som standard behöver du bara välja din önskade LLM i agentens inställningar, så hanterar systemet resten.

För att anpassa reservbeteendet — även när du använder en anpassad LLM som primär — ställer du in agentens konfiguration av reserv-LLM på Standard, Anpassad eller Inaktiverad (se Anpassade LLM:er ovan).