Cascata LLM
Panoramica
Agents Platform utilizza un meccanismo di cascata LLM per migliorare l’affidabilità e la resilienza delle proprie capacità di generazione di testo. Se l’LLM principale configurato non funziona, questo sistema tenta automaticamente di utilizzare Large Language Model (LLM) di backup, garantendo un’esperienza utente più fluida e coerente.
I problemi possono includere errori API, timeout o risposte vuote dal provider LLM. La logica a cascata gestisce queste situazioni in modo efficace.
Come funziona
Il processo a cascata segue una sequenza definita:
-
Tentativo con l’LLM preferito: il sistema tenta innanzitutto di generare una risposta utilizzando l’LLM selezionato nella configurazione dell’agente.
-
Sequenza di LLM di backup: se l’LLM preferito non funziona, il sistema passa automaticamente a una sequenza predefinita di LLM di backup. Questa sequenza è definita in base a prestazioni, velocità e affidabilità dei modelli. La sequenza predefinita attuale (soggetta a modifiche) è:
- Gemini 3.5 Flash
- GPT-4o
- Gemini 3.5 Flash-Lite
- Claude Sonnet 4.6
-
Conformità HIPAA: se l’agente opera in una modalità che richiede una rigorosa privacy dei dati (conformità HIPAA / zero data retention), l’elenco di backup viene filtrato per includere solo i modelli conformi della sequenza precedente.
-
Tentativi: il sistema riprova il processo di generazione più volte (almeno 3 tentativi) nella sequenza di LLM disponibili (preferito + backup). Se anche un LLM di backup non funziona, passa al successivo nella sequenza. Se esaurisce gli LLM di backup univoci entro il limite di tentativi, può riprovare modelli di backup non riusciti in precedenza.
-
Inizializzazione lazy: le connessioni agli LLM di backup vengono inizializzate solo quando necessario, ottimizzando l’uso delle risorse.
L’elenco specifico e l’ordine degli LLM di backup sono gestiti internamente da ElevenLabs e ottimizzati per prestazioni e disponibilità. La sequenza sopra elencata rappresenta l’impostazione predefinita attuale, ma può essere aggiornata senza preavviso.
LLM personalizzati
Quando configuri un LLM personalizzato come modello principale, la logica a cascata standard verso i modelli forniti da ElevenLabs viene aggirata per impostazione predefinita. Il sistema tenta di utilizzare il tuo LLM personalizzato e, se non funziona, riprova la richiesta più volte con lo stesso LLM personalizzato (rispettando il conteggio minimo standard di tentativi) prima di considerare la richiesta non riuscita.
Questa impostazione predefinita mantiene tutto il traffico sul tuo endpoint, ma significa che un problema persistente del tuo LLM personalizzato termina la conversazione. Per mantenere attive le conversazioni quando il tuo LLM personalizzato non è disponibile, configura una cascata di backup personalizzata che passi ad altri modelli.
Configurare una cascata di backup personalizzata
Una cascata di backup personalizzata funziona allo stesso modo quando un LLM personalizzato è il modello principale e quando lo è qualsiasi altro modello. Imposta la preferenza LLM di backup dell’agente su override e fornisci un array order che elenchi in sequenza i modelli forniti da ElevenLabs da usare come fallback. Consulta il campo backup_llm_config negli endpoint Crea agente e Aggiorna agente per la struttura esatta.
Puoi configurarlo anche nella dashboard di ElevenLabs, in Configurazione LLM di backup, selezionando Personalizzata e ordinando i modelli di fallback. Consulta Modelli per le opzioni disponibili.
La cascata segue lo stesso comportamento di tentativi e timeout descritto sopra: ogni modello nell’ordine viene provato a turno e il sistema effettua almeno 3 tentativi nella sequenza (modello principale più backup) prima di considerare la richiesta non riuscita. Imposta cascade_timeout_seconds (2–15 secondi, valore predefinito 4) per controllare quanto tempo il sistema attende un singolo modello prima di passare al successivo.
Un LLM personalizzato può essere utilizzato solo come modello principale: non può essere elencato nell’order di backup.
Le voci di backup devono essere modelli forniti da ElevenLabs.
Quando il tuo LLM personalizzato è il modello principale e backup_llm_config è impostato su default o disabled, il
sistema non passa ai modelli forniti da ElevenLabs: un problema persistente del tuo LLM personalizzato
termina la conversazione senza backup. Usa override per abilitare il fallback. Imposta disabled solo se
vuoi intenzionalmente non avere fallback (fortemente sconsigliato in produzione).
In un agente che usa un modello Realtime, l’agente passa a un LLM di backup se il modello Realtime non risponde in tempo. Il modello Realtime stabilisce per quanto tempo l’agente attende.
Vantaggi
- Maggiore affidabilità: riduce l’impatto di problemi temporanei con un provider LLM specifico.
- Maggiore disponibilità: aumenta la probabilità di generare correttamente una risposta anche durante interruzioni parziali degli LLM.
- Funzionamento senza interruzioni: il meccanismo di fallback è automatico e trasparente per l’utente finale.
Configurazione
La cascata LLM è un processo automatico in background. Per impostazione predefinita, l’unica configurazione necessaria è selezionare il tuo LLM preferito nelle impostazioni dell’agente; il sistema gestisce il resto.
Per personalizzare il comportamento di fallback, anche quando usi un LLM personalizzato come modello principale, imposta la Configurazione LLM di backup dell’agente su Predefinita, Personalizzata o Disabilitata (consulta LLM personalizzati sopra).