Cascata di LLM

Scopri come Agents Platform garantisce risposte LLM affidabili usando un meccanismo di fallback a cascata.

Panoramica

Agents Platform utilizza un meccanismo a cascata di LLM per migliorare l’affidabilità e la resilienza delle sue funzionalità di generazione del testo. Se l’LLM principale configurato non funziona, questo sistema prova automaticamente a utilizzare modelli linguistici di grandi dimensioni (LLM) di backup, garantendo un’esperienza utente più fluida e coerente.

I problemi possono includere errori API, timeout o risposte vuote dal provider LLM. La logica a cascata gestisce queste situazioni in modo efficace.

Come funziona

Il processo a cascata segue una sequenza definita:

Tentativo con l’LLM preferito: il sistema prova innanzitutto a generare una risposta utilizzando l’LLM selezionato nella configurazione dell’agente.
Sequenza di LLM di backup: se l’LLM preferito non funziona, il sistema passa automaticamente a una sequenza predefinita di LLM di backup. Questa sequenza è curata in base alle prestazioni, alla velocità e all’affidabilità dei modelli. L’attuale sequenza predefinita, soggetta a modifiche, è:
1. Gemini 2.5 Flash
2. GPT-4o
3. Gemini 2.5 Flash Lite
4. Claude Sonnet 4.5
Conformità HIPAA: se l’agente opera in una modalità che richiede una rigorosa privacy dei dati, ovvero conformità HIPAA o conservazione zero dei dati, l’elenco di backup viene filtrato per includere solo i modelli conformi della sequenza sopra indicata.
Nuovi tentativi: il sistema riprova il processo di generazione più volte, almeno 3 tentativi, nella sequenza di LLM disponibili (preferito + backup). Se anche un LLM di backup non funziona, passa al successivo nella sequenza. Se esaurisce gli LLM di backup univoci entro il limite di tentativi, potrebbe riprovare modelli di backup che non avevano funzionato in precedenza.
Inizializzazione ritardata: le connessioni agli LLM di backup vengono inizializzate solo quando necessario, ottimizzando l’uso delle risorse.

L’elenco specifico e l’ordine degli LLM di backup sono gestiti internamente da ElevenLabs e ottimizzati per prestazioni e disponibilità. La sequenza indicata sopra rappresenta l’impostazione predefinita attuale, ma può essere aggiornata senza preavviso.

LLM personalizzati

Quando configuri un LLM personalizzato, la logica a cascata standard verso altri modelli viene bypassata. Il sistema proverà a utilizzare l’LLM personalizzato specificato.

Se il tuo LLM personalizzato non funziona, il sistema riproverà la richiesta più volte con lo stesso LLM personalizzato, rispettando il numero minimo standard di tentativi, prima di considerare la richiesta non riuscita. Non passerà ai modelli forniti da ElevenLabs, garantendo il rispetto della tua configurazione specifica.

Per un agente che utilizza un modello Realtime, l’agente passa a un LLM di backup se il modello Realtime non risponde in tempo. Il modello Realtime stabilisce per quanto tempo l’agente attende.

Vantaggi

Maggiore affidabilità: riduce l’impatto di problemi temporanei con uno specifico provider LLM.
Maggiore disponibilità: aumenta la probabilità di generare correttamente una risposta anche durante interruzioni parziali degli LLM.
Funzionamento senza interruzioni: il meccanismo di fallback è automatico e trasparente per l’utente finale.

Configurazione

La cascata di LLM è un processo automatico in background. L’unica configurazione richiesta è selezionare il tuo LLM preferito nelle impostazioni dell’agente. Il sistema gestisce il resto per garantire prestazioni affidabili.