Modelli
ElevenAgents offre un’interfaccia unificata per collegare il tuo agente a più modelli e provider, garantendo flessibilità, affidabilità e ottimizzazione dei costi.
Invece di scegliere un modello qui, gli agenti vocali possono usare un modello Realtime, un modello ElevenLabs progettato per conversazioni vocali a bassa latenza.
Funzionalità principali
- Accesso unificato: passa da un provider e un modello all’altro con modifiche minime al codice
- Elevata affidabilità: passa automaticamente da un provider a un altro in caso di errore
- Monitoraggio della spesa: monitora la tua spesa sui diversi modelli
Modelli supportati
Al momento, i seguenti modelli sono supportati nativamente e possono essere configurati nelle impostazioni dell’agente:
I prezzi sono in genere indicati in USD per 1 milione di token, salvo diversa indicazione. Un token è un’unità fondamentale di dati testuali per gli LLM, equivalente in media a circa 4 caratteri.
LLM personalizzato
Puoi utilizzare il tuo LLM personalizzato specificando l’endpoint a cui dobbiamo inviare le richieste e fornendo le credenziali tramite il nostro archivio sicuro di segreti. Scopri di più sull’integrazione di LLM personalizzati.
Alcuni modelli non sono disponibili quando è abilitata la residenza dei dati nell’UE. Consulta GDPR e residenza dei dati per i dettagli sulla disponibilità.
Scegliere un modello
Per scegliere l’LLM più adatto alla tua applicazione, devi considerare diversi fattori:
- Complessità dell’attività: valuta i modelli rispetto ad attività rappresentative della tua applicazione
- Requisiti di latenza: per le conversazioni vocali in tempo reale, scegli un modello a bassa latenza e misura il tempo di risposta con i tuoi prompt e strumenti
- Dimensione della finestra di contesto: se la tua applicazione deve elaborare, comprendere o richiamare informazioni da conversazioni lunghe o documenti estesi, scegli modelli con finestre di contesto più ampie
- Convenienza economica: bilancia le prestazioni e le funzionalità desiderate con il tuo budget. I prezzi degli LLM possono variare notevolmente, quindi analizza la struttura dei prezzi (token di input, output e cache) in relazione ai modelli di utilizzo previsti
- Conformità HIPAA: se la tua applicazione coinvolge informazioni sanitarie protette (PHI), è fondamentale utilizzare un LLM designato come conforme a HIPAA e assicurarti che l’intero processo di gestione dei dati soddisfi gli standard normativi
La dimensione massima del prompt di sistema è di 2 MB e include le istruzioni dell’agente, i contenuti della knowledge base e altro contesto a livello di sistema.
Configurazione del modello
Temperatura
La temperatura controlla la casualità delle risposte del modello. Valori più bassi producono output più coerenti e mirati, mentre valori più alti aumentano creatività e varietà.
- Bassa (0.0-0.3): risposte deterministiche e coerenti per interazioni strutturate
- Media (0.4-0.7): equilibrio tra creatività e coerenza
- Alta (0.8-1.0): risposte creative e varie per conversazioni dinamiche
Configurazione degli LLM di backup
Configura gli LLM di backup per garantire la continuità delle conversazioni quando l’LLM principale non funziona o non è disponibile.
Opzioni di configurazione:
- Predefinita: utilizza la sequenza di fallback consigliata da ElevenLabs
- Personalizzata: definisci la tua sequenza a cascata di modelli di backup
- Disabilitata: nessun fallback (fortemente sconsigliato in produzione)
Disabilitare gli LLM di backup significa che le conversazioni termineranno bruscamente se l’LLM principale non funziona o non è disponibile. Questa scelta è fortemente sconsigliata per l’uso in produzione.
Scopri di più sul cascading degli LLM.
Ragionamento
Il ragionamento aiuta gli agenti a gestire decisioni complesse, come scegliere tra diversi strumenti, applicare policy o completare workflow in più passaggi. A seconda del modello, puoi controllare quanto ragionamento esegue tramite un budget di pensiero o un livello di impegno di ragionamento.
Budget di pensiero
Imposta il numero massimo di token di ragionamento tramite il cursore numerico. Budget più elevati possono aumentare il tempo di risposta. Imposta il budget su 0 per disabilitare il pensiero quando il modello lo consente.
Impegno di ragionamento
L’impegno di ragionamento controlla quanto il modello ragiona prima di rispondere. I livelli disponibili dipendono dal modello selezionato.
Inizia con un budget o un impegno più basso per gli agenti vocali in tempo reale, perché il pensiero aggiuntivo può ritardare l’alternanza dei turni. Aumentalo per le fasi del workflow che richiedono decisioni più complesse.
Riepilogo del ragionamento
Abilita il riepilogo del ragionamento per acquisire il ragionamento restituito dal modello durante il debug di risposte, chiamate di strumenti o percorsi del workflow. Attiva Riepilogo del ragionamento nelle impostazioni LLM dell’agente oppure imposta enable_reasoning_summary tramite l’API. L’impostazione è disattivata per impostazione predefinita.
Per gli endpoint personalizzati, consulta come ElevenLabs richiede e archivia il ragionamento.
Il contenuto del ragionamento è soggetto alle impostazioni di conservazione e oscuramento delle PII. Puoi accedervi tramite i seguenti canali:
Con la Modalità zero conservazione, ElevenLabs **non archivia i contenuti del ragionamento **. Vengono inviati solo ai client di chat e ai webhook post-chiamata.
Limitazioni
- La richiesta di un riepilogo del ragionamento può aumentare la latenza della risposta. Testalo prima di abilitarlo su agenti vocali sensibili alla latenza.
- I provider possono restituire un riepilogo, testo del pensiero, delta di ragionamento non elaborati oppure nessun contenuto visualizzabile.
Comprendere i prezzi
- Token: l’utilizzo degli LLM viene in genere fatturato in base al numero di token elaborati. Come indicazione generale per i testi in inglese, 100 token equivalgono approssimativamente a 75 parole
- Prezzi di input e output: i provider spesso differenziano i prezzi per i token di input (i dati che invii al modello) e quelli di output (i dati che il modello genera in risposta)
- Prezzi della cache:
input_cache_read: si riferisce al costo associato al recupero dalla cache di dati di input elaborati in precedenza. L’utilizzo di dati memorizzati nella cache può ridurre i costi se input identici vengono elaborati più volteinput_cache_write: è il costo associato alla memorizzazione dei dati di input in una cache. Alcuni provider di LLM possono addebitare questo tipo di operazione
- I prezzi indicati in questo documento si riferiscono a 1 milione di token e si basano sulle informazioni disponibili al momento della stesura. Questi prezzi sono soggetti a modifica da parte dei provider di LLM
- Prezzi pass-through: ElevenLabs applica i costi degli LLM di terze parti alla tariffa pubblicata dal provider, senza maggiorazioni. Alcuni modelli Gemini e Claude sono allineati ai prezzi regionali (non globali) di Vertex AI, applicati al traffico statunitense e dell’UE: un aumento del 10% sui token di input, output e cache, in linea con le tariffe regionali di Vertex
Per le funzionalità attuali dei modelli, i prezzi e i termini di servizio, consulta la documentazione del provider.
Conformità HIPAA
Alcuni LLM disponibili sulla nostra piattaforma possono essere adatti all’uso in ambienti che richiedono la conformità HIPAA. Per maggiori dettagli, consulta la documentazione sulla conformità HIPAA.
Risorse correlate
Modelli forniti da ElevenLabs
ElevenLabs offre l’accesso a una varietà di modelli IA, inclusi alcuni modelli di terze parti forniti da ElevenLabs.
Quando un modello è designato come “Fornito da ElevenLabs”, viene distribuito e gestito su un’infrastruttura gestita da ElevenLabs. Questi modelli sono attualmente forniti negli Stati Uniti o nella regione della tua distribuzione enterprise.
Come identificare i modelli forniti da ElevenLabs
I modelli forniti da ElevenLabs sono chiaramente etichettati nell’interfaccia di ElevenLabs. Cerca la dicitura “Fornito da ElevenLabs” quando esplori o selezioni i modelli.
Come vengono gestiti i tuoi dati
Per i modelli forniti da ElevenLabs, le richieste vengono elaborate all’interno dell’infrastruttura gestita da ElevenLabs. Ciò significa che il provider originale del modello non riceve, non accede né elabora gli input e gli output inviati tramite ElevenLabs.
Fornendo questi modelli, ElevenLabs può offrire un’esperienza coerente mantenendo il controllo sull’infrastruttura utilizzata per gestire le richieste ai modelli.
Domande frequenti
Dove vengono forniti i modelli self-hosted?
I modelli forniti da ElevenLabs sono attualmente disponibili su infrastrutture situate negli Stati Uniti o nella regione della tua distribuzione enterprise.
Il provider originale del modello accede ai miei dati o ai metadati del mio utilizzo?
Per i modelli forniti da ElevenLabs, lo sviluppatore originale del modello non riceve mai i tuoi input o output e non ha accesso ai dati relativi alla distribuzione che li elabora.
Come faccio a sapere se un modello è fornito da ElevenLabs?
I modelli forniti da ElevenLabs sono chiaramente identificati nell’interfaccia di ElevenLabs con la dicitura “Fornito da ElevenLabs”.