Modelli a cascata vs modelli fusi: come l’architettura determina se il tuo agente vocale è pronto per l’enterprise

La maggior parte delle persone pensa che gli agenti vocali siano realizzati utilizzando un'architettura a cascata o fusa. In pratica, gli agenti vengono progettati lungo uno spettro tra le due, con cinque architetture comunemente usate a seconda dell'applicazione.

L'architettura dell'agente ne determina la capacità di comportarsi in modo affidabile in produzione, adattarsi a requisiti aziendali specifici e risultare naturale nella conversazione. Un'architettura basata sulla fusione, come il modello Realtime di OpenAI, può sembrare incredibilmente realistica negli scambi brevi. Ma quando i team devono applicare guardrail di conformità normativa, eseguire il debug di una risposta non riuscita o sostituire l'LLM con uno più potente quando ne viene lanciato uno il mese prossimo, una singola rete fusa offre poche possibilità di intervento.

In ElevenLabs utilizziamo un'architettura avanzata basata su una cascata. Sfruttiamo componenti specializzati per il riconoscimento vocale, il ragionamento e la generazione del parlato, ottenendo alti livelli di intelligenza e affidabilità. Aggiungiamo prosodia contestuale, ottimizzazione per bassa latenza e gestione intelligente dei turni di parola, così le conversazioni scorrono in modo naturale. Abbiamo scelto questo approccio perché le aziende e le istituzioni pubbliche con cui lavoriamo richiedono agenti che suonino realistici e siano affidabili in produzione anche per attività complesse. 

In questo articolo analizziamo le cinque principali architetture, i loro punti di forza, i loro limiti e come concepiamo le basi per agenti implementati in workflow critici.

Cosa valutano i team quando scelgono un'architettura

Le domande che i team si pongono rientrano in genere in tre categorie.

Può gestire attività complesse?

• Flessibilità di ragionamento e del modello: Puoi scegliere i modelli migliori per il tuo caso d'uso, inclusi gli LLM più potenti disponibili, e aggiornarli quando diventano disponibili opzioni migliori?
• Logica dell'agente: Puoi definire e controllare i flussi conversazionali, le regole decisionali e i percorsi di escalation seguiti dal tuo agente?
• Uso degli strumenti: L'architettura può supportare tool calling in più passaggi e integrazioni con sistemi esterni?

Suonerà e sembrerà umano?

• Prosodia: L'agente offre ritmo, intonazione e tono emotivo naturali?
• Latenza: Le risposte sono abbastanza rapide da rendere naturale la conversazione?
• Gestione dei turni di parola: L'agente sa quando parlare, fare una pausa o cedere il turno?

Posso fidarmi in produzione?

• Affidabilità: L'agente si comporta in modo prevedibile e coerente o si discosta nel tempo?
• Guardrail: L'architettura può applicare protezioni contro risposte indesiderate o utenti avversari?
• Trasparenza: L'architettura produce output intermedi o è una scatola nera?

I compromessi tra architetture a cascata e fuse

Le architetture basate su una cascata vengono create concatenando componenti specializzati: Speech to Text (STT), un Large Language Model e Text to Speech (TTS). Ogni fase può essere ottimizzata, testata e aggiornata in modo indipendente. 

Architettura a cascata

Questa modularità rende le architetture a cascata la base della maggior parte degli agenti di livello enterprise. Ogni fase produce output ispezionabili: testo leggibile tra STT e LLM e tra LLM e TTS. I guardrail possono essere applicati a livello di testo, è possibile integrare l'LLM frontier più recente senza modificare i modelli vocali e, quando qualcosa non funziona, in genere è possibile identificare l'origine del problema.

La critica di lunga data alle architetture a cascata è che perdono i segnali prosodici. Il parlato viene ridotto a testo e intonazione, ritmo ed emozione devono essere ricostruiti in fase di output. Questi segnali possono essere recuperati in parte tramite una modellazione esplicita, ma non vengono acquisiti con la stessa naturalezza degli approcci fusi. Altre dimensioni, come la latenza e la gestione dei turni di parola, in genere possono essere ottimizzate per raggiungere livelli di prestazioni comparabili in entrambi gli approcci.

Modello fuso

Le architetture fuse adottano un approccio fondamentalmente diverso. Riconoscimento, ragionamento e generazione avvengono tutti all'interno di un'unica rete multimodale. L'audio entra ed esce, senza alcun livello ispezionabile nel mezzo.

L'assenza di fasi intermedie è al tempo stesso il vantaggio e il limite. Un'architettura fusa può preservare naturalmente i segnali prosodici, perché il parlato non viene mai scomposto in testo. Tuttavia, la possibilità di applicare guardrail, sostituire singoli componenti o ispezionare gli output intermedi per il debug è limitata. Esistono inoltre vincoli sul fine-tuning dell'STT per la terminologia specifica di un settore o sull'integrazione di un LLM diverso per un ragionamento più solido e il tool calling. Il sistema è un'unica rete e i team sono limitati alle capacità di ragionamento con cui viene fornita, il che oggi significa core più leggeri che non possono eguagliare gli LLM frontier nelle attività complesse.

Le cinque architetture

1. Cascata di base

L'audio viene trascritto, l'LLM genera una risposta testuale e il TTS la pronuncia. Ogni fase opera su testo semplice, quindi puoi vedere, testare e controllare tutto.

I vantaggi in termini di affidabilità sono chiari: guardrail a livello di testo, flussi conversazionali deterministici e audit trail completi. Poiché l'LLM è un componente indipendente, puoi abbinare l'agente al modello frontier che offre le migliori capacità di ragionamento o tool calling e aggiornarlo non appena ne viene lanciato uno migliore. Il punto debole è la qualità della conversazione: senza un TTS contestuale, l'agente suona funzionale ma piatto. Non c'è adattamento emotivo né variazione prosodica: può andar bene per comunicare il saldo di un conto, ma non per gestire un cliente frustrato.

Esempi di casi d'uso:

• Sostituzione dei sistemi IVR nelle telecomunicazioni e nei servizi di pubblica utilità
• Gestione delle FAQ per l'onboarding SaaS
• Notifiche in uscita come conferme di appuntamenti, promemoria per prescrizioni e avvisi di consegna, quando la coerenza conta più della cordialità

2. Cascata avanzata

La stessa architettura modulare, ma con più componenti che operano ora con un contesto più ricco. È ciò che abbiamo realizzato con Expressive Mode in ElevenAgents.

Il modello STT Scribe v2 Realtime produce trascrizioni rapide e accurate, basandosi sul contesto precedente della conversazione. Partendo dal testo, l'LLM indica al TTS come pronunciare il parlato, non solo cosa dire, ad esempio "in modo rassicurante", "con enfasi", "con urgenza", adattando dinamicamente il tono nel corso della conversazione. Il sistema di gestione dei turni di parola sfrutta gli stessi segnali, consentendo all'agente di stabilire quando rispondere e quando cedere il turno. I modelli vocali sono collocati insieme in un unico stack, senza passaggi di rete tra i componenti, per mantenere bassa la latenza.

L'architettura conserva tutti i vantaggi della cascata di base: trasparenza completa, guardrail a livello di testo, componenti sostituibili, ottimizzazione per dominio e accesso ai modelli di tool calling e ragionamento più potenti disponibili. Aggiunge una prosodia, latenza e gestione dei turni di parola sensibilmente migliori. I team possono integrare un nuovo LLM frontier nella settimana in cui viene lanciato oppure eseguire il fine-tuning di STT per il settore sanitario per la terminologia specifica, senza dover ricostruire alcun altro componente.

Esempi di casi d'uso:

• Assistenza clienti nei servizi finanziari, dove un tono empatico nelle chiamate relative a un addebito contestato si combina con rigorosi guardrail di conformità normativa e la registrazione completa delle interazioni
• Receptionist sanitari che effettuano il triage delle chiamate dei pazienti con il giusto livello di urgenza, flussi conformi all'HIPAA e riconoscimento vocale ottimizzato per dominio e terminologia medica
• Assistenti alle vendite che mantengono un tono caldo e persuasivo, seguendo al contempo un playbook strutturato e inviando aggiornamenti al CRM

3. Cascata ibrida e fusa

Alcune architetture inviano le caratteristiche acustiche (pronuncia, emozione, tono) del parlato in input direttamente all'LLM come embedding, anziché convertirle prima in testo. Il TTS rimane modulare.

Ciò fornisce all'LLM informazioni più ricche su come viene detto qualcosa, non solo su cosa viene detto, il che è utile per applicazioni specifiche. Il blocco ASR+LLM fuso è più difficile da sottoporre ad audit rispetto a un chiaro passaggio di testo, perché la rappresentazione intermedia è un embedding, non qualcosa che una persona può leggere. Anche l'LLM non è più facilmente sostituibile, il che limita le tue capacità di ragionamento e tool calling al modello su cui è stato costruito il blocco fuso.

Esempi di casi d'uso:

• Apprendimento delle lingue e coaching sulla pronuncia, dove ascoltare come parla uno studente è importante quanto ciò che dice
• Assistenza sensibile al tono e poco complessa, dove rilevare la frustrazione è importante ma l'attività in sé è semplice.

4. Fusa sequenziale

Un unico modello multimodale gestisce riconoscimento, ragionamento e generazione in un solo passaggio, un turno alla volta.

La prosodia può essere ottima. Poiché il parlato non viene mai scomposto in testo, il modello preserva naturalmente ritmo, intonazione e segnali emotivi. Le conversazioni brevi possono suonare straordinariamente fluide.

Ma senza un livello di testo la possibilità di applicare guardrail è limitata, così come gli output intermedi per il debug e la flessibilità di sostituire l'LLM con uno migliore o di eseguire il fine-tuning dell'STT per il tuo dominio. I core di ragionamento tendono a essere più leggeri degli LLM frontier, quindi il tool calling complesso e le attività in più passaggi ne risentono. Quando l'attività richiede di risolvere un problema complesso, la sola prosodia non basta.

Esempi di casi d'uso:

• Compagni personali, chatbot di intrattenimento e applicazioni in cui l'espressività favorisce il coinvolgimento e i requisiti di conformità normativa sono minimi.

5. Fusa duplex

Input e output vengono elaborati simultaneamente: il modello ascolta e parla nello stesso momento. Questo può rendere gli scambi brevi sorprendentemente naturali, con sovrapposizioni vocali autentiche e transizioni fluide tra i turni.

È anche l'architettura più difficile da controllare: i guardrail sono molto difficili da applicare e il crosstalk introduce errori imprevedibili. Ispezionare, registrare nei log o eseguire il debug è estremamente difficile, e il sistema è in gran parte chiuso, con opzioni minime per sostituire componenti, ottimizzare per dominio o personalizzare. Il ragionamento e l'uso degli strumenti sono ancora più limitati rispetto ai modelli fusi sequenziali, perché l'elaborazione simultanea lascia meno capacità per la logica complessa. E la stessa elaborazione simultanea che rende naturali gli scambi brevi rende instabili le conversazioni più lunghe.

Esempi di casi d'uso:

• App sperimentali di compagni personali, piattaforme vocali social e demo di ricerca in cui un comportamento imprevedibile è accettabile.

Scegliere l'architettura giusta per il tuo caso d'uso

L'architettura giusta dipende dai requisiti della singola applicazione. Se stai creando un'esperienza in cui un parlato naturale è la caratteristica principale, le architetture fuse offrono vantaggi concreti se sei disposto a rinunciare in parte a ragionamento frontier, guardrail e trasparenza. Sebbene i modelli fusi siano in vantaggio sulla prosodia, i sistemi avanzati a cascata si avvicinano ogni trimestre, mentre i modelli fusi non hanno compiuto progressi significativi nel ragionamento complesso o nell'affidabilità, a causa di limiti a livello architetturale.

Per la maggior parte delle aziende e delle istituzioni pubbliche, l'architettura migliore è quella che suona bene ed è al tempo stesso capace, personalizzabile, affidabile e pronta per l'implementazione su larga scala. Per questo abbiamo scelto di creare ElevenAgents utilizzando un'architettura avanzata a cascata, con investimenti in Expressive Mode e modelli best-in-class, co-ottimizzati per Speech to Text e Text to Speech. Questo permette ai team di creare agenti con elevati livelli di intelligenza, affidabilità e controllo, abbinati a un parlato naturale e umano.

Man mano che gli agenti IA si diffondono nell'assistenza clienti, nell'istruzione, negli assistenti personali e in molti altri ambiti, quelli che avranno successo saranno basati su architetture adatte alle loro applicazioni specifiche.