Modèles en cascade vs fusionnés : Comment l’architecture détermine si votre agent vocal est prêt pour l’entreprise

La plupart des gens pensent que les agents vocaux reposent sur une architecture en cascade ou fusionnée. En pratique, les agents se situent sur un spectre entre les deux, avec cinq architectures couramment utilisées selon l’application.

L’architecture d’un agent détermine sa capacité à fonctionner de manière fiable en production, à s’adapter aux exigences métier spécifiques et à paraître naturel en conversation. Une architecture fondée sur la fusion, comme le modèle Realtime d’OpenAI, peut sembler remarquablement réaliste lors de brefs échanges. Mais lorsque les équipes doivent appliquer des garde-fous de conformité, déboguer une réponse défaillante ou intégrer un LLM plus performant dès sa sortie le mois prochain, un réseau fusionné unique offre peu de possibilités.

Chez ElevenLabs, nous utilisons une architecture avancée fondée sur une cascade. Nous tirons parti de composants spécialisés pour la reconnaissance vocale, le raisonnement et la génération de parole afin d’atteindre des niveaux élevés d’intelligence et de fiabilité. Nous y ajoutons une prosodie contextuelle, une optimisation de la latence et une gestion intelligente des tours de parole pour des conversations naturelles. Nous avons fait ce choix car les entreprises et administrations avec lesquelles nous travaillons exigent des agents à la fois réalistes et fiables en production pour des tâches complexes. 

Cet article présente les cinq principales architectures, leurs atouts, leurs limites et notre vision des fondations requises pour les agents déployés dans des workflows critiques.

Les critères d’évaluation des équipes lors du choix d’une architecture

Les questions des équipes se répartissent généralement en trois catégories.

Peut-elle gérer des tâches complexes ?

• Raisonnement et flexibilité des modèles : Pouvez-vous choisir les modèles les mieux adaptés à votre cas d’usage, y compris les LLM les plus performants disponibles, et en changer à mesure que de meilleures options apparaissent ?
• Logique de l’agent : Pouvez-vous définir et contrôler les flux conversationnels, les règles de décision et les parcours d’escalade suivis par votre agent ?
• Utilisation d’outils : L’architecture peut-elle prendre en charge les appels d’outils à plusieurs étapes et les intégrations avec des systèmes externes ?

Semble-t-elle humaine ?

• Prosodie : L’agent restitue-t-il un rythme, une intonation et un ton émotionnel naturels ?
• Latence : Les réponses sont-elles assez rapides pour créer une conversation naturelle ?
• Gestion des tours de parole : L’agent sait-il quand parler, faire une pause ou laisser la parole ?

Puis-je lui faire confiance en production ?

• Fiabilité : L’agent se comporte-t-il de manière prévisible et cohérente, ou dérive-t-il au fil du temps ?
• Garde-fous : L’architecture peut-elle protéger contre les réponses non souhaitées ou les utilisateurs malveillants ?
• Transparence : L’architecture produit-elle des sorties intermédiaires ou s’agit-il d’une boîte noire ?

Les compromis entre architectures en cascade et fusionnées

Les architectures en cascade sont construites en enchaînant des composants spécialisés : Speech to Text (STT), un grand modèle de langage et Text to Speech (TTS). Chaque étape peut être optimisée, testée et mise à niveau indépendamment. 

Architecture en cascade

Cette modularité fait des architectures en cascade la base de la plupart des agents de niveau entreprise. Chaque étape produit des sorties inspectables : du texte lisible entre le STT et le LLM, puis entre le LLM et le TTS. Les garde-fous peuvent être appliqués au niveau du texte, les derniers LLM de pointe peuvent être intégrés sans modifier les modèles vocaux et, en cas d’échec, la source est généralement identifiable.

La critique historique des architectures en cascade est qu’elles perdent les indices prosodiques. La parole est réduite à du texte, puis l’intonation, le rythme et l’émotion doivent être reconstruits en sortie. Ces indices peuvent être partiellement récupérés par une modélisation explicite, mais ils ne sont pas captés aussi naturellement que dans les approches fusionnées. D’autres dimensions, comme la latence et la gestion des tours de parole, peuvent généralement atteindre des niveaux de performance comparables dans les deux approches.

Modèle fusionné

Les architectures fusionnées adoptent une approche fondamentalement différente. La reconnaissance, le raisonnement et la génération se déroulent tous au sein d’un unique réseau multimodal. L’audio entre et sort, sans couche intermédiaire inspectable.

L’absence d’étapes intermédiaires est à la fois leur attrait et leur limite. Une architecture fusionnée peut préserver naturellement les indices prosodiques, car la parole n’est jamais décomposée en texte. En revanche, les possibilités d’appliquer des garde-fous, de remplacer des composants individuels ou d’inspecter les sorties intermédiaires pour déboguer restent limitées. Il existe aussi des contraintes pour affiner le STT sur une terminologie propre à un secteur ou intégrer un autre LLM afin d’améliorer le raisonnement et les appels d’outils. Le système ne forme qu’un seul réseau, et les équipes sont limitées aux capacités de raisonnement qu’il embarque, soit aujourd’hui des noyaux plus légers qui ne peuvent rivaliser avec les LLM de pointe sur les tâches complexes.

Les cinq architectures

1. Cascade basique

L’audio est transcrit, le LLM génère une réponse textuelle et le TTS la restitue oralement. Chaque étape fonctionne sur du texte brut : vous pouvez donc tout voir, tester et contrôler.

Les avantages en matière de confiance sont clairs : garde-fous au niveau du texte, flux conversationnels déterministes et pistes d’audit complètes. Le LLM étant un composant autonome, vous pouvez associer l’agent au modèle de pointe offrant les meilleures capacités de raisonnement ou d’appel d’outils, puis le mettre à niveau dès qu’un meilleur modèle est disponible. Le point faible est la qualité conversationnelle : sans TTS contextuel, l’agent est fonctionnel mais plat. Il ne s’adapte ni aux émotions ni aux variations prosodiques, ce qui convient pour communiquer un solde de compte, mais pas pour gérer un client frustré.

Exemples de cas d’usage :

• Remplacement des SVI dans les télécommunications et les services publics
• Traitement des FAQ lors de l’onboarding SaaS
• Notifications sortantes, comme les confirmations de rendez-vous, rappels d’ordonnance et alertes de livraison, où la cohérence prime sur la chaleur humaine

2. Cascade avancée

La même architecture modulaire, mais avec plusieurs composants qui opèrent désormais dans un contexte plus riche. C’est ce que nous avons conçu avec Expressive Mode dans ElevenAgents.

Le modèle STT Scribe v2 Realtime produit des transcriptions rapides et précises en s’appuyant sur le contexte antérieur de la conversation. À partir du texte, le LLM indique au TTS comment restituer la parole — et pas seulement quoi dire — par exemple « d’un ton rassurant », « avec insistance » ou « avec urgence », en adaptant dynamiquement son ton tout au long de la conversation. Le système de gestion des tours de parole exploite les mêmes signaux pour permettre à l’agent de déterminer quand répondre et quand laisser la parole. Les modèles vocaux sont colocalisés dans une même pile, sans sauts réseau entre les composants, afin de maintenir une faible latence.

L’architecture conserve tous les atouts de la cascade basique : transparence totale, garde-fous au niveau du texte, composants interchangeables, adaptation au domaine et accès aux modèles de raisonnement et d’appel d’outils les plus performants. Elle apporte une amélioration significative de la prosodie, de la latence et de la gestion des tours de parole. Les équipes peuvent intégrer un nouveau LLM de pointe dès sa sortie ou affiner le STT pour la santé sur le vocabulaire du secteur, sans reconstruire aucun autre composant.

Exemples de cas d’usage :

• Service client dans les services financiers, où une restitution empathique lors d’un appel concernant un débit contesté s’accompagne de garde-fous de conformité stricts et d’un journal complet des interactions
• Standardistes médicaux qui trient les appels de patients avec le degré d’urgence approprié, des flux conformes à la réglementation HIPAA et une reconnaissance vocale adaptée à la terminologie médicale
• Assistants commerciaux qui conservent un ton chaleureux et convaincant tout en suivant un guide structuré et en envoyant les mises à jour vers le CRM

3. Cascade hybride et fusionnée

Certaines architectures transmettent directement au LLM les caractéristiques acoustiques de la parole en entrée — prononciation, émotion, ton — sous forme d’embeddings, plutôt que de les convertir d’abord en texte. Le TTS reste modulaire.

Cela apporte au LLM des informations plus riches sur la manière dont quelque chose a été dit, et pas seulement sur ce qui a été dit, ce qui est utile pour certaines applications. Le bloc ASR+LLM fusionné est plus difficile à auditer qu’un transfert de texte clair, car la représentation intermédiaire est un embedding, illisible par un humain. Le LLM n’est également plus facilement interchangeable, ce qui limite vos capacités de raisonnement et d’appel d’outils au modèle sur lequel le bloc fusionné a été construit.

Exemples de cas d’usage :

• Apprentissage des langues et coaching de prononciation, où entendre comment un élève parle compte autant que ce qu’il dit
• Support sensible au ton et peu complexe, où détecter la frustration est important, mais où la tâche elle-même reste simple.

4. Fusion séquentielle

Un unique modèle multimodal gère la reconnaissance, le raisonnement et la génération en un seul passage, un tour de parole à la fois.

La prosodie peut être de qualité. Comme la parole n’est jamais décomposée en texte, le modèle préserve naturellement le rythme, l’intonation et les indices émotionnels. Les conversations brèves peuvent sembler remarquablement fluides.

Mais sans couche textuelle, les possibilités d’appliquer des garde-fous sont limitées, tout comme les sorties intermédiaires disponibles pour le débogage et la flexibilité d’intégrer un meilleur LLM ou d’affiner le STT pour votre domaine. Les noyaux de raisonnement tendent à être plus légers que les LLM de pointe, ce qui pénalise les appels d’outils complexes et les tâches à plusieurs étapes. Lorsqu’une tâche exige de résoudre un problème complexe, la prosodie seule ne suffit pas.

Exemples de cas d’usage :

• Compagnons personnels, chatbots de divertissement et applications où l’expressivité favorise l’engagement et où les exigences de conformité sont limitées.

5. Fusion duplex

L’entrée et la sortie sont traitées simultanément : le modèle écoute et parle en même temps. Cela peut donner aux brefs échanges un caractère très naturel, avec de véritables chevauchements de parole et des transitions fluides entre les tours.

C’est aussi l’architecture la plus difficile à contrôler : les garde-fous sont très difficiles à appliquer et les interférences introduisent des erreurs imprévisibles. L’inspection, la journalisation et le débogage sont extrêmement difficiles, et le système est largement fermé, avec peu d’options pour remplacer des composants, l’adapter à un domaine ou le personnaliser. Le raisonnement et l’utilisation d’outils sont encore plus limités que dans les modèles fusionnés séquentiels, car le traitement simultané laisse moins de capacité à la logique complexe. Et ce même traitement simultané qui rend les échanges courts naturels rend les conversations longues instables.

Exemples de cas d’usage :

• Applications expérimentales de compagnons, plateformes vocales sociales et démonstrations de recherche où un comportement imprévisible est acceptable.

Choisir l’architecture adaptée à votre cas d’usage

L’architecture adaptée dépend des besoins de chaque application. Si vous concevez une expérience dont la parole naturelle est la fonctionnalité principale, les architectures fusionnées présentent de réels atouts, à condition d’accepter des compromis sur le raisonnement de pointe, les garde-fous et la transparence. Si les modèles fusionnés dominent en matière de prosodie, les systèmes avancés en cascade se rapprochent chaque trimestre, tandis que les modèles fusionnés n’ont pas réalisé de progrès significatifs en matière de raisonnement complexe ou de confiance, en raison de limites structurelles de leur architecture.

Pour la plupart des entreprises et administrations, la meilleure architecture est celle qui offre une excellente qualité vocale tout en étant performante, personnalisable, fiable et prête à être déployée à grande échelle. C’est pourquoi nous avons choisi de construire ElevenAgents sur une architecture avancée en cascade, avec des investissements dans Expressive Mode et des modèles de premier plan, co-optimisés pour Speech to Text et Text to Speech. Les équipes peuvent ainsi créer des agents alliant intelligence, fiabilité et contrôle à une parole naturelle, proche de l’humain.

À mesure que les agents IA se développent dans le service client, l’éducation, les assistants personnels et bien d’autres domaines, ceux qui réussiront reposeront sur des architectures adaptées à leurs applications spécifiques.