Présentation de l’IA Conversationnelle Multimodale

Aujourd’hui, ElevenLabs est heureux d’annoncer une amélioration majeure de notre plateforme de Conversational AI : l’arrivée de la vraie multimodalité texte et voix. Nos agents IA comprennent et traitent désormais à la fois le langage parlé et les saisies textuelles en même temps. Cette fonctionnalité vise à rendre les échanges plus naturels, flexibles et efficaces pour de nombreux usages.

Répondre aux limites des interactions uniquement vocales

Si la voix est un moyen de communication puissant et intuitif, les agents IA uniquement vocaux peuvent rencontrer des difficultés dans certaines situations. Nous avons observé des problèmes fréquents lors de déploiements en entreprise, comme :

• Erreurs de transcription : Saisir parfaitement des données alphanumériques comme des adresses e-mail, des identifiants ou des numéros de suivi uniquement par la voix peut être difficile. Les erreurs peuvent entraîner des problèmes importants, comme la recherche de mauvais dossiers clients.
• Expérience utilisateur pour les saisies complexes : Demander à un utilisateur de dicter de longues suites de chiffres, comme des numéros de carte bancaire, peut vite devenir frustrant et source d’erreurs.

La force de la multimodalité : texte et voix ensemble

En permettant aux agents de traiter à la fois le texte et la voix, nous donnons aux utilisateurs le choix de la méthode la plus adaptée pour transmettre leur information. Cette approche hybride rend les échanges plus fluides et robustes. Les utilisateurs peuvent parler naturellement puis, quand la précision est essentielle ou que la saisie est plus pratique, passer sans effort au texte au cours de la même interaction.

Principaux avantages

L’arrivée de la multimodalité texte et voix apporte plusieurs bénéfices clés :

• Précision accrue des échanges : Permet aux utilisateurs de saisir des informations difficiles à dire ou sujettes aux erreurs de transcription.
• Expérience utilisateur améliorée : Offre plus de flexibilité, pour des échanges plus naturels et moins contraints, surtout lors de saisies sensibles ou complexes.
• Meilleur taux de réussite des tâches : Réduit les erreurs et la frustration, pour des résultats plus satisfaisants.
• Conversations plus naturelles : Permet de passer facilement d’un mode de saisie à l’autre, comme dans une vraie conversation.

Fonctionnalités clés

Notre IA Conversationnelle multimodale propose les fonctionnalités suivantes :

• Traitement simultané : Les agents peuvent comprendre et répondre à une combinaison de voix et de texte en temps réel.
• Configuration simple : L’entrée texte s’active facilement dans les paramètres du widget.
• Mode texte uniquement : Les agents peuvent fonctionner comme des chatbots classiques si besoin.

Intégration et déploiement sans effort

Cette nouvelle fonctionnalité multimodale est prise en charge nativement sur notre plateforme :

• Widget : Déployable en une seule ligne de HTML.
• SDK : Prise en charge complète pour les développeurs souhaitant une intégration avancée.
• WebSocket : Communication bidirectionnelle en temps réel avec la multimodalité.

Une plateforme de référence

Les interactions multimodales bénéficient de toutes les innovations déjà présentes dans notre plateforme de Conversational AI :

• Voix de référence : Accès aux meilleures voix dans plus de 32 langues.
• Modèles vocaux avancés : Exploite nos technologies de pointe de speech-to-text et text-to-speech.
• Infrastructure mondiale : Déjà déployée partout grâce à l’infrastructure Twilio et SIP trunking.

Premiers pas

Pour utiliser la multimodalité texte et voix avec vos agents ElevenLabs Conversational AI:

1. Allez dans les paramètres de configuration de votre widget.
2. Activez l’option « Autoriser la saisie texte ».

Nous pensons que la multimodalité texte+voix va considérablement enrichir les capacités et l’expérience utilisateur de la Conversational AI. Nous avons hâte de voir comment vous allez exploiter cette nouvelle fonctionnalité.