Créer la couche d’interaction pour l’IA : tout ce qui a été annoncé lors du Summit NYC d’ElevenLabs

L’IA est plus performante que jamais, mais pour rendre cette intelligence largement accessible, les systèmes doivent être faciles à comprendre et à utiliser pour tous. Cela exige des interactions naturelles et intuitives. ElevenLabs construit cette couche d’interaction pour l’IA.

Lors de son Summit à New York aujourd’hui, ElevenLabs a présenté de nouveaux modèles, agents et options de déploiement pour aider les entreprises à interagir avec les personnes grâce à l’IA et à découvrir de nouvelles sources de revenus.

« D’ici quelques années, les agents conversationnels deviendront une infrastructure essentielle pour toutes les entreprises, aussi indispensable que le cloud ou les paiements », a déclaré Mati Staniszewski, PDG et cofondateur d’ElevenLabs. « Chaque entreprise devra réinventer sa manière d’interagir avec ses clients, ses collaborateurs et le monde qui l’entoure. »

Voici ce qu’ElevenLabs a annoncé lors du Summit :

Des avancées dans les modèles qui propulsent chaque interaction

Nous avons commencé par la voix et conçu des modèles de référence pour les conversations naturelles. Notre travail s’étend désormais aux modèles et outils qui propulsent toutes les façons dont les personnes interagissent avec la technologie.

Sur scène, Staniszewski a présenté en avant-première plusieurs évolutions qui rendront les interactions entre les systèmes d’IA, les clients et les collaborateurs plus naturelles et mieux adaptées à chaque situation. « Notre mission chez ElevenLabs est de résoudre l’interaction entre les humains et la technologie, et pour la première fois, c’est possible », a-t-il déclaré.

Affinez des modèles open source et des modèles vocaux ElevenLabs pour votre domaine

Chaque secteur possède son propre langage et ses propres codes. La manière de servir les clients, ainsi que le meilleur canal pour échanger avec eux, varient d’un secteur à l’autre. C’est pourquoi ElevenLabs développe des modèles dédiés aux principaux secteurs. Les modèles Speech to Text spécifiques à un domaine apprennent les termes réellement employés dans le secteur d’une entreprise, comme l’EBITDA dans la finance ou HIPAA dans l’administration. ElevenLabs a appliqué cette approche pour concevoir Scribe v3 Medical, un modèle de transcription destiné au secteur de la santé. Il reconnaît des milliers de termes médicaux complexes avec une précision bien supérieure et distingue des noms de médicaments comme la cyclosérine et la ciclosporine, afin qu’un patient reçoive un traitement contre la tuberculose plutôt qu’un immunosuppresseur.

Ce travail est loin de ralentir, et Staniszewski a indiqué qu’un modèle optimisé pour le secteur des services financiers était en préparation. Nous estimons également que les entreprises doivent pouvoir affiner les modèles qu’elles utilisent, non seulement pour leur secteur, mais aussi pour leur contexte et leurs clients spécifiques.

Dans son discours d’ouverture, Staniszewski a annoncé que, dans les prochains mois, nous aiderons les entreprises à affiner certains modèles de langage open source, ainsi que les modèles vocaux ElevenLabs, pour leurs propres usages. « Nous ne résoudrons pas l’interaction entre les humains et l’IA sans refléter ce qui rend les personnes et les entreprises uniques », a-t-il déclaré.

Les équipes pourront affiner les modèles selon les particularités qui rendent leur entreprise unique. Elles pourront apporter leurs propres données issues de déploiements en production et travailler avec les chercheurs d’ElevenLabs pour affiner les modèles qui les propulsent. Chaque entreprise pourra choisir les indicateurs qui comptent pour elle, comme le score de satisfaction client ou la fiabilité, et les chercheurs d’ElevenLabs l’aideront à exploiter les données de ses déploiements en production pour affiner les modèles concernés. Vous pourrez optimiser en continu à partir de chaque nouvelle interaction. Staniszewski compare cette approche à une infrastructure d’apprentissage par renforcement propre à chaque entreprise.

« Nous continuerons à proposer davantage de modèles optimisés pour des domaines spécifiques afin que votre IA soit plus précise et plus utile. Mais nous pensons aussi que les entreprises doivent pouvoir aller plus loin, avec des modèles affinés non seulement pour leur secteur, mais aussi pour leur entreprise et leurs clients », a déclaré Staniszewski. « C’est l’une des meilleures façons de mettre vos données à votre service et de prolonger votre avantage unique. »

Interaction Engine orchestre l’ensemble de la conversation

Toutes les tâches agentiques ne nécessitent pas un modèle de pointe à chaque étape pour réussir. Déterminer quels modèles utiliser, comment et à quel moment, pour atteindre un résultat donné est un art en soi, que les chercheurs d’ElevenLabs s’attachent à maîtriser.

ElevenLabs a présenté en avant-première un nouveau système appelé Interaction Engine, qui s’appuie d’abord sur le rythme de la conversation. Il gère les prises de parole et les interruptions, afin que l’agent sache quand intervenir et quand arrêter de parler. Il peut également sélectionner le bon LLM pour chaque étape d’un échange. Un modèle moins coûteux peut assurer le tri initial tout en limitant l’utilisation de jetons, tandis qu’un modèle de pointe intervient pour les tâches plus complexes lorsque nécessaire.

Des évolutions majeures pour ElevenAgents et bien plus encore

ElevenAgents est la plateforme qui permet de configurer, déployer et améliorer des agents vocaux et conversationnels dans les domaines des ventes, de l’assistance, du recrutement et des opérations. Elle comprend à qui elle s’adresse et s’adapte à ses besoins.

Des clients et partenaires comme Yahoo, Westgate et KPN utilisent déjà ElevenAgents et constatent que les agents qui comprennent mieux le contexte et la culture produisent de meilleurs résultats pour tous.

Staniszewski a présenté plusieurs évolutions à venir dans ElevenAgents, qui rendront les interactions entre les agents et les clients plus fluides et naturelles.

Memory aide ElevenAgents à se souvenir des clients récurrents

Dans les conversations liées à l’assistance client, les personnes partagent souvent des informations précieuses qui ne sont ni enregistrées ni exploitées. « L’une des caractéristiques d’une excellente conversation avec une personne est qu’elle se souvient de ce que vous lui avez dit et agit en conséquence. Les agents devraient faire de même », a déclaré Staniszewski.

Memory permettra à un agent ElevenAgents de constituer progressivement un historique client, en reconnaissant un client authentifié qui revient et en se rappelant ses précédentes déclarations. Si le CRM reste la source principale des données client, Memory capture les détails partagés en conversation qui ne disposaient jusque-là d’aucun champ, comme les préférences, les contraintes ou les occasions à venir. Si un client préfère l’espagnol et ne peut parler qu’après 17 h, l’agent s’en souvient et agit en conséquence.

Après chaque interaction, l’agent synthétise la conversation dans un historique structuré et le met à jour lorsque le client revient. Il conserve également les détails qui seront utiles plus tard. Un abonné téléphonique qui a mentionné son déménagement en mars n’a pas besoin de le répéter lorsqu’il appelle en avril : l’agent sait automatiquement lui demander s’il souhaite transférer son service à sa nouvelle adresse et supprimer l’ancienne. Il en résulte une compréhension de chaque client qui s’enrichit à chaque conversation, pour que chaque interaction soit plus personnelle que la précédente.

Routines gère le travail autour des conversations

La plupart des tâches de suivi d’un appel d’assistance client interviennent après la fin de l’appel. Elles sont souvent réalisées par des personnes et des outils qui n’ont pas participé à la conversation initiale. Routines, la nouvelle couche d’automatisation d’ElevenAgents, permettra aux utilisateurs d’exécuter des processus en plusieurs étapes avant, pendant et après chaque conversation. Elle se connecte aux outils et systèmes que votre équipe utilise déjà.

Une Routine peut présélectionner un demandeur de prêt immobilier et le rappeler en quelques minutes, ou rappeler un rendez-vous à des patients et leur proposer un créneau libéré depuis une liste d’attente. Elle peut aussi envoyer un rapport par email, renseigner un CRM ou démarrer un appel, le tout directement dans ElevenAgents.

Avec Routines, ElevenAgents prend en charge une plus grande part du travail autour de chaque conversation. Votre équipe consacre ainsi moins de temps à la préparation et au suivi, et davantage aux clients.

ElevenAI aide chacun à rester pleinement présent lors des conversations importantes

Lors d’un aperçu pendant son discours d’ouverture, Staniszewski a présenté ElevenAI, une nouvelle application d’ElevenLabs. Elle agit comme un coéquipier IA pour les équipes en entreprise : elle écoute les conversations orales, y compris les réunions en présentiel, et les transforme en notes et en prochaines étapes. Si ElevenAgents constitue la couche d’interaction entre les entreprises et les clients, ElevenAI sera cette couche pour les collaborateurs dans leur travail quotidien.

ElevenAI propose la dictée et la prise de notes en réunion, propulsées par Scribe v3, le modèle Speech to Text le plus récent et le plus précis d’ElevenLabs. Lors des réunions, elle prend des notes avec le consentement de tous, puis fournit un résumé et les actions à mener à chaque participant à la fin de l’appel. Elle peut également offrir une assistance en direct pendant un appel, partager du contexte et renforcer la collaboration entre les personnes et les agents. Des mécanismes d’information et de consentement sont intégrés afin que les personnes à l’autre bout de la ligne soient en confiance.

À mesure que les personnes s’appuient davantage sur des agents personnels dans leur quotidien, elles auront besoin, au travail, d’une assistance conçue pour elles en tant que collaborateurs. ElevenAI s’adapte aux outils et aux processus d’une entreprise et accompagne les personnes tout au long de leur journée de travail. Elle transmet également le bon contexte entre les agents et les personnes, afin qu’ils puissent travailler comme une seule équipe. L’accès anticipé gratuit à ElevenAI ouvre aujourd’hui.

Étendre l’écosystème d’entreprise avec l’ElevenLabs Partner Program et l’ElevenLabs Marketplace

Le réseau de partenaires d’ElevenLabs compte désormais plus de 550 partenaires dans 44 pays, dont Google Cloud, IBM, Deloitte, DXC et Genesys. Aujourd’hui, nous lançons l’ElevenLabs Partner Program afin de faciliter le déploiement d’ElevenAgents par les entreprises avec les cabinets de conseil, intégrateurs de systèmes, éditeurs de logiciels et agences qui connaissent déjà leur activité. Les partenaires prennent en charge les intégrations à votre environnement technologique existant ou travaillent aux côtés des ElevenLabs FDEs sur des déploiements complexes, selon l’approche qui vous permet de générer le plus rapidement de la valeur.

Dans le cadre de ce programme, ElevenLabs annonce également une alliance avec McKinsey, qui associe ElevenAgents à l’expertise du cabinet en transformation d’entreprise et à QuantumBlack, AI by McKinsey. Les entreprises peuvent désormais développer sur ElevenLabs, concevoir avec un partenaire ou acheter auprès de l’un d’eux pour déployer des agents à grande échelle dans des systèmes complexes.

En outre, ElevenLabs et NVIDIA ont annoncé l’élargissement de leur partenariat. Nemotron 3.5 Super VL est désormais disponible dans ElevenAgents, et ElevenLabs ajoute également 15 MW de capacité de calcul Vera Rubin. Les deux entreprises travailleront aussi sur un agent vocal sur site pour la plateforme nationale de e-santé polonaise. Cet agent prendra en charge la prise de rendez-vous pour les patients qui ne disposent que d’une ligne fixe.

Aujourd’hui, nous présentons également l’ElevenLabs Marketplace, une sélection d’applications d’IA et vocales propres à certains secteurs, conçues sur ElevenLabs par nos partenaires technologiques, pour des domaines comme la santé, les services financiers, l’assurance, l’éducation et le commerce de détail. Les entreprises peuvent parcourir les agents et les applications, puis entrer directement en contact avec les partenaires qui les ont conçus. À partir de l’année prochaine, elles pourront acheter ces agents via la Marketplace en utilisant leur engagement existant auprès d’ElevenLabs.

Que se passe-t-il lorsque l’interaction est résolue ?

Staniszewski a conclu son discours d’ouverture en posant la question de ce qui se passe lorsque l’interaction entre les personnes et l’IA est résolue. Sa réponse : un monde où la technologie s’adapte aux personnes, où les limites de la langue, de la géographie et de l’échelle s’effacent, et où les nuances locales et la culture sont préservées.

« Les inquiétudes face au risque que l’IA centralise et homogénéise tout sont légitimes. Que les entreprises ne puissent plus protéger leurs avantages concurrentiels. Que chaque nouvelle itération de l’IA tende vers la moyenne », a déclaré Staniszewski. « Nous construisons l’inverse : des modèles, des produits et une communauté pour amplifier ce qui rend votre entreprise unique et vous aider à prolonger votre avantage. »

Les annonces d’aujourd’hui sont des étapes vers cet avenir, qu’ElevenLabs construit avec les clients, partenaires et développeurs réunis à New York. Pour commencer, essayez ElevenAgents.