ElevenLabs lance de nouveaux produits d'IA vocale et lève 80 millions de dollars en série B

• ElevenLabs a levé 80 millions de dollars lors d’un tour de table de série B co-dirigé par Andreessen Horowitz, Nat Friedman, Daniel Gross, avec la participation de Sequoia Capital, Smash Capital, SV Angel, BroadLight Capital et Credo Ventures, afin de renforcer sa position de référence de l’IA vocale.
• L’entreprise dévoile également aujourd’hui plusieurs nouveaux produits, dont Dubbing Studio, Voice Library Marketplace, un aperçu anticipé d’une application mobile de lecture, ainsi que de nouveaux modèles offrant une vitesse et une couverture linguistique améliorées.
• Depuis son lancement, la technologie d’ElevenLabs a amélioré l’accessibilité des contenus à l’échelle mondiale dans des secteurs tels que l’économie des créateurs, l’édition, l’IA conversationnelle, le divertissement, l’éducation et l’accessibilité. Son adoption par des millions d’utilisateurs a permis à l’entreprise d’atteindre le statut de licorne.

22 janvier / Monde : ElevenLabs, entreprise de recherche en technologies vocales, a levé 80 millions de dollars lors d’un tour de table de série B co-dirigé par Andreessen Horowitz, Nat Friedman, Daniel Gross, avec la participation de Sequoia Capital, SV Angel, Smash Capital, BroadLight Capital et Credo Ventures, afin de consolider sa position de référence mondiale dans la recherche et le déploiement de produits d’IA vocale.

Depuis son lancement public, ElevenLabs est à la pointe de la synthèse vocale naturelle et permet aux utilisateurs de concevoir des voix IA dans un vaste éventail de langues et d’accents, capables de restituer une grande diversité d’émotions et d’intonations. Depuis son lancement, les utilisateurs d’ElevenLabs ont généré plus de 100 ans d’audio, tandis que l’entreprise est passée de 5 à 40 collaborateurs. Aujourd’hui, la technologie d’ElevenLabs est utilisée par des collaborateurs de 41 % des entreprises du Fortune 500. 

La technologie d’ElevenLabs a été adoptée dans de nombreux secteurs. Elle a permis aux créateurs d’enrichir l’expérience de leur audience grâce aux voix off et au doublage par IA, d’élargir l’accès à l’éducation et d’apporter des solutions innovantes dans l’édition de livres audio, le divertissement et les usages personnels, notamment en améliorant l’accessibilité. Ce financement permettra de poursuivre le perfectionnement de l’offre de produits de l’entreprise tout en garantissant un déploiement sûr de la technologie IA.

Parallèlement à l’annonce de cette série B, ElevenLabs dévoile plusieurs nouveautés qui seront disponibles dans les semaines à venir :

• Un nouveau workflow Dubbing Studio permet aux utilisateurs de doubler des films entiers, ainsi que de générer et modifier leurs transcriptions, traductions et codes temporels, pour mieux contrôler la production de contenu. Ces fonctionnalités complètent le doublage par IA existant, qui permet une localisation vidéo automatisée de bout en bout dans 29 langues.
• Une marketplace Voice Library qui offrira une plateforme sécurisée permettant aux utilisateurs de monétiser des versions IA de leur propre voix. Les utilisateurs peuvent créer, vérifier et partager leur réplique vocale IA professionnelle via Voice Library. Lorsque d’autres personnes utilisent ces voix vérifiées, leurs créateurs d’origine sont rémunérés. Les utilisateurs gardent toujours le contrôle de la disponibilité de leur voix et de ses conditions de rémunération. La marketplace génère déjà des revenus pour un petit groupe d’utilisateurs alpha.
• Un aperçu anticipé du lecteur de l’Application mobile de lecture qui convertit instantanément du texte et des URL en audio, facilitant l’accès aux contenus dans un autre format lors de vos déplacements. Dans le cadre d’un essai de lancement, l’application sera disponible gratuitement pendant les trois premiers mois et les utilisateurs pourront s’inscrire sur liste d’attente afin de bénéficier d’un accès anticipé.

Tout au long de 2023, ElevenLabs a également renforcé sa présence dans plusieurs secteurs, notamment l’édition, le jeu vidéo, les médias et l’IA conversationnelle, tout en nouant des partenariats B2B avec de grands groupes médias, parmi lesquels :

• Édition : Storytel, The Washington Post, Rheinische Post, Curio
• IA conversationnelle : FlowGPT, SimpleTalk AI, Ollang, VoiceDrop, Vana
• Médias et divertissement : Wondershare Filmora, Futuri Media, TheSoul Publishing
• Jeu vidéo : Paradox Interactive, NetEase, Inworld AI

Ces derniers lancements de produits et partenariats font suite à une période durant laquelle ElevenLabs a continuellement élargi sa suite d’outils, tous issus de ses recherches internes. Parmi les lancements figurent : Speech Synthesis pour une conversion text-to-speech réaliste, ainsi qu’un modèle Turbo optimisé pour la latence ; Voice Design et Clonage de voix pour concevoir des voix sur mesure ; Speech to Speech pour transformer une voix en une autre. L’entreprise a également lancé son outil de doublage par IA, qui traduit automatiquement des fichiers audio et vidéo dans 29 langues tout en préservant la voix et les émotions de l’intervenant d’origine. L’entreprise étendra prochainement les modèles Turbo et Speech to Speech, actuellement disponibles en anglais, à un plus grand nombre de langues. 

En s’appuyant sur les recherches à l’origine de ces fonctionnalités, ElevenLabs a également développé des outils avancés destinés à des workflows plus complexes, tels que Studio pour l’édition, et Dubbing Studio pour la localisation vidéo. Studio simplifie la modification, la structuration, la navigation et la génération de contenus longs pour les éditeurs, tandis que Dubbing Studio aide à préparer les contenus pour un public international en offrant un contrôle direct sur la transcription, la traduction et le minutage des séquences.

L’entreprise a également développé des produits axés sur la communauté, comme Voice Library, un environnement de partage de voix générées par IA. Auparavant limitée au partage de voix artificielles créées avec l’outil Voice Design, Voice Library permet désormais aux utilisateurs de partager leurs propres répliques vocales vérifiées, créées avec le Clonage de voix professionnel, dans le cadre de la nouvelle marketplace Voice Library , et de gagner de l’argent lorsque d’autres les utilisent. Afin de garantir la sécurité et l’intégrité de la marketplace, ElevenLabs utilise sa technologie de Clonage de voix professionnel pour créer des répliques vocales haute fidélité. Avant de partager une voix, les utilisateurs doivent réussir une vérification Voice Captcha en lisant un texte dans un délai précis, afin de confirmer que leur voix correspond aux échantillons d’entraînement. Ce processus, associé à la modération et à l’approbation manuelle de l’équipe d’ElevenLabs, garantit que seules des voix authentiques et vérifiées par les utilisateurs sont partagées et monétisées, créant ainsi un environnement plus sûr et digne de confiance.

Le développement sûr et responsable de l’IA est une priorité fondamentale pour ElevenLabs, qui met l’accent sur les outils de détection afin que tous les contenus générés par IA soient clairement identifiables. L’entreprise a lancé un classificateur de parole IA l’année dernière, un outil capable de vérifier si un échantillon audio contient du contenu généré par ElevenLabs. Cette année, l’entreprise œuvrera à renforcer les capacités du classificateur pour couvrir davantage de modèles d’IA vocale et s’associera à d’autres plateformes de distribution afin d’en élargir le déploiement. ElevenLabs développe activement des garde-fous supplémentaires pour renforcer la sécurité dans l’espace public.

Avec cet investissement de série B, ElevenLabs entend consolider sa position de référence mondiale dans la recherche et le déploiement de produits d’IA vocale. Les capitaux serviront à faire progresser la recherche, développer l’infrastructure, concevoir de nouveaux produits destinés à des secteurs précis et renforcer les mesures de sécurité afin d’assurer un développement responsable et éthique de la technologie IA.

Piotr Dąbkowski, directeur technique d’ElevenLabs, ajoute :

« Le dévouement de notre équipe a déjà eu un impact durable sur l’IA vocale. Ce nouveau financement nous permet de relever des défis encore plus ambitieux et de maintenir notre avance en matière de recherche et de développement de produits. »

Mati Staniszewski conclut :

« Notre ambition reste la même : transformer notre manière d’interagir avec les contenus en faisant tomber les barrières linguistiques et de communication. Nous développons une technologie de pointe afin de rendre les contenus accessibles dans toutes les langues et par toutes les voix, pour permettre à chacun d’accéder aux informations et aux récits qui comptent. Les progrès accomplis jusqu’ici témoignent de l’engagement de notre équipe et de nos investisseurs. Si notre parcours ne fait que commencer, nous contribuons ensemble à façonner l’avenir de l’accessibilité et de la communication. »