ElevenLabs lance de nouveaux produits d'IA vocale et lève 80 millions de dollars en série B

• ElevenLabs a levé un tour de table de série B de 80 millions de dollars mené conjointement par Andreessen Horowitz, Nat Friedman, Daniel Gross, avec la participation de Sequoia Capital, Smash Capital, SV Angel, BroadLight Capital et Credo Ventures afin de renforcer sa position de leader de l'IA vocale.
• L'entreprise dévoile également aujourd'hui une série de nouveaux produits, dont Dubbing Studio, Voice Library Marketplace, un aperçu anticipé d'une Application mobile de lecture, ainsi que de nouveaux modèles offrant une vitesse et une couverture linguistique améliorées.
• Depuis son lancement, la technologie d'ElevenLabs a amélioré l'accessibilité des contenus à l'échelle mondiale dans des secteurs tels que l'économie des créateurs, l'édition, l'IA conversationnelle, le divertissement, l'éducation et l'accessibilité. Son adoption par des millions d'utilisateurs a permis à l'entreprise d'atteindre le statut de licorne.

22 janvier / Monde - ElevenLabs, entreprise de recherche en technologies vocales, a levé un tour de table de série B de 80 millions de dollars, mené conjointement par Andreessen Horowitz, Nat Friedman, Daniel Gross, avec la participation de Sequoia Capital, SV Angel, Smash Capital, BroadLight Capital et Credo Ventures, afin de consolider sa position de leader mondial de la recherche et du déploiement de produits d'IA vocale.

Depuis son lancement public, ElevenLabs est à la pointe du secteur de la synthèse vocale naturelle, permettant aux utilisateurs de créer et concevoir des voix IA dans un très grand nombre de langues et d'accents, capables de restituer une large palette d'émotions et d'intonations. Depuis son lancement, les utilisateurs d'ElevenLabs ont généré plus de 100 ans d'audio, tandis que l'entreprise est passée de 5 à 40 employés. Aujourd'hui, la technologie d'ElevenLabs est utilisée par des employés de 41 % des entreprises du Fortune 500. 

La technologie d'ElevenLabs est adoptée dans de nombreux secteurs. Elle permet aux créateurs d'enrichir l'expérience de leur audience grâce aux voix off et au doublage par IA, élargit l'accès à l'éducation et apporte des solutions innovantes dans l'édition de livres audio, le divertissement et les usages personnels, notamment en matière d'accessibilité. Ce financement servira à perfectionner l'offre de produits de l'entreprise tout en garantissant un déploiement sûr des technologies d'IA.

En complément de l'annonce de cette série B, ElevenLabs dévoile également plusieurs nouveautés produits, qui seront disponibles dans les prochaines semaines :

• Un nouveau workflow Dubbing Studio permet aux utilisateurs de doubler des films entiers, ainsi que de générer et modifier leurs transcriptions, traductions et timecodes, pour mieux contrôler la production de contenu. Ces fonctionnalités complètent la fonction de doublage par IA existante, qui permet une localisation vidéo automatisée de bout en bout dans 29 langues.
• Une marketplace Voice Library qui offrira une plateforme sécurisée permettant aux utilisateurs de monétiser les versions IA de leur propre voix. Ils peuvent créer leur réplique vocale IA professionnelle, la vérifier et la partager via Voice Library. Lorsque d'autres personnes utilisent ces voix vérifiées, les créateurs d'origine reçoivent une rémunération. Les utilisateurs gardent toujours le contrôle sur la disponibilité de leur voix et les conditions de rémunération. La marketplace génère déjà des revenus pour un petit groupe d'utilisateurs alpha.
• Un aperçu anticipé du lecteur de l'Application mobile qui convertit instantanément les textes et URL en audio, facilitant l'accès aux contenus dans un autre format lors de vos déplacements. À titre d'essai, l'application sera disponible gratuitement pendant les trois premiers mois et les utilisateurs pourront s'inscrire sur une liste d'attente afin d'y accéder en avant-première.

Tout au long de l'année 2023, ElevenLabs a également étendu sa présence dans plusieurs secteurs, dont l'édition, le gaming, les médias et l'IA conversationnelle, tout en nouant des partenariats B2B avec de grands groupes de médias, parmi lesquels :

• Édition : Storytel, The Washington Post, Rheinische Post, Curio
• IA conversationnelle : FlowGPT, SimpleTalk AI, Ollang, VoiceDrop, Vana
• Médias et divertissement : Wondershare Filmora, Futuri Media, TheSoul Publishing
• Gaming : Paradox Interactive, NetEase, Inworld AI

Ces derniers lancements de produits et partenariats font suite à une période durant laquelle ElevenLabs a continuellement enrichi sa suite d'outils, tous issus de ses recherches internes. Parmi les lancements : Speech Synthesis pour une conversion text-to-speech réaliste, ainsi qu'un modèle Turbo optimisé pour la latence ; Voice Design et Clonage de Voix pour créer des voix sur mesure ; Speech to Speech pour transformer une voix en une autre. L'entreprise a également lancé son outil de doublage par IA, qui traduit automatiquement l'audio et la vidéo dans 29 langues tout en préservant la voix et les émotions de l'interlocuteur d'origine. L'entreprise étendra prochainement les modèles Turbo et Speech to Speech, actuellement disponibles en anglais, à un plus grand nombre de langues. 

En s'appuyant sur les recherches qui alimentent ces fonctionnalités, ElevenLabs a également développé des outils avancés pour les workflows plus complexes, tels que Studio pour l'édition, et Dubbing Studio pour la localisation vidéo. Studio simplifie la modification, la structuration, la navigation et la génération de contenus longs pour les éditeurs, et Dubbing Studio aide à préparer les contenus pour une audience mondiale en offrant un contrôle direct sur la transcription, la traduction et le timing des séquences.

L'entreprise a également développé des produits axés sur la communauté, comme Voice Library : un environnement de partage de voix générées par IA. Auparavant limitée au partage de voix artificielles créées avec l'outil Voice Design, Voice Library permet désormais aux utilisateurs de partager leurs propres répliques vocales vérifiées, créées avec le Clonage de Voix professionnel Clonage de Voix dans le cadre de la nouvelle marketplace Voice Library et de gagner de l'argent lorsque d'autres personnes les utilisent. Pour garantir la sécurité et l'intégrité de la marketplace, ElevenLabs utilise sa technologie de Clonage de Voix professionnel afin de créer des répliques vocales haute fidélité. Avant de partager une voix, les utilisateurs doivent réussir une vérification Voice Captcha en lisant un texte dans un délai donné, afin de confirmer que leur voix correspond aux échantillons d'entraînement. Ce processus, associé à la modération et à l'approbation manuelle de l'équipe d'ElevenLabs, garantit le partage et la monétisation de voix authentiques vérifiées par les utilisateurs, créant ainsi un environnement plus sûr et plus fiable.

Le développement sûr et responsable de l'IA est une priorité essentielle pour ElevenLabs, qui met l'accent sur la détection afin que tout contenu généré par IA soit clairement identifiable. L'entreprise a lancé un AI Speech Classifier l'année dernière : un outil capable de vérifier si un échantillon audio contient du contenu généré par ElevenLabs. Cette année, l'entreprise s'emploiera à étendre les capacités du Classifier à davantage de modèles d'IA vocale et s'associera à d'autres plateformes de distribution pour un déploiement plus large. ElevenLabs développe activement des mesures de protection supplémentaires afin de renforcer la sécurité dans l'espace public.

Avec cet investissement de série B, ElevenLabs entend consolider sa position de leader mondial de la recherche et du déploiement de produits d'IA vocale. Les capitaux seront consacrés à l'avancement de la recherche, à l'expansion de l'infrastructure, au développement de nouveaux produits pour des secteurs spécifiques et au renforcement des mesures de sécurité, afin de garantir un développement responsable et éthique des technologies d'IA.

Piotr Dąbkowski, CTO d'ElevenLabs, ajoute :

« L'engagement de notre équipe a déjà eu un impact durable sur l'IA vocale. Ce nouveau financement nous permet de relever des défis encore plus ambitieux et de nous concentrer sur le maintien de notre avance en matière de recherche et de développement produit. »

Mati Staniszewski conclut :

« Notre ambition reste la même : transformer notre façon d'interagir avec les contenus en levant les barrières linguistiques et de communication. Nous développons une technologie de pointe pour rendre les contenus accessibles dans toutes les langues — et à travers toutes les voix — afin de permettre à chacun d'accéder aux informations et aux récits qui comptent. Les progrès accomplis jusqu'ici témoignent du dévouement de notre équipe et de nos investisseurs. Et si notre aventure ne fait que commencer, nous contribuons déjà, ensemble, à façonner l'avenir de l'accessibilité et de la communication. »