ElevenLabs sai da fase 'beta' e lança Eleven Multilingual v2, um modelo de conversação com IA em 30 idiomas

• A plataforma de voz com IA ElevenLabs dá um salto radical em seus esforços para eliminar as barreiras linguísticas dos diferentes conteúdos com o lançamento de um novo modelo de aprendizado profundo, que apresenta capacidades multilíngues em 30 idiomas: Eleven Multilingual v2.
• Esse avanço permitirá que os meios de comunicação, desenvolvedores de jogos, editores e criadores independentes de todo o mundo possam melhorar drasticamente a acessibilidade aos seus conteúdos.
• Essas novas capacidades, que chegam após uma série de lançamentos de funções e melhorias desde que a plataforma foi lançada em janeiro, marcam oficialmente também o fim da fase 'beta' da empresa.
• O objetivo da ElevenLabs é tornar todos os conteúdos acessíveis de forma universal, em qualquer idioma e com qualquer voz.

Londres, Reino Unido - ElevenLabs, líder mundial em software de voz com IA, lançou hoje um novo modelo de geração de voz multilíngue em 30 idiomas, capaz de produzir com precisão áudio 'emocionalmente rico' gerado por IA.

Esse avanço, baseado inteiramente em pesquisas internas, permitirá aos criadores produzir conteúdo de áudio localizado para os mercados internacionais da Europa, Ásia e Oriente Médio. A ElevenLabs dedicou os últimos 18 meses a analisar os marcadores da fala humana, o que permitiu criar novos mecanismos para compreender o contexto e transmitir emoções na geração da fala, além de sintetizar vozes novas e únicas.

Com o Eleven Multilingual v2, ao inserir um texto na plataforma de conversão de texto para voz da ElevenLabs, o novo modelo pode identificar automaticamente cerca de 30 idiomas e gerar voz com um nível de autenticidade sem precedentes.

Ao mesmo tempo, independentemente de se usar uma voz sintética ou clonada, as características únicas da voz do falante são mantidas em todos os idiomas, incluindo seu sotaque original. Isso significa que a mesma voz pode dar vida ao conteúdo em 30 idiomas diferentes.

Este lançamento chega após a publicação do Professional Voice Cloning, acessível para todos os criadores da plataforma. Esta atualização do produto, lançada junto com funções de segurança adicionais, permite aos usuários criar uma cópia digital perfeita de sua própria voz. Voz que é praticamente indistinguível da original. O lançamento de hoje significa que nossa voz poderá falar nos cerca de 30 idiomas que o modelo multilíngue oferece.

Os idiomas compatíveis incluem coreano, holandês, turco, sueco, indonésio, vietnamita, filipino, ucraniano, grego, tcheco, finlandês, romeno, dinamarquês, búlgaro, malaio, húngaro, norueguês, eslovaco, croata, árabe clássico e tâmil. Eles se juntam aos idiomas disponíveis anteriormente, incluindo inglês, polonês, alemão, espanhol, francês, italiano, hindi e português.

Após os recentes lançamentos de novas funções e com as melhorias contínuas da plataforma, a ElevenLabs também confirmou hoje que a plataforma sairá oficialmente da fase 'beta'. Essa transição marca um momento crucial na dedicação da empresa: fornecer ferramentas confiáveis e de ponta para seus mais de 1 milhão de usuários globais.

Olhando para o futuro, a ElevenLabs planeja introduzir um mecanismo que permita aos usuários compartilhar vozes na plataforma e se beneficiar do desenvolvimento de novos arquivos de áudio, o que fomentaria as oportunidades de colaboração entre humanos e IA.

Mati Staniszewski, diretor executivo (CEO) e cofundador da ElevenLabs, comenta:

«A ElevenLabs nasceu com o sonho de tornar todos os conteúdos acessíveis de forma universal, em qualquer idioma e com qualquer voz. Com o lançamento do Eleven Multilingual v2, estamos um passo mais perto de realizar esse sonho e de tornar as vozes de qualidade humana criadas por inteligência artificial disponíveis em todos os dialetos».

«Nossas ferramentas de geração 'de texto para voz' contribuem para a igualdade de oportunidades e oferecem capacidades de áudio falado de alta qualidade a todos os criadores. Esses benefícios agora se estendem a aplicações multilíngues em quase 30 idiomas. Com o tempo, esperamos abranger ainda mais idiomas e vozes com a ajuda da IA, e eliminar as barreiras linguísticas nos conteúdos. Na ElevenLabs, acreditamos que esses avanços na acessibilidade fomentarão, em última análise, maior criatividade, inovação e diversidade».

Ao reduzir os custos e os recursos necessários para criar conteúdos de áudio de alta qualidade em múltiplos idiomas, a ElevenLabs permite que empresas e criadores produzam conteúdos mais imaginativos e acessíveis em todas as culturas e idiomas.

No caso de desenvolvedores e editores de jogos independentes, a ferramenta de geração de voz multilíngue oferece novas oportunidades para traduzir experiências de jogo e conteúdos de áudio destinados a audiências internacionais, conectando-se assim com jogadores e ouvintes em seus próprios idiomas sem comprometer a qualidade ou a precisão do áudio falado.

Da mesma forma, as instituições educacionais agora têm os meios necessários para fornecer instantaneamente aos seus estudantes conteúdos de áudio precisos e nos idiomas de destino, o que reforça as habilidades de compreensão e pronúncia dos diferentes idiomas, além de atender aos diferentes estilos de ensino e necessidades de aprendizagem dos estudantes de todo o mundo.

Qualquer tipo de criador pode usar a ferramenta da ElevenLabs para melhorar a acessibilidade aos seus conteúdos por parte das pessoas com deficiência visual ou com necessidades de aprendizagem adicionais, de modo que os conteúdos visuais sejam complementados com os áudios disponíveis em vários idiomas.

O conjunto inicial de ferramentas de voz com IA, apresentado em janeiro de 2023, incluía a capacidade de converter qualquer texto em voz graças a uma seleção de vozes sintéticas pré-desenhadas e a capacidade de criar um clone da voz do usuário. A ferramenta de síntese de voz multilíngue é um passo a mais no objetivo da ElevenLabs de tornar todos os conteúdos acessíveis de forma universal, em qualquer idioma e com qualquer voz.

Essa tecnologia já foi adotada em múltiplos setores e verticais criativos, permitindo que autores independentes criem audiolivros, deem voz a personagens secundários em videogames, apoiem pessoas com deficiência visual para acessar conteúdos escritos online e até mesmo ativem o primeiro canal de rádio com IA do mundo. A ElevenLabs se associou com alguns dos principais estúdios e criadores de conteúdos, como os geradores de vídeos com IA D-ID, um dos maiores editores de audiolivros do mundo, Storytel, a plataforma de vídeo científico de acesso aberto ScienceCast, cuja ferramenta de geração de vídeo condensa os trabalhos de pesquisa científica publicados em arXiv, a plataforma líder mundial de criação de conteúdos, TheSoul Publishing, os desenvolvedores de alguns dos jogos mais incríveis, como Embark Studios e Paradox Interactive, e a plataforma de mídia MNTN.