Construindo a camada de interação para IA: tudo o que foi anunciado no ElevenLabs Summit NYC

A IA está mais capaz do que nunca, mas, para tornar essa inteligência amplamente acessível, os sistemas precisam ser fáceis de entender e usar para todos. Isso depende de interações naturais e intuitivas. A ElevenLabs está criando essa camada de interação para IA.

Em seu Summit em Nova York hoje, a ElevenLabs apresentou novos modelos, agentes e opções de implantação para ajudar empresas a interagir com pessoas por meio da IA e encontrar novas formas de gerar receita.

“Em poucos anos, os agentes conversacionais se tornarão uma infraestrutura essencial para todas as empresas, tão indispensáveis quanto a nuvem ou os pagamentos”, afirmou Mati Staniszewski, CEO e cofundador da ElevenLabs. “Toda empresa precisará reinventar como interage com seus clientes, colaboradores e o mundo ao redor.”

Veja o que a ElevenLabs anunciou no Summit:

Avanços nos modelos que impulsionam cada interação

Começamos com voz e criamos os principais modelos do setor para conversas naturais. Agora, nosso trabalho se expande para os modelos e ferramentas que viabilizam todas as formas de interação entre pessoas e tecnologia.

No palco, Staniszewski apresentou uma prévia de várias atualizações que tornarão as interações entre sistemas de IA, clientes e colaboradores mais naturais e adequadas a cada situação. “Nossa missão na ElevenLabs é resolver a interação entre humanos e tecnologia e, pela primeira vez, isso é possível”, afirmou.

Faça o fine-tuning de modelos open source e modelos de voz da ElevenLabs para o seu domínio

Cada setor tem sua própria linguagem e suas próprias normas. A forma como você atende clientes e o melhor canal para essa conversa variam de um setor para outro. Por isso, a ElevenLabs trabalha para criar modelos dedicados aos principais setores. Modelos de Speech to Text específicos para cada domínio aprendem os termos que os setores de uma empresa realmente usam, como EBITDA em finanças ou HIPAA no setor público. A ElevenLabs usou essa abordagem para criar o Scribe v3 Medical, um modelo de transcrição para a área da saúde. Ele reconhece milhares de termos médicos complexos com muito mais precisão e identifica a diferença entre nomes de medicamentos como cicloserina e ciclosporina, para que um paciente receba um tratamento para tuberculose, e não um imunossupressor.

Esse trabalho não vai desacelerar, e Staniszewski afirmou que um modelo otimizado para o setor de serviços financeiros está em desenvolvimento. Mas também acreditamos que as empresas devem poder refinar os modelos que usam não apenas para seu setor, mas para seu contexto específico e seus clientes.

Na palestra principal, Staniszewski anunciou que, nos próximos meses, ajudaremos empresas a fazer o fine-tuning de determinados modelos de linguagem open source, assim como de modelos de voz da ElevenLabs, para uso próprio. “Não resolveremos a interação entre humanos e IA sem refletir o que torna as pessoas e as empresas únicas”, afirmou.

As equipes poderão fazer o fine-tuning dos modelos de acordo com as particularidades que tornam sua empresa única. As empresas poderão trazer seus próprios dados de implantações em produção e trabalhar com pesquisadores da ElevenLabs para refinar os modelos que as impulsionam. Cada empresa pode escolher as métricas mais importantes, como índice de satisfação do cliente (CSAT) ou confiabilidade, e os pesquisadores da ElevenLabs ajudarão você a usar dados das suas implantações em produção para fazer o fine-tuning dos modelos que as impulsionam. Você pode otimizar continuamente com base em cada nova interação; Staniszewski comparou isso a cada empresa ter, essencialmente, sua própria estrutura de aprendizado por reforço.

“Continuaremos lançando mais modelos otimizados para domínios específicos para garantir que sua IA seja mais precisa e útil, mas também acreditamos que as empresas devem poder ir além, com modelos refinados não apenas para seu setor, mas para sua empresa e seus clientes”, afirmou Staniszewski. “Essa é uma das melhores formas de fazer seus dados trabalharem para você e ampliar sua vantagem única.”

O Interaction Engine orquestra toda a conversa

Nem toda tarefa baseada em agentes exige um modelo de ponta em cada etapa para ter sucesso. Determinar quais modelos usar, como e quando usá-los para alcançar um resultado específico é uma arte em si — e uma questão que os pesquisadores da ElevenLabs vêm trabalhando para resolver.

A ElevenLabs apresentou uma prévia de um novo sistema, chamado Interaction Engine, que começa pelo ritmo da conversa. Ele gerencia as trocas de turno e as interrupções, para que o agente saiba quando entrar e quando parar de falar. Também pode escolher o LLM certo para cada parte de uma interação. Um modelo mais econômico pode cuidar da triagem, mantendo o uso de tokens sob controle, enquanto um modelo de ponta entra em ação para lidar com tarefas mais complexas quando necessário.

Grandes atualizações no ElevenAgents e muito mais

ElevenAgents é a plataforma para configurar, implantar e melhorar agentes de voz e chat em vendas, suporte, recrutamento e operações. Ela entende com quem está falando e se adapta ao que essa pessoa precisa.

Clientes e parceiros como Yahoo, Westgate e KPN já estão usando o ElevenAgents e percebendo que agentes que entendem melhor o contexto e a cultura geram resultados melhores para todos.

Staniszewski compartilhou várias atualizações que chegarão ao ElevenAgents e tornarão as interações entre agentes e clientes mais fluidas e naturais.

Memory ajuda o ElevenAgents a se lembrar de clientes recorrentes

Em conversas de suporte ao cliente, as pessoas frequentemente compartilham informações valiosas que não são registradas nem aproveitadas. “Uma das marcas de uma ótima conversa com uma pessoa é que ela se lembra do que você disse e age com base nisso. Os agentes devem fazer o mesmo”, afirmou Staniszewski.

O Memory permitirá que um agente do ElevenAgents desenvolva, ao longo do tempo, um histórico de um cliente, reconhecendo um cliente autenticado que retorna e lembrando o que ele disse antes. Embora o CRM continue sendo o principal registro do cliente, o Memory captura detalhes compartilhados na conversa que nunca tiveram um campo próprio, como preferências, restrições e ocasiões futuras. Se um cliente prefere falar espanhol e só pode conversar depois das 17h, o agente se lembra disso e age de acordo.

Após cada interação, o agente resume a conversa em um registro estruturado e o atualiza quando o cliente retorna. Ele também mantém os detalhes que serão importantes mais tarde. Um assinante de telefonia que mencionou que se mudaria em março não precisa tocar no assunto novamente quando ligar em abril: o agente sabe automaticamente perguntar se ele gostaria de transferir o serviço para o novo endereço e encerrar o antigo. O resultado é uma compreensão de cada cliente que se aprofunda a cada conversa, fazendo com que toda interação pareça mais pessoal do que a anterior.

Routines cuidam do trabalho em torno das conversas

A maior parte do trabalho de acompanhamento de uma chamada de suporte ao cliente acontece depois que a ligação termina. Muitas vezes, ele é feito por pessoas e ferramentas que não participaram da conversa original. Routines, a nova camada de automação do ElevenAgents, permitirá que os usuários executem tarefas em várias etapas antes, durante e depois de cada conversa. Ela se conecta às ferramentas e aos sistemas que sua equipe já usa.

Uma Routine pode fazer uma triagem prévia de um solicitante de financiamento imobiliário e retornar a ligação em minutos, ou lembrar pacientes de uma consulta e oferecer um horário cancelado da lista de espera. Elas também podem ser criadas para enviar um relatório por e-mail, registrar informações em um CRM ou iniciar uma chamada, tudo de forma nativa no ElevenAgents.

Com Routines, o ElevenAgents assume mais tarefas em torno de cada conversa, para que sua equipe passe menos tempo se preparando e fazendo acompanhamentos, e mais tempo com os clientes.

ElevenAI ajuda as pessoas a se manterem presentes nas conversas importantes

Em uma prévia durante sua palestra principal, Staniszewski apresentou o ElevenAI, um novo app da ElevenLabs. Ele funciona como um colega de equipe com IA para equipes corporativas: escuta conversas faladas, inclusive reuniões presenciais, e as transforma em anotações e próximos passos. Se o ElevenAgents é a camada de interação entre empresas e clientes, o ElevenAI será essa camada para colaboradores realizarem seu trabalho.

O ElevenAI oferece ditado e anotações de reuniões com tecnologia do Scribe v3, o mais novo e preciso modelo de Speech to Text da ElevenLabs. Em reuniões, ele faz anotações com o consentimento de todos e, ao fim da chamada, entrega um resumo e itens de ação para cada participante. Também pode oferecer assistência ao vivo durante uma chamada, compartilhando contexto e aprimorando a colaboração entre pessoas e agentes. Mecanismos de aviso e consentimento já vêm integrados, para que as pessoas do outro lado se sintam à vontade.

À medida que as pessoas dependem mais de agentes pessoais em seu dia a dia, elas precisarão de suporte no trabalho desenvolvido para elas como colaboradoras. O ElevenAI se adapta às ferramentas e aos processos de uma empresa e acompanha as pessoas durante toda a jornada de trabalho. Ele também transmite o contexto certo entre agentes e pessoas, para que ambos possam trabalhar juntos como uma única equipe. O acesso antecipado gratuito ao ElevenAI começa hoje.

Expandindo o ecossistema corporativo com o ElevenLabs Partner Program e o ElevenLabs Marketplace

A rede de parceiros da ElevenLabs cresceu para mais de 550 parceiros em 44 países, incluindo Google Cloud, IBM, Deloitte, DXC e Genesys. Hoje, estamos lançando o ElevenLabs Partner Program para facilitar a implantação do ElevenAgents por empresas com as consultorias, integradores de sistemas, fornecedores de software e agências que já conhecem seus negócios. Os parceiros realizam as integrações com sua infraestrutura tecnológica atual ou trabalham ao lado dos FDEs da ElevenLabs em implantações complexas, conforme o que ajudar você a gerar valor mais rapidamente.

Como parte do programa, a ElevenLabs também anuncia uma aliança com a McKinsey, combinando o ElevenAgents à expertise da empresa em transformação corporativa e à QuantumBlack, AI by McKinsey. Agora, as empresas podem desenvolver na ElevenLabs, desenvolver com um parceiro ou comprar de um parceiro para escalar agentes em sistemas complexos.

Além disso, a ElevenLabs e a NVIDIA anunciaram que estão expandindo sua parceria. O Nemotron 3.5 Super VL agora está disponível no ElevenAgents, e a ElevenLabs também está adicionando 15 MW de nova capacidade computacional Vera Rubin. As duas empresas também trabalharão em um agente de voz local para a plataforma nacional de saúde digital da Polônia. O agente atuará no agendamento de consultas para pacientes que só têm telefones fixos.

Hoje, também apresentamos o ElevenLabs Marketplace, um grupo selecionado de aplicações de IA e voz específicas para cada setor, criadas na ElevenLabs por nossos parceiros de tecnologia, para áreas como saúde, serviços financeiros, seguros, educação e varejo. As empresas podem explorar agentes e aplicações e se conectar diretamente aos parceiros por trás deles. A partir do próximo ano, poderão comprar esses agentes pelo Marketplace usando seu compromisso existente com a ElevenLabs.

O que acontece quando a interação é resolvida

Staniszewski encerrou a palestra principal perguntando o que acontece quando a interação entre pessoas e IA é resolvida. Sua resposta foi um mundo em que a tecnologia se adapta às pessoas, os limites de idioma, geografia e escala desaparecem, e as nuances e a cultura locais são preservadas.

“As pessoas compreensivelmente se preocupam que a IA possa centralizar e homogeneizar tudo. Que as empresas não conseguirão proteger seus diferenciais. Que cada nova iteração da IA regride à média”, afirmou Staniszewski. “Estamos construindo o oposto. Modelos, produtos e uma comunidade para ampliar o que torna sua empresa única e ajudar você a expandir sua vantagem.”

Os anúncios de hoje são passos rumo a esse futuro, e a ElevenLabs o está construindo com os clientes, parceiros e desenvolvedores que se reuniram em Nova York. Para começar, comece pelo ElevenAgents.