La capa de interacción para la IA: todo lo anunciado en el Summit de ElevenLabs en Nueva York

La IA es más capaz que nunca, pero para que esa inteligencia sea ampliamente accesible, los sistemas deben ser fáciles de entender y usar para todos. Para lograrlo, las interacciones deben resultar naturales e intuitivas. ElevenLabs está creando esa capa de interacción para la IA. 

En su Summit de Nueva York de hoy, ElevenLabs ha presentado nuevos modelos, agentes y opciones de implementación para ayudar a empresas a interactuar con personas mediante IA y encontrar nuevas formas de generar ingresos.

«En unos años, los agentes conversacionales se convertirán en infraestructura crítica para todas las empresas, tan esenciales como la nube o los pagos», afirmó Mati Staniszewski, CEO y cofundador de ElevenLabs. «Todas las empresas tendrán que reinventar la forma en que interactúan con sus clientes, empleados y el mundo en general».

Esto es lo que ElevenLabs ha anunciado en el Summit:

Avances en los modelos que impulsan cada interacción

Empezamos con la voz y creamos los modelos líderes del sector para conversaciones naturales. Ahora, nuestro trabajo se amplía a los modelos y herramientas que impulsan todas las formas en que las personas interactúan con la tecnología.

En el escenario, Staniszewski anticipó varias novedades que harán que las interacciones entre sistemas de IA, clientes y empleados sean más naturales y se adapten mejor a cada situación. «Nuestra misión en ElevenLabs es resolver la interacción entre personas y tecnología, y por primera vez es posible hacerlo», afirmó. 

Ajusta modelos de código abierto y modelos de voz de ElevenLabs para tu sector

Cada sector tiene su propio lenguaje y sus propias normas. La forma de atender a clientes, así como el mejor canal para esa conversación, varían de un sector a otro. Por eso, ElevenLabs ha trabajado para crear modelos específicos para los principales sectores. Los modelos de Voz a Texto específicos para cada sector aprenden los términos que realmente utilizan las empresas de esos sectores, como EBITDA en finanzas o HIPAA en la administración pública. ElevenLabs utilizó este enfoque para crear Scribe v3 Medical, un modelo de transcripción para el sector sanitario. Puede reconocer miles de términos médicos complejos con mucha mayor precisión y distingue entre nombres de medicamentos como la cicloserina y la ciclosporina, para que un paciente reciba un tratamiento contra la tuberculosis y no un inmunosupresor.  

Este trabajo no va a ralentizarse, y Staniszewski afirmó que ya está en desarrollo un modelo optimizado para el sector de los servicios financieros. Pero también creemos que empresas deberían poder perfeccionar los modelos que utilizan no solo para su sector, sino también para su contexto y clientes específicos.   

En la ponencia inaugural, Staniszewski anunció que, en los próximos meses, ayudaremos a empresas a ajustar determinados modelos de lenguaje de código abierto, así como modelos de voz de ElevenLabs, para su propio uso. «No resolveremos la interacción entre personas e IA sin reflejar lo que distingue a las personas y a las empresas», afirmó.

Los equipos podrán ajustar los modelos a las particularidades específicas que hacen única a su empresa. Las empresas podrán aportar sus propios datos de implementaciones activas y trabajar con investigadores de ElevenLabs para perfeccionar los modelos que las impulsan. Cada empresa podrá elegir las métricas que le importan, como la puntuación de satisfacción del cliente (CSAT) o la fiabilidad, y los investigadores de ElevenLabs te ayudarán a utilizar los datos de tus implementaciones activas para ajustar los modelos que las impulsan. Podrás optimizar de forma continua con cada nueva interacción; Staniszewski lo comparó con que cada empresa tuviera, en esencia, su propia infraestructura de aprendizaje por refuerzo.  

«Seguiremos lanzando más modelos optimizados para cada sector para garantizar que tu IA sea más precisa y útil, pero también creemos que empresas deberían poder ir más allá, con modelos perfeccionados no solo para su sector, sino para su empresa y clientes», afirmó Staniszewski. «Es una de las mejores formas de hacer que tus datos trabajen para ti y de ampliar tu propia ventaja competitiva».

Interaction Engine orquesta toda la conversación 

No todas las tareas basadas en agentes necesitan un modelo de frontera en cada paso para tener éxito. Determinar qué modelos usar, cómo y cuándo para lograr un resultado concreto es un arte en sí mismo, y los investigadores de ElevenLabs están trabajando para resolverlo. 

ElevenLabs presentó una vista previa de un nuevo sistema llamado Interaction Engine, que comienza por el ritmo de la conversación. Gestiona los turnos de palabra y las interrupciones, para que el agente sepa cuándo intervenir y cuándo dejar de hablar. También puede elegir el LLM adecuado para cada parte de un intercambio. Un modelo más económico puede encargarse de la clasificación inicial y mantener bajo control el uso de tokens, mientras que un modelo de frontera interviene para gestionar tareas más complejas cuando es necesario.

Grandes mejoras en ElevenAgents y mucho más

ElevenAgents es la plataforma para configurar, implementar y mejorar agentes de voz y chat en ventas, soporte, selección de personal y operaciones. Entiende con quién está hablando y se adapta a lo que necesita. 

Clientes y socios como Yahoo, Westgate y KPN ya están utilizando ElevenAgents y comprobando que los agentes que entienden mejor el contexto y la cultura ofrecen mejores resultados para todos.

Staniszewski compartió varias novedades que llegarán a ElevenAgents y que harán que las interacciones entre agentes y clientes sean más fluidas y naturales. 

Memory ayuda a ElevenAgents a recordar a clientes que vuelven

En las conversaciones de atención al cliente, las personas suelen compartir información valiosa que no se registra ni se aprovecha. «Una de las características de una gran conversación con una persona es que recuerda lo que le has dicho y actúa en consecuencia. Los agentes deberían hacer lo mismo», afirmó Staniszewski.

Memory permitirá que un agente de ElevenAgents cree un historial de cada cliente a lo largo del tiempo, reconociendo a clientes autenticados que vuelven y recordando lo que dijeron anteriormente. Aunque el CRM sigue siendo el registro principal del cliente, Memory recoge los detalles compartidos en conversación que nunca tuvieron un campo, como preferencias, limitaciones u ocasiones próximas. Si un cliente prefiere hablar en español y solo puede hacerlo después de las 17:00, el agente lo recuerda y actúa en consecuencia.

Tras cada interacción, el agente resume la conversación en un registro estructurado y lo actualiza cuando el cliente vuelve. También conserva detalles que serán importantes más adelante. Un abonado de telefonía que mencionó que se mudaba en marzo no tiene que volver a decirlo cuando llama en abril: el agente sabe automáticamente preguntar si quiere trasladar el servicio a la nueva dirección y dar de baja el anterior. El resultado es una comprensión de cada cliente que se acumula con cada conversación, de modo que cada interacción se siente más personal que la anterior.

Routines gestiona el trabajo relacionado con las conversaciones

La mayor parte del trabajo de seguimiento de una llamada de atención al cliente ocurre cuando la llamada termina. A menudo lo realizan personas y herramientas que no formaron parte de la conversación original. Routines, la nueva capa de automatización de ElevenAgents, permitirá a usuarios ejecutar tareas de varios pasos antes, durante y después de cada conversación. Se conecta con las herramientas y sistemas con los que ya trabaja tu equipo. 

Una Routine puede evaluar previamente a un solicitante de hipoteca y devolverle la llamada en pocos minutos, o recordar a pacientes una cita y ofrecerles una franja cancelada de la lista de espera. También se pueden crear para enviar por correo electrónico un informe, escribir en un CRM o iniciar una llamada, todo de forma nativa en ElevenAgents.

Con Routines, ElevenAgents asume una mayor parte del trabajo relacionado con cada conversación, para que tu equipo dedique menos tiempo a la preparación y el seguimiento, y más a clientes.

ElevenAI ayuda a las personas a estar presentes en las conversaciones importantes

En un adelanto durante su ponencia inaugural, Staniszewski presentó ElevenAI, una nueva app de ElevenLabs. Funciona como un compañero de equipo con IA para equipos empresariales: escucha conversaciones habladas, incluidas reuniones presenciales, y las convierte en notas y próximos pasos. Si ElevenAgents es la capa de interacción entre empresas y clientes, ElevenAI será esa capa para empleados mientras realizan su trabajo. 

ElevenAI ofrece dictado y notas de reuniones impulsados por Scribe v3, el modelo de Voz a Texto más reciente y preciso de ElevenLabs. En las reuniones, toma notas con el consentimiento de todos y, cuando termina la llamada, entrega un resumen y acciones pendientes para cada asistente. También puede ofrecer asistencia en directo durante una llamada, aportando contexto y mejorando la colaboración entre personas y agentes. Incluye mecanismos de aviso y consentimiento para que las personas al otro lado se sientan cómodas.

A medida que las personas dependan más de agentes personales en su día a día, necesitarán apoyo en el trabajo diseñado para ellas como empleados. ElevenAI se adapta a las herramientas y procesos de una empresa y acompaña a las personas durante toda su jornada laboral. También transmite el contexto adecuado entre agentes y personas, para que ambos puedan trabajar como un solo equipo. El acceso anticipado gratuito a ElevenAI se abre hoy. 

Ampliamos el ecosistema empresarial con el ElevenLabs Partner Program y ElevenLabs Marketplace

La red de socios de ElevenLabs ha crecido hasta superar los 550 socios en 44 países, incluidos Google Cloud, IBM, Deloitte, DXC y Genesys. Hoy lanzamos el ElevenLabs Partner Program para facilitar que empresas implementen ElevenAgents con las consultoras, integradores de sistemas, proveedores de software y agencias que ya conocen su negocio. Los socios se encargan de las integraciones con tu stack tecnológico existente o trabajan junto a ElevenLabs FDEs en implementaciones complejas, lo que te ayude a obtener valor más rápido.

Como parte del programa, ElevenLabs también anuncia una alianza con McKinsey, que combina ElevenAgents con la experiencia de la firma en transformación empresarial y QuantumBlack, AI by McKinsey. Las empresas ya pueden desarrollar sobre ElevenLabs, desarrollar con un socio o comprar a uno para escalar agentes en sistemas complejos.

Además, ElevenLabs y NVIDIA han anunciado que amplían su colaboración. Nemotron 3.5 Super VL ya está disponible en ElevenAgents, y ElevenLabs también añade 15 MW de nueva capacidad de computación Vera Rubin. Ambas empresas también trabajarán en un agente de voz local para la plataforma nacional de salud digital de Polonia. El agente se encargará de programar citas para pacientes que solo disponen de teléfono fijo. 

Hoy también presentamos el ElevenLabs Marketplace, una selección de aplicaciones de IA y voz específicas para cada sector, creadas sobre ElevenLabs por nuestros socios tecnológicos para sectores como la sanidad, los servicios financieros, los seguros, la educación y el comercio minorista. Las empresas pueden explorar agentes y aplicaciones, y conectar directamente con los socios que están detrás de ellos. A partir del próximo año, las empresas podrán comprar estos agentes a través de Marketplace utilizando su compromiso actual con ElevenLabs. 

Qué ocurre cuando se resuelve la interacción

Staniszewski cerró la ponencia inaugural preguntando qué ocurre cuando se resuelve la interacción entre personas e IA. Su respuesta fue un mundo en el que la tecnología se adapta a las personas, desaparecen los límites del idioma, la geografía y la escala, y se preservan los matices y la cultura locales.

«Es comprensible que a las personas les preocupe que la IA pueda centralizarlo y homogeneizarlo todo. Que las empresas no puedan proteger sus ventajas competitivas. Que cada nueva iteración de la IA vuelva a la media», afirmó Staniszewski. «Estamos creando lo contrario: modelos, productos y una comunidad para potenciar lo que hace única a tu empresa y ayudarte a ampliar tu ventaja». 

Los anuncios de hoy son pasos hacia ese futuro, y ElevenLabs lo está construyendo junto a clientes, socios y desarrolladores que se reunieron en Nueva York. Para empezar, empieza con ElevenAgents.