Havells leva controle por voz multilíngue ao seu ecossistema de casa conectada com a ElevenLabs

O Voice Mode está disponível para toda a base de usuários do Havells One, um app com aproximadamente 2,7 milhões de downloads, que oferece suporte a oito idiomas em sete categorias de dispositivos.

A Havells é uma das principais empresas de produtos elétricos da Índia e oferece um amplo portfólio de produtos conectados, incluindo aparelhos de ar-condicionado, ventiladores, purificadores de ar e água, aquecedores de água, máquinas de lavar e interruptores inteligentes. Para aprimorar a experiência de casa inteligente, o Havells Center for Research & Innovation (CRI) desenvolveu o Agentic AI Voice Mode, uma interface conversacional inteligente no app Havells One que permite aos usuários controlar aparelhos por interações naturais por voz, em inglês e diversos idiomas indianos. Ele foi desenvolvido programaticamente com a ElevenAPI, usando Speech to Text em streaming e em tempo real (Scribe v2 Realtime) e Text to Speech (Eleven v3 Conversational), integrados ao agente proprietário e inteligente de controle de dispositivos da Havells.

A experiência de voz anterior da Havells oferecia inicialmente suporte a inglês e, depois, a hindi em aparelhos selecionados, mas continuava baseada em comandos. Os usuários precisavam se lembrar de frases e padrões de ativação específicos para que os dispositivos respondessem corretamente. Não é assim que as famílias indianas falam naturalmente, muitas vezes misturando inglês, hindi, marati e outros idiomas regionais na mesma conversa. O Agentic AI Voice Mode muda isso. As pessoas falam naturalmente, e o sistema entende a intenção, o contexto e o idioma.

Latência e naturalidade definiram a avaliação

A Havells avaliou diversas plataformas de voz IA quanto à precisão do reconhecimento de idiomas, suporte multilíngue, latência e síntese de voz. A equipe encontrou a ElevenLabs enquanto pesquisava fornecedores de Text to Speech em streaming, de alta qualidade e baixa latência, e incluiu a ElevenLabs na lista final pela precisão, velocidade e suporte multilíngue, além da documentação da API, do painel, do suporte e das vozes de exemplo em idiomas indianos.

Em testes comparativos, a diferença ficou evidente na rapidez e na naturalidade com que o assistente respondia. Para um assistente de casa inteligente, a latência não é apenas uma medida técnica. Uma resposta demorada parece uma interface de voz tradicional, enquanto uma resposta rápida parece uma conversa em tempo real. A naturalidade e a capacidade de resposta em tempo real eram o mais importante para a Havells, e ambas influenciaram a decisão de desenvolver o Voice Mode com a ElevenLabs.

Oito idiomas que correspondem à forma como as famílias indianas realmente falam

O Voice Mode oferece suporte a inglês e sete idiomas indianos: hindi, tâmil, telugo, bengali, canarês, guzerate e malaiala. Os usuários controlam dispositivos por aparelho, ambiente ou cena, usando linguagem natural em vez de um conjunto fixo de comandos.

O assistente interpreta falas coloquiais e que misturam idiomas como intenção, e não como sintaxe. Um pedido como "Yaar thoda thanda lag raha hai" (Cara, estou sentindo um pouco de frio) reduz a velocidade do ventilador e ajusta o ar-condicionado sem que o usuário precise mencionar nenhum dos dispositivos. 

.

Uma interface conversacional em toda a plataforma Havells One

O Voice Mode abrange diversas categorias de dispositivos inteligentes na plataforma Havells One: aparelhos de ar-condicionado, ventiladores, purificadores de ar, purificadores de água, aquecedores de água, máquinas de lavar, interruptores inteligentes e futuros dispositivos.

A cobertura é ampla tanto dentro de cada categoria quanto entre elas, abrangendo modelos e variantes, com comandos de voz para velocidade, modos, temporizadores e rotação reversa.

Como a mesma camada conversacional está presente em todas as categorias, uma única instrução falada pode agir sobre dispositivos inteligentes da Havells, mesmo que eles usem protocolos de conectividade diferentes. "Geyser on karo aur fan bhi chalu karo" (Ligue o ventilador e o aquecedor de água) é dividido e executado em vários dispositivos Havells ao mesmo tempo.

Retenção de contexto e esclarecimentos em conversas com vários turnos

O agente da Havells opera dez recursos em produção: entendimento de linguagem natural, memória de contexto, orquestração de vários dispositivos, reconhecimento de contexto, IA multilíngue, ativação sem configuração, controle de dispositivos entre protocolos, feedback conversacional bidirecional, diagnóstico de erros e automação baseada em regras. Na prática, funciona assim:

• "Fan slow karo ... thoda aur" (Diminua a velocidade do ventilador... mais um pouco) é interpretado como uma continuação, então o usuário não precisa repetir o comando completo.
• "AC chalu karo" em uma casa com dois aparelhos de ar-condicionado faz o assistente perguntar qual ambiente, em vez de tentar adivinhar.
• "AC pe E6 dikh raha hai, kya hua?" retorna uma explicação simples do código de erro e sugere o próximo passo.

O feedback conversacional bidirecional é tão importante quanto o reconhecimento neste caso. O assistente confirma o que fez, explica o que não pode fazer e pergunta antes de tomar uma ação que poderia ser ambígua.

Do protótipo à produção em seis semanas

A Havells tinha um protótipo funcional de seu agente cerca de duas semanas após o início do desenvolvimento, validando o caminho do comando falado à ação no dispositivo e à resposta falada. A documentação da API e o painel que influenciaram a decisão sobre a plataforma também foram usados no desenvolvimento, e a equipe do CRI integrou diretamente o Speech to Text e o Text to Speech em streaming a eles.

As semanas restantes foram dedicadas à própria complexidade da Havells, e não à camada de fala: o catálogo completo de dispositivos multilíngue, as diferentes capacidades dos dispositivos, comandos complexos, casos extremos e cenários de recuperação. A equipe de engenharia da ElevenLabs, trabalhando diretamente com a Havells, ajustou a qualidade e a pronúncia das vozes para idiomas regionais indianos e configurou o streaming para que a latência permanecesse estável à medida que as sessões simultâneas aumentavam. Da integração inicial ao lançamento pronto para produção, foram necessárias aproximadamente seis semanas.

O Voice Mode agora está disponível para toda a base de usuários do Havells One, um app que ultrapassou 2,7 milhões de downloads. Essa escala fornece à equipe do CRI dados de interações reais para aprimorar a experiência entre idiomas, dispositivos e tipos de comando.

Olhando para o futuro

A Havells vê o Agentic AI Voice Mode como a base para uma experiência de casa inteligente mais ampla, e não como um recurso concluído, e definiu quatro direções para expansão:

1. Personalização mais profunda, para que a casa responda às preferências e aos ritmos diários de cada membro da residência, em vez de tratar todos os usuários da mesma forma.
2. Maior cobertura de idiomas, partindo do princípio de que o idioma continua sendo a maior barreira à adoção na Índia e que oito idiomas são apenas o começo.
3. Uma porta de entrada com foco em voz para todo o ecossistema da Havells, complementando apps, dispositivos individuais e painéis de controle, além de trazer aparelhos atualmente desconectados para o ecossistema e, depois, para a plataforma de voz.
4. Voz além de comandos de ligar/desligar e pontos de ajuste, expandindo para perguntas frequentes sobre produtos, solução de problemas, rotinas de automação e agendamentos.

Desenvolvida pela equipe do CRI sob a filosofia de "Feito na Índia, feito para o mundo", a plataforma combina tecnologia global com uma compreensão profunda dos lares, idiomas e estilos de vida indianos. À medida que o ecossistema cresce, o foco continua em manter a experiência natural, responsiva, multilíngue e personalizada, permitindo que a tecnologia se adapte às pessoas, em vez de exigir que as pessoas se adaptem à tecnologia.