Havells leva controle por voz multilíngue ao seu ecossistema de casa conectada com a ElevenLabs

O Voice Mode está disponível para toda a base de usuários do Havells One, um app com aproximadamente 2,7 milhões de downloads, que oferece suporte a oito idiomas em sete categorias de dispositivos.

A Havells é uma das principais empresas de produtos elétricos da Índia e oferece um amplo portfólio de produtos conectados, incluindo aparelhos de ar-condicionado, ventiladores, purificadores de ar e de água, aquecedores de água, máquinas de lavar e interruptores inteligentes. Para aprimorar a experiência de casa inteligente, o Centro de Pesquisa e Inovação (CRI) da Havells desenvolveu o Agentic AI Voice Mode, uma interface conversacional inteligente no app Havells One que permite aos usuários controlar aparelhos por meio de interações de voz naturais em inglês e diversos idiomas indianos. Ele foi desenvolvido programaticamente com a ElevenAPI, usando Speech to Text em streaming em tempo real (Scribe v2 Realtime) e Text to Speech (Eleven v3 Conversational), integrados ao agente proprietário e inteligente de controle de dispositivos da Havells.

A experiência de voz anterior da Havells oferecia suporte inicialmente ao inglês e, depois, ao hindi em aparelhos selecionados, mas continuava baseada em comandos. Os usuários precisavam lembrar frases específicas e padrões de ativação para que os dispositivos respondessem corretamente. Não é assim que as famílias indianas falam naturalmente, muitas vezes misturando inglês, hindi, marathi e outros idiomas regionais na mesma conversa. O Agentic AI Voice Mode inverte essa lógica. As pessoas falam naturalmente, e o sistema entende intenção, contexto e idioma.

Latência e naturalidade definiram a avaliação

A Havells avaliou diversas plataformas de voz IA quanto à precisão do reconhecimento de idiomas, suporte multilíngue, latência e síntese de voz. A equipe encontrou a ElevenLabs ao pesquisar provedores de Text to Speech em streaming de alta qualidade e baixa latência e selecionou a ElevenLabs por sua precisão, velocidade e suporte multilíngue, além da documentação da API, do painel, do suporte e das vozes de exemplo em idiomas indianos.

Em testes comparativos, a diferença apareceu na rapidez e na naturalidade com que o assistente respondia. Para um assistente de casa inteligente, a latência não é apenas uma medida técnica. Uma resposta atrasada parece uma interface de voz tradicional, enquanto uma resposta rápida parece uma conversa em tempo real. Naturalidade e capacidade de resposta em tempo real foram os fatores mais importantes para a Havells, e ambos influenciaram a decisão de desenvolver o Voice Mode com a ElevenLabs.

Oito idiomas que refletem como as famílias indianas realmente falam

O Voice Mode oferece suporte ao inglês e a sete idiomas indianos: hindi, tâmil, telugu, bengali, canarês, guzerate e malaiala. Os usuários controlam dispositivos por aparelho, cômodo ou cenário, usando linguagem natural em vez de um conjunto fixo de comandos.

O assistente interpreta falas coloquiais e que misturam idiomas como intenção, e não como sintaxe. Um pedido como "Yaar thoda thanda lag raha hai" (Cara, estou sentindo um pouco de frio) reduz a velocidade do ventilador e ajusta o ar-condicionado sem que o usuário precise mencionar nenhum dos dois dispositivos. 

.

Uma interface conversacional em toda a plataforma Havells One

O Voice Mode abrange várias categorias de dispositivos inteligentes na plataforma Havells One: aparelhos de ar-condicionado, ventiladores, purificadores de ar, purificadores de água, aquecedores de água, máquinas de lavar, interruptores inteligentes e futuros dispositivos.

A cobertura é ampla dentro de cada categoria e entre elas, incluindo modelos e variantes, com comandos de voz que controlam velocidade, modos, temporizadores e rotação reversa.

Como a mesma camada conversacional está presente em todas as categorias, uma única instrução falada pode agir sobre dispositivos inteligentes da Havells mesmo que usem protocolos de conectividade diferentes. "Geyser on karo aur fan bhi chalu karo" (Ligue o ventilador e o aquecedor de água) é dividida e executada em vários dispositivos Havells ao mesmo tempo.

Retenção de contexto e esclarecimentos em conversas com várias interações

O agente da Havells opera dez recursos em produção: compreensão de linguagem natural, memória de contexto, orquestração de vários dispositivos, reconhecimento de contexto, IA multilíngue, ativação sem configuração, controle de dispositivos entre protocolos, feedback conversacional bidirecional, diagnóstico de erros e automação baseada em regras. Na prática, isso significa:

• "Fan slow karo ... thoda aur" (Diminua a velocidade do ventilador... mais um pouco) é interpretado como uma continuação, então o usuário não precisa repetir o comando completo.
• "AC chalu karo" em uma casa com dois aparelhos de ar-condicionado faz o assistente perguntar qual cômodo, em vez de adivinhar.
• "AC pe E6 dikh raha hai, kya hua?" retorna uma explicação clara do código de erro e sugere o próximo passo.

O feedback conversacional bidirecional é tão importante quanto o reconhecimento nesse caso. O assistente confirma o que fez, explica o que não consegue fazer e pergunta antes de tomar uma ação que poderia ser ambígua.

Do protótipo à produção em seis semanas

A Havells tinha um protótipo funcional do seu agente cerca de duas semanas após o início do desenvolvimento, validando o caminho do comando falado à ação no dispositivo e à resposta falada. A documentação da API e o painel que influenciaram a escolha da plataforma também foram usados no desenvolvimento, e a equipe do CRI integrou diretamente o Speech to Text e o Text to Speech em streaming.

As semanas restantes foram dedicadas à própria complexidade da Havells, e não à camada de voz: o catálogo completo e multilíngue de dispositivos, as diferentes capacidades dos aparelhos, comandos complexos, casos extremos e cenários de recuperação. A equipe de engenharia da ElevenLabs alocada junto à Havells trabalhou para ajustar a qualidade da voz e a pronúncia dos idiomas regionais indianos, além de configurar o streaming para que a latência permanecesse estável à medida que crescia o número de sessões simultâneas. A integração inicial até o lançamento pronto para produção levou aproximadamente seis semanas.

O Voice Mode agora está disponível para toda a base de usuários do Havells One, um app que ultrapassou 2,7 milhões de downloads. Essa escala fornece à equipe do CRI dados de interação do mundo real para aprimorar a experiência em diferentes idiomas, dispositivos e tipos de comando.

O futuro

A Havells considera o Agentic AI Voice Mode a base de uma experiência de casa inteligente mais ampla, e não um recurso concluído, e definiu quatro direções para expansão:

1. Personalização mais profunda, para que a casa responda às preferências e aos ritmos diários de cada morador, em vez de tratar todos os usuários da mesma forma.
2. Maior cobertura de idiomas, partindo do princípio de que o idioma continua sendo a maior barreira à adoção na Índia e que oito idiomas são apenas o começo.
3. Um ponto de acesso com voz em primeiro lugar para todo o ecossistema Havells, complementando apps, dispositivos individuais e painéis de controle, além de trazer aparelhos que ainda não estão conectados para o ecossistema e, depois, para a plataforma de voz.
4. Voz além dos comandos de ligar/desligar e de ponto de ajuste, expandindo para perguntas frequentes sobre produtos, solução de problemas, rotinas de automação e agendamentos.

Desenvolvida pela equipe do CRI sob a filosofia de "Feito na Índia, feito para o mundo", a plataforma combina tecnologia global com um profundo entendimento dos lares, idiomas e estilos de vida indianos. À medida que o ecossistema cresce, o foco continua em manter a experiência natural, ágil, multilíngue e personalizada, permitindo que a tecnologia se adapte às pessoas, em vez de exigir que as pessoas se adaptem à tecnologia.