Havells leva controle por voz multilíngue ao seu ecossistema de casa conectada com a ElevenLabs

O Voice Mode já está disponível para toda a base de usuários do Havells One, um app com aproximadamente 2,7 milhões de downloads, oferecendo suporte a oito idiomas em sete categorias de dispositivos.

A Havells é uma das principais empresas de produtos elétricos da Índia e oferece um amplo portfólio de produtos conectados, incluindo ar-condicionado, ventiladores, purificadores de ar e água, aquecedores de água, máquinas de lavar e interruptores inteligentes. Para aprimorar a experiência de casa inteligente, o Havells Center for Research & Innovation (CRI) desenvolveu o Agentic AI Voice Mode, uma interface conversacional inteligente no app Havells One que permite aos usuários controlar eletrodomésticos por meio de interações naturais por voz em inglês e diversos idiomas indianos. Ele foi desenvolvido programaticamente com a ElevenAPI, usando Speech to Text em streaming em tempo real (Scribe v2 Realtime) e Text to Speech (Eleven v3 Conversational) integrados ao agente inteligente proprietário de controle de dispositivos da Havells.

A experiência anterior de voz da Havells oferecia inicialmente suporte ao inglês e, depois, ao hindi em alguns eletrodomésticos selecionados, mas continuava baseada em comandos. Os usuários precisavam se lembrar de frases específicas e padrões de ativação para que os dispositivos respondessem corretamente. Não é assim que as famílias indianas falam naturalmente, muitas vezes misturando inglês, hindi, marata e outros idiomas regionais na mesma conversa. O Agentic AI Voice Mode muda isso. As pessoas falam naturalmente, e o sistema entende a intenção, o contexto e o idioma.

Latência e naturalidade definiram a avaliação

A Havells avaliou diversas plataformas de voz com IA quanto à precisão do reconhecimento de idiomas, suporte multilíngue, latência e síntese de voz. A equipe encontrou a ElevenLabs ao pesquisar provedores que ofereciam Text to Speech em streaming de alta qualidade e baixa latência, e selecionou a ElevenLabs por sua precisão, velocidade e suporte multilíngue, além da documentação da API, do dashboard, do suporte e das vozes de exemplo em idiomas indianos.

Nos testes comparativos, a diferença ficou evidente na rapidez e na naturalidade com que o assistente respondia. Para um assistente de casa inteligente, a latência não é apenas uma métrica técnica. Uma resposta demorada parece uma interface de voz tradicional, enquanto uma resposta rápida parece uma conversa em tempo real. Naturalidade e agilidade em tempo real eram o que mais importava para a Havells, e ambas orientaram a decisão de desenvolver o Voice Mode com a ElevenLabs.

Oito idiomas que refletem como as famílias indianas realmente falam

O Voice Mode oferece suporte ao inglês e a sete idiomas indianos: hindi, tâmil, telugo, bengali, canarês, guzerate e malaiala. Os usuários controlam dispositivos por aparelho, cômodo ou cenário, usando linguagem natural em vez de um conjunto fixo de comandos.

O assistente interpreta a fala coloquial e que mistura idiomas como intenção, e não como sintaxe. Um pedido como "Yaar thoda thanda lag raha hai" (Cara, estou sentindo um pouco de frio) reduz a velocidade do ventilador e ajusta o ar-condicionado sem que o usuário precise mencionar nenhum dos dispositivos. 

.

Uma interface conversacional em toda a plataforma Havells One

O Voice Mode abrange várias categorias de dispositivos inteligentes na plataforma Havells One: ar-condicionado, ventiladores, purificadores de ar, purificadores de água, aquecedores de água, máquinas de lavar, interruptores inteligentes e futuros dispositivos.

A cobertura é ampla dentro de cada categoria e entre elas, abrangendo modelos e variantes nos quais os comandos de voz alcançam velocidade, modos, temporizadores e rotação reversa.

Como a mesma camada conversacional está presente em todas as categorias, uma única instrução falada pode agir sobre dispositivos inteligentes da Havells, mesmo que usem protocolos de conectividade diferentes. "Geyser on karo aur fan bhi chalu karo" (Ligue o ventilador e o aquecedor de água) é dividido e executado em vários dispositivos Havells ao mesmo tempo.

Retenção de contexto e esclarecimentos em conversas com várias interações

O agente da Havells tem dez recursos em produção: compreensão de linguagem natural, memória de contexto, orquestração de vários dispositivos, percepção de contexto, IA multilíngue, ativação sem configuração, controle de dispositivos entre protocolos, feedback conversacional bidirecional, diagnóstico de erros e automação baseada em regras. Na prática, isso significa:

• "Diminua a velocidade do ventilador... mais um pouco" (Reduza a velocidade do ventilador... mais um pouco) é entendido como um complemento, para que o usuário não precise repetir o comando completo.
• "Ligue o ar-condicionado" em uma casa com dois aparelhos de ar-condicionado faz com que o assistente pergunte em qual cômodo, em vez de adivinhar.
• "O código E6 está aparecendo no ar-condicionado. O que aconteceu?"" retorna uma explicação em linguagem simples sobre o código de erro e sugere o próximo passo.

O feedback conversacional bidirecional é tão importante quanto o reconhecimento neste caso. O assistente confirma o que fez, explica o que não pode fazer e pergunta antes de realizar uma ação que, de outra forma, seria ambígua.

Do protótipo à produção em seis semanas

A Havells tinha um protótipo funcional de seu agente cerca de duas semanas após o início do desenvolvimento, validando o caminho do comando falado à ação no dispositivo e à resposta falada. A documentação da API e o dashboard que influenciaram a decisão pela plataforma também foram usados no desenvolvimento, e a equipe do CRI integrou diretamente o Speech to Text e o Text to Speech em streaming.

As semanas restantes foram dedicadas à própria complexidade da Havells, e não à camada de voz: o catálogo completo e multilíngue de dispositivos, capacidades diferentes entre eles, comandos complexos, casos extremos e cenários de recuperação. A equipe de engenharia da ElevenLabs trabalhou em conjunto com a Havells para ajustar a qualidade e a pronúncia das vozes em idiomas regionais indianos, além de configurar o streaming para manter a latência estável à medida que as sessões simultâneas aumentavam. Da integração inicial ao lançamento pronto para produção, foram aproximadamente seis semanas.

O Voice Mode agora está disponível para toda a base de usuários do Havells One, um app que já ultrapassou 2,7 milhões de downloads. Essa escala fornece à equipe do CRI dados de interações reais para melhorar a experiência entre idiomas, dispositivos e tipos de comando.

Esse recurso de voz com IA agêntica é um avanço para nossos clientes, permitindo que controlem e interajam com seus dispositivos naturalmente, sem precisar memorizar comandos ou aprender regras. Seu potencial é ilimitado e continuará a crescer à medida que novos recursos forem adicionados aos nossos dispositivos e serviços. Como uma experiência de IA para uso diário, ele demonstra o potencial transformador dos agentes de IA, indo muito além das interfaces de voz tradicionais do passado. Para usar esse recurso, os consumidores só precisam ter um dispositivo Havells Smart registrado no app Havells One

- Dipesh Shah, presidente executivo e CTO, Havells

Há cem anos, o setor de eletrodomésticos vende produtos. O que estamos construindo agora é uma relação — uma casa que percebe, aprende e responde ao idioma e ao ritmo da família que vive nela.

- Harikumar Varrier, vice-presidente sênior, CRI IoT, Havells

O que vem por aí

A Havells vê o Agentic AI Voice Mode como a base de uma experiência de casa inteligente mais ampla, e não como um recurso finalizado, e definiu quatro caminhos de expansão:

1. Personalização mais profunda, para que a casa responda às preferências e aos ritmos diários de cada morador, em vez de tratar todos os usuários da mesma forma.
2. Maior cobertura de idiomas, partindo do princípio de que o idioma continua sendo a maior barreira à adoção na Índia e que oito idiomas são apenas o começo.
3. Uma porta de entrada centrada na voz para todo o ecossistema Havells, complementando apps, dispositivos individuais e painéis de controle, além de incorporar ao ecossistema eletrodomésticos que hoje não estão conectados e, depois, à plataforma de voz.
4. Voz além dos comandos de ligar/desligar e de ajuste de valores, abrangendo perguntas frequentes sobre produtos, solução de problemas, rotinas de automação e agendamentos.

Desenvolvida pela equipe do CRI sob a filosofia de "Feito na Índia, feito para o mundo", a plataforma combina tecnologia global com um profundo entendimento das casas, idiomas e estilos de vida indianos. À medida que o ecossistema cresce, o foco continua sendo manter a experiência natural, ágil, multilíngue e personalizada, permitindo que a tecnologia se adapte às pessoas, em vez de exigir que as pessoas se adaptem à tecnologia.