Havells intègre le contrôle vocal multilingue à son écosystème de maison connectée avec ElevenLabs

Voice Mode est disponible pour tous les utilisateurs de Havells One, une application comptant environ 2,7 millions de téléchargements, et prend en charge huit langues dans sept catégories d'appareils.

Havells est l'une des principales entreprises indiennes de produits électriques. Elle propose un large portefeuille de produits connectés, dont des climatiseurs, ventilateurs, purificateurs d'air et d'eau, chauffe-eau, lave-linge et interrupteurs intelligents. Pour enrichir l'expérience de maison connectée, le Havells Center for Research & Innovation (CRI) a développé Agentic AI Voice Mode, une interface conversationnelle intelligente intégrée à l'application Havells One qui permet aux utilisateurs de contrôler leurs appareils par des interactions vocales naturelles, en anglais et dans plusieurs langues indiennes. Elle est développée par programmation sur ElevenAPI, avec le streaming en temps réel de Speech to Text (Scribe v2 Realtime) et de Text to Speech (Eleven v3 Conversational), intégrés à l'agent propriétaire intelligent de contrôle des appareils de Havells.

La précédente expérience vocale de Havells prenait d'abord en charge l'anglais, puis l'hindi, sur certains appareils, mais restait axée sur les commandes. Les utilisateurs devaient mémoriser des phrases précises et des formules d'invocation pour que les appareils répondent correctement. Or, les foyers indiens ne s'expriment pas naturellement ainsi : ils mêlent souvent anglais, hindi, marathi et d'autres langues régionales au sein d'une même conversation. Agentic AI Voice Mode inverse cette logique. Les utilisateurs parlent naturellement et le système comprend l'intention, le contexte et la langue.

La latence et le naturel ont déterminé l'évaluation

Havells a évalué plusieurs plateformes d'IA vocale selon la précision de la reconnaissance linguistique, la prise en charge multilingue, la latence et la synthèse vocale. L'équipe a découvert ElevenLabs en recherchant des fournisseurs de Text to Speech en streaming, de haute qualité et à faible latence. Elle a retenu ElevenLabs pour sa précision, sa rapidité et sa prise en charge multilingue, ainsi que pour sa documentation API, son Dashboard, son accompagnement et ses exemples de voix en langues indiennes.

Lors des tests comparatifs, la différence s'est révélée dans la rapidité et le naturel des réponses de l'assistant. Pour un assistant de maison connectée, la latence n'est pas qu'une mesure technique. Une réponse tardive évoque une interface vocale traditionnelle, tandis qu'une réponse rapide donne l'impression d'une conversation en temps réel. Le naturel et la réactivité en temps réel étaient les critères les plus importants pour Havells, et ont tous deux guidé la décision de développer Voice Mode sur ElevenLabs.

Huit langues adaptées à la façon dont les foyers indiens s'expriment réellement

Voice Mode prend en charge l'anglais et sept langues indiennes : l'hindi, le tamoul, le télougou, le bengali, le kannada, le gujarati et le malayalam. Les utilisateurs contrôlent leurs appareils par type d'appareil, par pièce ou par scène, en langage naturel plutôt qu'avec un ensemble de commandes prédéfini.

L'assistant interprète les expressions familières et le mélange de langues comme une intention, plutôt que comme une syntaxe. Une demande telle que « Yaar thoda thanda lag raha hai » (« Frère, j'ai un peu froid ») ralentit le ventilateur et ajuste le climatiseur, sans que l'utilisateur ait à nommer l'un ou l'autre appareil. 

.

Une interface conversationnelle unique sur la plateforme Havells One

Voice Mode couvre plusieurs catégories d'appareils intelligents sur la plateforme Havells One : climatiseurs, ventilateurs, purificateurs d'air, purificateurs d'eau, chauffe-eau, lave-linge, interrupteurs intelligents et futurs appareils.

La prise en charge est approfondie au sein de chaque catégorie et s'étend à l'ensemble d'entre elles, couvrant les modèles et leurs variantes. Les commandes vocales permettent de régler la vitesse, les modes, les minuteries et la rotation inversée.

Comme la même couche conversationnelle couvre toutes les catégories, une seule instruction vocale peut agir sur des appareils intelligents Havells, même s'ils utilisent des protocoles de connectivité différents. « Geyser on karo aur fan bhi chalu karo » (« Allume le ventilateur et le chauffe-eau ») est décomposée et exécutée simultanément sur plusieurs appareils Havells.

Conservation du contexte et clarification dans les conversations à plusieurs tours

L'agent de Havells exécute dix capacités en production : compréhension du langage naturel, mémorisation du contexte, orchestration de plusieurs appareils, prise en compte du contexte, IA multilingue, activation sans configuration, contrôle des appareils entre protocoles, retours conversationnels bidirectionnels, diagnostic des erreurs et automatisation fondée sur des règles. Concrètement :

• « Fan slow karo ... thoda aur » (« Réduis la vitesse du ventilateur... encore un peu ») est interprété comme une relance ; l'utilisateur n'a donc pas à répéter toute la commande.
• « AC chalu karo » dans une maison équipée de deux climatiseurs amène l'assistant à demander dans quelle pièce, plutôt que de deviner.
• « AC pe E6 dikh raha hai, kya hua? » fournit une explication claire du code d'erreur et suggère l'étape suivante.

Les retours conversationnels bidirectionnels comptent ici autant que la reconnaissance. L'assistant confirme les actions effectuées, explique ce qu'il ne peut pas faire et demande confirmation avant d'entreprendre une action qui serait autrement ambiguë.

Du prototype à la production en six semaines

Havells disposait d'un prototype fonctionnel de son agent environ deux semaines après le début du développement, validant le parcours allant de la commande vocale à l'action sur l'appareil, puis à la réponse orale. La documentation API et le Dashboard qui ont orienté le choix de la plateforme ont aussi servi au développement, et l'équipe CRI y a directement intégré Speech to Text et Text to Speech en streaming.

Les semaines restantes ont été consacrées à la complexité propre à Havells plutôt qu'à la couche vocale : le catalogue complet d'appareils multilingue, les capacités variables des appareils, les commandes complexes, les cas limites et les scénarios de reprise. L'équipe d'ingénierie déployée sur site par ElevenLabs a collaboré avec Havells pour affiner la qualité vocale et la prononciation dans les langues régionales indiennes, et configurer le streaming afin que la latence reste stable à mesure que le nombre de sessions simultanées augmentait. L'intégration initiale jusqu'au déploiement prêt pour la production a pris environ six semaines.

Voice Mode est désormais accessible à l'ensemble des utilisateurs de Havells One, une application qui a dépassé 2,7 millions de téléchargements. Cette échelle fournit à l'équipe CRI des données d'interaction réelles pour améliorer l'expérience selon les langues, les appareils et les types de commandes.

Cette capacité vocale d'IA agentique constitue une avancée majeure pour nos clients : elle leur permet de contrôler leurs appareils et d'interagir avec eux naturellement, sans avoir à mémoriser des commandes ni à apprendre des règles. Son potentiel est considérable et continuera de s'étendre à mesure que de nouvelles capacités seront ajoutées à nos appareils et services. En tant qu'expérience d'IA utilisée au quotidien, elle illustre le potentiel des agents IA, bien au-delà des interfaces vocales traditionnelles du passé. Pour utiliser cette fonctionnalité, les consommateurs ont seulement besoin d'un appareil Havells Smart enregistré dans leur application Havells One.

- Dipesh Shah, président exécutif et directeur technique, Havells

Depuis cent ans, l'industrie de l'électroménager vend des produits. Ce que nous construisons aujourd'hui, c'est une relation : une maison qui perçoit, apprend et répond à la langue et au rythme de la famille qui y vit.

- Harikumar Varrier, vice-président senior, CRI IoT, Havells

Perspectives

Havells considère Agentic AI Voice Mode comme le socle d'une expérience de maison intelligente plus large, et non comme une fonctionnalité achevée. L'entreprise a défini quatre axes d'expansion :

1. Une personnalisation plus poussée, afin que la maison réponde aux préférences et aux rythmes quotidiens de chaque membre du foyer, plutôt que de traiter tous les utilisateurs de la même façon.
2. Une couverture linguistique élargie, car la langue reste le principal frein à l'adoption en Inde et ces huit langues ne sont qu'un point de départ.
3. Une porte d'entrée vocale vers l'ensemble de l'écosystème Havells, en complément des applications, appareils individuels et panneaux de commande, afin d'intégrer les appareils actuellement non connectés à l'écosystème, puis à la plateforme vocale.
4. La voix au-delà des commandes marche/arrêt et des consignes de réglage, avec une extension aux FAQ produits, au dépannage, aux routines d'automatisation et à la planification.

Développée par l'équipe CRI selon la philosophie « Made in India, Made for the World », la plateforme associe une technologie mondiale à une connaissance approfondie des foyers, des langues et des modes de vie indiens. À mesure que l'écosystème se développe, l'objectif reste de proposer une expérience naturelle, réactive, multilingue et personnalisée, où la technologie s'adapte aux utilisateurs plutôt que de leur demander de s'adapter à elle.