Havells brengt meertalige spraakbediening naar zijn verbonden thuisecosysteem met ElevenLabs

Voice Mode is live voor alle gebruikers van Havells One, een app met ongeveer 2,7 miljoen downloads, met ondersteuning voor acht talen in zeven apparaatcategorieën.

Havells is een van India's toonaangevende bedrijven in elektrische apparatuur en biedt een breed portfolio aan verbonden producten, waaronder airconditioners, ventilatoren, lucht- en waterzuiveraars, boilers, wasmachines en slimme schakelaars. Om de smart-home-ervaring te verbeteren, ontwikkelde het Havells Center for Research & Innovation (CRI) Agentic AI Voice Mode, een intelligente gespreksinterface in de Havells One-app waarmee gebruikers apparaten kunnen bedienen via natuurlijke spraakinteracties in het Engels en meerdere Indiase talen. Deze is programmatisch gebouwd op ElevenAPI, met realtime streaming Speech to Text (Scribe v2 Realtime) en Text to Speech (Eleven v3 Conversational), geïntegreerd met Havells' eigen intelligente agent voor apparaatbediening.

De eerdere spraakervaring van Havells ondersteunde aanvankelijk Engels en later Hindi voor geselecteerde apparaten, maar bleef gebaseerd op opdrachten. Gebruikers moesten specifieke zinnen en aanroeppatronen onthouden om apparaten correct te laten reageren. Zo spreken Indiase huishoudens niet vanzelfsprekend: binnen hetzelfde gesprek combineren ze vaak Engels, Hindi, Marathi en andere regionale talen. Agentic AI Voice Mode draait dat om. Mensen spreken natuurlijk en het systeem begrijpt intentie, context en taal.

Latency en natuurlijkheid waren doorslaggevend in de evaluatie

Havells evalueerde verschillende AI-platforms voor spraak op nauwkeurigheid van taalherkenning, ondersteuning voor meerdere talen, latency en spraaksynthese. Het team ontdekte ElevenLabs tijdens onderzoek naar aanbieders van hoogwaardige streaming Text to Speech met lage latency. Op basis van nauwkeurigheid, snelheid en ondersteuning voor meerdere talen kwam ElevenLabs op de shortlist, samen met de API-documentatie, het dashboard, de support en de voorbeeldstemmen in Indiase talen.

In rechtstreekse tests bleek het verschil uit de snelheid en natuurlijkheid waarmee de assistent reageerde. Voor een smart-homeassistent is latency niet alleen een technische maatstaf. Een vertraagde reactie voelt als een traditionele spraakinterface, terwijl een snelle reactie aanvoelt als een realtime gesprek. Natuurlijkheid en realtime responsiviteit waren voor Havells het belangrijkst, en beide speelden mee in de beslissing om Voice Mode op ElevenLabs te bouwen.

Acht talen die aansluiten bij hoe Indiase huishoudens echt spreken

Voice Mode ondersteunt Engels en zeven Indiase talen: Hindi, Tamil, Telugu, Bengaals, Kannada, Gujarati en Malayalam. Gebruikers bedienen apparaten per apparaat, kamer of scène, met natuurlijke taal in plaats van een vaste reeks opdrachten.

De assistent behandelt gemengde taal en spreektaal als intentie, niet als syntaxis. Een verzoek zoals "Yaar thoda thanda lag raha hai" (Bro, ik heb het een beetje koud) verlaagt de snelheid van de ventilator en past de airconditioner aan zonder dat de gebruiker een van beide apparaten hoeft te noemen. 

.

Eén gespreksinterface voor het hele Havells One-platform

Voice Mode omvat meerdere categorieën slimme apparaten op het Havells One-platform: airconditioners, ventilatoren, luchtzuiveraars, waterzuiveraars, boilers, wasmachines, slimme schakelaars en toekomstige apparaten.

De dekking gaat diep binnen elke categorie en reikt ook over categorieën heen, voor modellen en varianten waarbij spraakopdrachten toegang bieden tot snelheid, modi, timers en omgekeerde rotatie.

Omdat dezelfde gesprekslaag voor alle categorieën werkt, kan één gesproken instructie slimme Havells-apparaten aansturen, zelfs als ze verschillende verbindingsprotocollen gebruiken. "Geyser on karo aur fan bhi chalu karo" (Zet de ventilator en de boiler aan) wordt opgesplitst en tegelijk uitgevoerd op meerdere Havells-apparaten.

Contextbehoud en verduidelijking in gesprekken met meerdere beurten

De agent van Havells heeft in productie tien mogelijkheden: begrip van natuurlijke taal, contextgeheugen, orkestratie van meerdere apparaten, contextbewustzijn, meertalige AI, activering zonder configuratie, apparaatbediening over protocollen heen, tweerichtingsfeedback in gesprekken, foutdiagnostiek en op regels gebaseerde automatisering. In de praktijk ziet dat er zo uit:

• "Fan slow karo ... thoda aur" (Zet de ventilator langzamer.. nog iets meer) wordt als een vervolg gelezen, zodat de gebruiker de volledige opdracht niet hoeft te herhalen.
• "AC chalu karo" in een huis met twee airconditioners zorgt ervoor dat de assistent vraagt om welke kamer het gaat, in plaats van te gokken.
• "AC pe E6 dikh raha hai, kya hua?" geeft een begrijpelijke uitleg van de foutcode en stelt een volgende stap voor.

Tweerichtingsfeedback in gesprekken is hier net zo belangrijk als herkenning. De assistent bevestigt wat hij heeft gedaan, legt uit wat hij niet kan doen en vraagt het voordat hij een actie uitvoert die anders dubbelzinnig zou zijn.

Van prototype naar productie in zes weken

Ongeveer twee weken na de start van de ontwikkeling had Havells een werkend prototype van zijn agent, waarmee het traject van gesproken opdracht naar apparaatactie naar gesproken reactie werd gevalideerd. De API-documentatie en het dashboard die de beslissing voor het platform hadden bepaald, werden ook tijdens de ontwikkeling gebruikt, en het CRI-team integreerde streaming Speech to Text en Text to Speech er rechtstreeks mee.

De resterende weken gingen naar de eigen complexiteit van Havells in plaats van de spraaklaag: de volledige meertalige apparaatcatalogus, uiteenlopende apparaatmogelijkheden, complexe opdrachten, edge cases en herstelscenario's. Het forward-deployed engineeringteam van ElevenLabs werkte met Havells samen om de stemkwaliteit en uitspraak voor regionale Indiase talen af te stemmen en de streamingconfiguratie zo in te richten dat de latency stabiel bleef naarmate het aantal gelijktijdige sessies groeide. De eerste integratie tot een productieklare uitrol duurde ongeveer zes weken.

Voice Mode is nu beschikbaar voor alle gebruikers van Havells One, een app met meer dan 2,7 miljoen downloads. Die schaal biedt het CRI-team praktijkgegevens over interacties om te verbeteren voor talen, apparaten en typen opdrachten.

Vooruitblik

Havells beschouwt Agentic AI Voice Mode als de basis voor een bredere intelligente woonervaring, niet als een voltooide functie, en heeft vier uitbreidingsrichtingen geschetst:

1. Diepere personalisatie, zodat het huis reageert op de voorkeuren en dagelijkse ritmes van individuele gezinsleden, in plaats van elke gebruiker hetzelfde te behandelen.
2. Uitgebreidere taalondersteuning, omdat taal in India nog altijd de grootste drempel voor adoptie vormt en acht talen slechts een beginpunt zijn.
3. Een spraakgestuurde toegangspoort tot het volledige Havells-ecosysteem, als aanvulling op apps, afzonderlijke apparaten en bedieningspanelen, waarbij momenteel niet-verbonden apparaten in het ecosysteem en vervolgens op het spraakplatform worden opgenomen.
4. Spraak die verder gaat dan aan/uit- en instellingsopdrachten, met uitbreiding naar veelgestelde vragen over producten, probleemoplossing, automatiseringsroutines en planning.

Het platform is ontwikkeld door het CRI-team vanuit de filosofie "Made in India, Made for the World" en combineert wereldwijde technologie met een diep begrip van Indiase huizen, talen en leefstijlen. Naarmate het ecosysteem groeit, blijft de focus liggen op een natuurlijke, responsieve, meertalige en gepersonaliseerde ervaring, zodat technologie zich aan mensen aanpast in plaats van dat mensen zich aan technologie moeten aanpassen.