Havells ger flerspråkig röststyrning till sitt ekosystem för uppkopplade hem med ElevenLabs

Voice Mode är tillgängligt för hela Havells One-användarbasen, en app med cirka 2,7 miljoner nedladdningar, och har stöd för åtta språk i sju enhetskategorier.

Havells är ett av Indiens ledande företag inom elektriska produkter och erbjuder ett brett sortiment av uppkopplade produkter, bland annat luftkonditioneringar, fläktar, luft- och vattenrenare, varmvattenberedare, tvättmaskiner och smarta strömbrytare. För att förbättra smarta hem-upplevelsen utvecklade Havells Center for Research & Innovation (CRI) Agentic AI Voice Mode, ett intelligent konversationsgränssnitt i Havells One-appen som låter användare styra apparater genom naturliga röstinteraktioner på engelska och flera indiska språk. Det är programmatiskt byggt på ElevenAPI, med strömmande Speech to Text (Scribe v2 Realtime) och Text to Speech (Eleven v3 Conversational), integrerat med Havells egen intelligenta agent för enhetsstyrning.

Havells tidigare röstupplevelse hade först stöd för engelska och sedan hindi på utvalda apparater, men den var fortfarande kommandostyrd. Användarna behövde komma ihåg specifika fraser och aktiveringsmönster för att enheterna skulle svara korrekt. Så talar indiska hushåll inte naturligt – de blandar ofta engelska, hindi, marathi och andra regionala språk i samma samtal. Agentic AI Voice Mode vänder på det. Människor talar naturligt och systemet förstår avsikt, sammanhang och språk.

Latens och naturlighet avgjorde utvärderingen

Havells utvärderade flera AI-röstplattformar utifrån språkigenkänningens noggrannhet, flerspråkigt stöd, latens och röstsyntes. Teamet upptäckte ElevenLabs när de undersökte leverantörer av högkvalitativ, strömmande Text to Speech med låg latens och valde ut ElevenLabs baserat på noggrannhet, hastighet och flerspråkigt stöd, liksom API-dokumentationen, dashboarden, supporten och exempelrösterna på indiska språk.

I direkta jämförelsetester märktes skillnaden i hur snabbt och naturligt assistenten svarade. För en assistent i ett smart hem är latens inte bara ett tekniskt mått. Ett fördröjt svar känns som ett traditionellt röstgränssnitt, medan ett snabbt svar känns som ett samtal i realtid. Naturlighet och respons i realtid var viktigast för Havells, och båda faktorerna bidrog till beslutet att bygga Voice Mode med ElevenLabs.

Åtta språk som speglar hur indiska hushåll faktiskt talar

Voice Mode har stöd för engelska och sju indiska språk: hindi, tamil, telugu, bengali, kannada, gujarati och malayalam. Användare styr enheter utifrån apparat, rum eller scenario med naturligt språk i stället för en fast uppsättning kommandon.

Assistenten tolkar blandat språk och vardagligt tal som avsikt, snarare än som syntax. En begäran som "Yaar thoda thanda lag raha hai" (Kompis, jag fryser lite) sänker fläkthastigheten och justerar luftkonditioneringen utan att användaren behöver nämna någon av enheterna. 

.

Ett konversationsgränssnitt för hela Havells One-plattformen

Voice Mode täcker flera kategorier av smarta enheter på Havells One-plattformen: luftkonditioneringar, fläktar, luftrenare, vattenrenare, varmvattenberedare, tvättmaskiner, smarta strömbrytare och kommande enheter.

Stödet är omfattande både inom och mellan kategorier och omfattar modeller och varianter, där röstkommandon kan styra hastighet, lägen, timers och omvänd rotation.

Eftersom samma konversationslager används i alla kategorier kan en enda talad instruktion styra smarta Havells-enheter även om de använder olika anslutningsprotokoll. "Geyser on karo aur fan bhi chalu karo" (Slå på fläkten och varmvattenberedaren) delas upp och utförs på flera Havells-enheter samtidigt.

Kontextbevarande och förtydliganden i samtal med flera turer

Havells agent kör tio funktioner i produktion: förståelse av naturligt språk, kontextminne, samordning av flera enheter, kontextmedvetenhet, flerspråkig AI, aktivering utan konfiguration, enhetsstyrning över flera protokoll, dubbelriktad återkoppling i samtal, feldiagnostik och regelbaserad automatisering. I praktiken innebär det:

• "Fan slow karo ... thoda aur" (Sänk fläkthastigheten ... lite till) tolkas som en uppföljning, så användaren behöver inte upprepa hela kommandot.
• "AC chalu karo" i ett hem med två luftkonditioneringar gör att assistenten frågar vilket rum det gäller i stället för att gissa.
• "AC pe E6 dikh raha hai, kya hua?" ger en lättförståelig förklaring av felkoden och föreslår nästa steg.

Dubbelriktad återkoppling i samtal är lika viktig som igenkänningen här. Assistenten bekräftar vad den har gjort, förklarar vad den inte kan göra och frågar innan den utför en åtgärd som annars skulle vara tvetydig.

Från prototyp till produktion på sex veckor

Havells hade en fungerande prototyp av sin agent ungefär två veckor in i utvecklingen, vilket bekräftade flödet från talat kommando till enhetsåtgärd och sedan talat svar. API-dokumentationen och dashboarden som påverkade plattformsvalet följde med in i själva utvecklingen, och CRI-teamet integrerade strömmande Speech to Text och Text to Speech direkt mot dem.

De återstående veckorna ägnades åt Havells egen komplexitet snarare än taltekniklagret: hela den flerspråkiga enhetskatalogen, varierande enhetsfunktioner, komplexa kommandon, specialfall och återställningsscenarier. ElevenLabs fältbaserade ingenjörsteam arbetade med Havells för att finjustera röstkvalitet och uttal för regionala indiska språk samt konfigurera streaminglösningen så att latensen höll sig stabil när antalet samtidiga sessioner ökade. Den första integrationen till en produktionsklar lansering tog ungefär sex veckor.

Voice Mode är nu tillgängligt för hela Havells One-användarbasen, en app som har passerat 2,7 miljoner nedladdningar. Den skalan ger CRI-teamet data från verkliga interaktioner som kan användas för att förbättra språk, enheter och kommandotyper.

Framåt

Havells ser Agentic AI Voice Mode som grunden för en bredare upplevelse av ett intelligent hem, snarare än som en färdig funktion, och har pekat ut fyra vägar för fortsatt utveckling:

1. Djupare personalisering, så att hemmet svarar på enskilda hushållsmedlemmars preferenser och dagliga rytmer i stället för att behandla alla användare likadant.
2. Bredare språkstöd, eftersom språket fortfarande är det största hindret för användning i Indien och åtta språk bara är en början.
3. En röststyrd ingång till hela Havells ekosystem, som kompletterar appar, enskilda enheter och kontrollpaneler samt för in apparater som ännu inte är anslutna i ekosystemet och sedan på röstplattformen.
4. Röststyrning bortom på/av- och börvärdeskommandon, med utvidgning till vanliga frågor om produkter, felsökning, automatiseringsrutiner och schemaläggning.

Plattformen har utvecklats av CRI-teamet enligt filosofin "Made in India, Made for the World" och kombinerar global teknik med en djup förståelse för indiska hem, språk och livsstilar. I takt med att ekosystemet växer ligger fokus kvar på att göra upplevelsen naturlig, snabb, flerspråkig och personlig, så att tekniken anpassar sig efter människor i stället för att människor ska behöva anpassa sig efter tekniken.