Havells porta il controllo vocale multilingue nel suo ecosistema di casa connessa con ElevenLabs

Voice Mode è attivo per tutti gli utenti di Havells One, un'app con circa 2,7 milioni di download, e supporta otto lingue in sette categorie di dispositivi.

Havells è una delle principali aziende indiane di prodotti elettrici e offre un ampio portafoglio di prodotti connessi, tra cui condizionatori, ventilatori, purificatori d'aria e d'acqua, scaldacqua, lavatrici e interruttori smart. Per migliorare l'esperienza della casa smart, l'Havells Center for Research & Innovation (CRI) ha sviluppato Agentic AI Voice Mode, un'interfaccia conversazionale intelligente nell'app Havells One che permette agli utenti di controllare gli elettrodomestici con interazioni vocali naturali in inglese e in più lingue indiane. È realizzata programmaticamente su ElevenAPI, utilizzando lo streaming in tempo reale di Speech to Text (Scribe v2 Realtime) e Text to Speech (Eleven v3 Conversational), integrati con l'agente intelligente proprietario di Havells per il controllo dei dispositivi.

La precedente esperienza vocale di Havells supportava inizialmente l'inglese e poi l'hindi, su elettrodomestici selezionati, ma restava basata sui comandi. Gli utenti dovevano ricordare frasi specifiche e modalità di attivazione affinché i dispositivi rispondessero correttamente. Non è così che parlano naturalmente le famiglie indiane, che spesso mescolano inglese, hindi, marathi e altre lingue regionali nella stessa conversazione. Agentic AI Voice Mode ribalta questo approccio. Le persone parlano in modo naturale e il sistema comprende intenzione, contesto e lingua.

Latenza e naturalezza hanno guidato la valutazione

Havells ha valutato diverse piattaforme di IA vocale in base all'accuratezza del riconoscimento linguistico, al supporto multilingue, alla latenza e alla sintesi vocale. Il team ha scoperto ElevenLabs durante la ricerca di fornitori di Text to Speech in streaming di alta qualità e a bassa latenza e ha incluso ElevenLabs nella shortlist per accuratezza, velocità e supporto multilingue, oltre che per la documentazione API, la dashboard, il supporto e le voci di esempio nelle lingue indiane.

Nei test comparativi, la differenza è emersa nella rapidità e nella naturalezza delle risposte dell'assistente. Per un assistente domestico smart, la latenza non è soltanto una misura tecnica. Una risposta in ritardo ricorda un'interfaccia vocale tradizionale, mentre una risposta rapida dà l'impressione di una conversazione in tempo reale. Per Havells, naturalezza e reattività in tempo reale erano gli aspetti più importanti, ed entrambi hanno guidato la decisione di sviluppare Voice Mode su ElevenLabs.

Otto lingue che rispecchiano il modo in cui parlano davvero le famiglie indiane

Voice Mode supporta l'inglese e sette lingue indiane: hindi, tamil, telugu, bengalese, kannada, gujarati e malayalam. Gli utenti controllano i dispositivi per elettrodomestico, stanza o scenario, usando il linguaggio naturale anziché un insieme fisso di comandi.

L'assistente interpreta il parlato misto e colloquiale in base all'intenzione, anziché alla sintassi. Una richiesta come "Yaar thoda thanda lag raha hai" (Amico, sento un po' freddo) riduce la velocità del ventilatore e regola il condizionatore senza che l'utente nomini nessuno dei due dispositivi. 

.

Un'unica interfaccia conversazionale per la piattaforma Havells One

Voice Mode copre più categorie di dispositivi smart nella piattaforma Havells One: condizionatori, ventilatori, purificatori d'aria, purificatori d'acqua, scaldacqua, lavatrici, interruttori smart e dispositivi in arrivo.

La copertura è approfondita sia all'interno di ogni categoria sia tra le diverse categorie, includendo modelli e varianti, con comandi vocali che agiscono su velocità, modalità, timer e rotazione inversa.

Poiché lo stesso livello conversazionale si estende a tutte le categorie, una singola istruzione vocale può agire sui dispositivi smart Havells anche se utilizzano protocolli di connettività diversi. "Geyser on karo aur fan bhi chalu karo" (Accendi il ventilatore e lo scaldacqua) viene suddivisa ed eseguita contemporaneamente su più dispositivi Havells.

Memoria del contesto e chiarimenti nelle conversazioni a più turni

L'agente di Havells offre in produzione dieci funzionalità: comprensione del linguaggio naturale, memoria del contesto, orchestrazione di più dispositivi, consapevolezza del contesto, IA multilingue, attivazione senza configurazione, controllo dei dispositivi tra protocolli diversi, feedback conversazionale bidirezionale, diagnostica degli errori e automazione basata su regole. In pratica:

• "Fan slow karo ... thoda aur" (Rallenta il ventilatore... ancora un po') viene interpretato come un seguito, quindi l'utente non deve ripetere l'intero comando.
• "AC chalu karo" in una casa con due condizionatori porta l'assistente a chiedere in quale stanza, anziché fare supposizioni.
• "AC pe E6 dikh raha hai, kya hua?" restituisce una spiegazione in linguaggio semplice del codice di errore e suggerisce il passo successivo.

Qui il feedback conversazionale bidirezionale conta quanto il riconoscimento. L'assistente conferma ciò che ha fatto, spiega cosa non può fare e chiede conferma prima di eseguire un'azione che altrimenti sarebbe ambigua.

Dal prototipo alla produzione in sei settimane

Havells aveva un prototipo funzionante del proprio agente circa due settimane dopo l'inizio dello sviluppo, convalidando il percorso dal comando parlato all'azione del dispositivo fino alla risposta vocale. La documentazione API e la dashboard che hanno orientato la scelta della piattaforma sono state utilizzate anche nello sviluppo, e il team CRI ha integrato direttamente lo streaming Speech to Text e Text to Speech con esse.

Le settimane rimanenti sono state dedicate alla complessità propria di Havells, anziché al livello vocale: il catalogo completo e multilingue dei dispositivi, le diverse funzionalità dei dispositivi, i comandi complessi, i casi limite e gli scenari di ripristino. Il team di ingegneri di ElevenLabs impiegato presso Havells ha collaborato con l'azienda per ottimizzare la qualità vocale e la pronuncia nelle lingue regionali indiane e per configurare lo streaming in modo che la latenza restasse costante con l'aumento delle sessioni simultanee. Dall'integrazione iniziale al rilascio pronto per la produzione sono servite circa sei settimane.

Voice Mode è ora disponibile per tutti gli utenti di Havells One, un'app che ha superato 2,7 milioni di download. Questa scala fornisce al team CRI dati sulle interazioni reali per migliorare lingue, dispositivi e tipi di comando.

Questa funzionalità Agentic AI Voice rappresenta una svolta per i nostri clienti: consente loro di controllare e interagire naturalmente con i dispositivi, senza dover ricordare comandi o imparare regole. Il suo potenziale è illimitato e continuerà a crescere con l'aggiunta di nuove funzionalità per i nostri dispositivi e servizi. Come esperienza di IA per l'uso quotidiano, dimostra il potenziale trasformativo degli agenti IA, ben oltre le tradizionali interfacce vocali del passato. Per usare questa funzionalità, basta avere un dispositivo Havells Smart registrato nell'app Havells One.

- Dipesh Shah, Executive President e CTO, Havells

Da cento anni, il settore degli elettrodomestici vende prodotti. Ciò che stiamo costruendo ora è una relazione: una casa che percepisce, apprende e risponde alla lingua e al ritmo della famiglia che la abita.

- Harikumar Varrier, Senior Vice President, CRI IoT, Havells

Guardando al futuro

Havells considera Agentic AI Voice Mode la base per un'esperienza domestica intelligente più ampia, anziché una funzionalità completata, e ha delineato quattro direzioni di espansione:

1. Personalizzazione più profonda, affinché la casa risponda alle preferenze e ai ritmi quotidiani dei singoli membri della famiglia, invece di trattare tutti gli utenti allo stesso modo.
2. Maggiore copertura linguistica, perché la lingua rimane il principale ostacolo all'adozione in India e otto lingue sono solo un punto di partenza.
3. Un accesso vocale prioritario all'intero ecosistema Havells, a complemento di app, singoli dispositivi e pannelli di controllo, per integrare nell'ecosistema gli elettrodomestici attualmente non connessi e poi nella piattaforma vocale.
4. La voce oltre i comandi di accensione/spegnimento e di impostazione dei valori, con estensione a FAQ sui prodotti, risoluzione dei problemi, routine di automazione e pianificazione.

Sviluppata dal team CRI secondo la filosofia "Made in India, Made for the World", la piattaforma combina tecnologia globale e una profonda conoscenza delle case, delle lingue e degli stili di vita indiani. Con la crescita dell'ecosistema, l'obiettivo resta mantenere un'esperienza naturale, reattiva, multilingue e personalizzata, permettendo alla tecnologia di adattarsi alle persone anziché richiedere alle persone di adattarsi alla tecnologia.