Havells porta il controllo vocale multilingue nel suo ecosistema di casa connessa con ElevenLabs

Voice Mode è attiva per tutti gli utenti di Havells One, un'app con circa 2,7 milioni di download, e supporta otto lingue in sette categorie di dispositivi.

Havells è una delle principali aziende indiane di prodotti elettrici e offre un ampio portafoglio di prodotti connessi, tra cui condizionatori, ventilatori, purificatori d'aria e d'acqua, scaldabagni, lavatrici e interruttori smart. Per migliorare l'esperienza della casa intelligente, l'Havells Center for Research & Innovation (CRI) ha sviluppato Agentic AI Voice Mode, un'interfaccia conversazionale intelligente nell'app Havells One che permette agli utenti di controllare gli elettrodomestici tramite interazioni vocali naturali in inglese e in diverse lingue indiane. È stata realizzata a livello di programmazione su ElevenAPI, utilizzando lo streaming in tempo reale di Speech to Text (Scribe v2 Realtime) e Text to Speech (Eleven v3 Conversational), integrati con l'agente proprietario intelligente di Havells per il controllo dei dispositivi.

La precedente esperienza vocale di Havells supportava inizialmente l'inglese e poi l'hindi per alcuni elettrodomestici selezionati, ma rimaneva basata sui comandi. Gli utenti dovevano ricordare frasi specifiche e formule di attivazione affinché i dispositivi rispondessero correttamente. Non è così che parlano naturalmente le famiglie indiane, che spesso mescolano inglese, hindi, marathi e altre lingue regionali nella stessa conversazione. Agentic AI Voice Mode ribalta questo approccio. Le persone parlano in modo naturale e il sistema comprende intenzione, contesto e lingua.

La valutazione è stata decisa da latenza e naturalezza

Havells ha valutato diverse piattaforme di IA vocale in base all'accuratezza del riconoscimento linguistico, al supporto multilingue, alla latenza e alla sintesi vocale. Il team ha scoperto ElevenLabs durante la ricerca di fornitori di Text to Speech in streaming di alta qualità e a bassa latenza, e ha inserito ElevenLabs nella rosa finale per accuratezza, velocità e supporto multilingue, oltre che per la documentazione API, la dashboard, l'assistenza e le voci di esempio nelle lingue indiane.

Nei test comparativi, la differenza è emersa nella rapidità e nella naturalezza delle risposte dell'assistente. Per un assistente per la casa intelligente, la latenza non è soltanto un parametro tecnico. Una risposta ritardata ricorda una tradizionale interfaccia vocale, mentre una risposta veloce dà l'impressione di una conversazione in tempo reale. Naturalezza e reattività in tempo reale erano gli aspetti più importanti per Havells, e hanno entrambi contribuito alla decisione di realizzare Voice Mode su ElevenLabs.

Otto lingue che rispecchiano il modo in cui parlano davvero le famiglie indiane

Voice Mode supporta l'inglese e sette lingue indiane: hindi, tamil, telugu, bengalese, kannada, gujarati e malayalam. Gli utenti controllano i dispositivi per elettrodomestico, stanza o scena, usando il linguaggio naturale anziché un set di comandi fisso.

L'assistente interpreta il parlato misto e colloquiale in base all'intenzione, non alla sintassi. Una richiesta come "Yaar thoda thanda lag raha hai" (Amico, sento un po' freddo) riduce la velocità del ventilatore e regola il condizionatore senza che l'utente debba nominare nessuno dei due dispositivi. 

.

Un'unica interfaccia conversazionale per tutta la piattaforma Havells One

Voice Mode copre diverse categorie di dispositivi smart nella piattaforma Havells One: condizionatori, ventilatori, purificatori d'aria, purificatori d'acqua, scaldabagni, lavatrici, interruttori smart e dispositivi in arrivo.

La copertura è approfondita sia all'interno di ogni categoria sia tra categorie diverse, e include modelli e varianti per i quali i comandi vocali controllano velocità, modalità, timer e rotazione inversa.

Poiché lo stesso livello conversazionale è presente in tutte le categorie, una singola istruzione vocale può agire sui dispositivi smart Havells anche se usano protocolli di connettività differenti. "Geyser on karo aur fan bhi chalu karo" (Accendi il ventilatore e lo scaldabagno) viene suddivisa ed eseguita contemporaneamente su più dispositivi Havells.

Memoria del contesto e chiarimenti nelle conversazioni multi-turno

L'agente di Havells esegue in produzione dieci funzionalità: comprensione del linguaggio naturale, memoria del contesto, orchestrazione di più dispositivi, consapevolezza del contesto, IA multilingue, attivazione senza configurazione, controllo dei dispositivi tra protocolli diversi, feedback conversazionale bidirezionale, diagnostica degli errori e automazione basata su regole. In pratica:

• "Fan slow karo ... thoda aur" (Riduci la velocità del ventilatore... ancora un po') viene interpretato come un seguito della richiesta precedente, quindi l'utente non deve ripetere l'intero comando.
• "AC chalu karo" in una casa con due condizionatori porta l'assistente a chiedere quale stanza, anziché fare supposizioni.
• "AC pe E6 dikh raha hai, kya hua?" restituisce una spiegazione dell'errore in linguaggio semplice e suggerisce il passo successivo.

In questo caso, il feedback conversazionale bidirezionale è importante quanto il riconoscimento. L'assistente conferma ciò che ha fatto, spiega ciò che non può fare e chiede prima di eseguire un'azione che altrimenti sarebbe ambigua.

Dal prototipo alla produzione in sei settimane

Havells disponeva di un prototipo funzionante del proprio agente dopo circa due settimane dall'inizio dello sviluppo, convalidando il percorso dal comando vocale all'azione sul dispositivo fino alla risposta vocale. La documentazione API e la dashboard che hanno orientato la scelta della piattaforma sono state utili anche nello sviluppo stesso, e il team CRI ha integrato direttamente lo streaming di Speech to Text e Text to Speech con questi strumenti.

Le settimane restanti sono state dedicate alla complessità specifica di Havells, anziché al livello vocale: il catalogo completo e multilingue dei dispositivi, le diverse capacità dei dispositivi, i comandi complessi, i casi limite e gli scenari di ripristino. Il team di ingegneria di ElevenLabs operativo presso Havells ha collaborato con l'azienda per ottimizzare la qualità vocale e la pronuncia nelle lingue regionali indiane e per configurare lo streaming affinché la latenza restasse stabile all'aumentare delle sessioni simultanee. Dall'integrazione iniziale al rilascio pronto per la produzione sono servite circa sei settimane.

Voice Mode è ora disponibile per tutti gli utenti di Havells One, un'app che ha superato i 2,7 milioni di download. Questa portata fornisce al team CRI dati di interazione reali per migliorare lingue, dispositivi e tipi di comandi.

Guardando al futuro

Havells considera Agentic AI Voice Mode la base di un'esperienza di casa intelligente più ampia, non una funzionalità già completata, e ha delineato quattro direzioni di espansione:

1. Personalizzazione più approfondita, affinché la casa risponda alle preferenze e ai ritmi quotidiani dei singoli membri della famiglia anziché trattare ogni utente allo stesso modo.
2. Maggiore copertura linguistica, poiché la lingua rimane il maggiore ostacolo all'adozione in India e otto lingue sono solo un punto di partenza.
3. Un accesso vocale prioritario all'intero ecosistema Havells, che integra app, singoli dispositivi e pannelli di controllo, e porta gli elettrodomestici attualmente non connessi nell'ecosistema e poi sulla piattaforma vocale.
4. La voce oltre i comandi di accensione/spegnimento e di impostazione dei valori, estendendosi alle FAQ sui prodotti, alla risoluzione dei problemi, alle routine di automazione e alla pianificazione.

Sviluppata dal team CRI secondo la filosofia "Made in India, Made for the World", la piattaforma combina tecnologia globale e una profonda comprensione delle case, delle lingue e degli stili di vita indiani. Man mano che l'ecosistema cresce, l'attenzione resta focalizzata su un'esperienza naturale, reattiva, multilingue e personalizzata, in cui la tecnologia si adatta alle persone anziché richiedere alle persone di adattarsi alla tecnologia.