Havells zapewnia wielojęzyczne sterowanie głosowe w ekosystemie połączonego domu dzięki ElevenLabs

Voice Mode jest dostępny dla wszystkich użytkowników Havells One — aplikacji z około 2,7 mln pobrań — i obsługuje osiem języków w siedmiu kategoriach urządzeń.

Havells to jedna z czołowych indyjskich firm produkujących sprzęt elektryczny. Oferuje szeroką gamę połączonych urządzeń, takich jak klimatyzatory, wentylatory, oczyszczacze powietrza i wody, podgrzewacze wody, pralki oraz inteligentne przełączniki. Aby wzbogacić doświadczenie inteligentnego domu, Havells Center for Research & Innovation (CRI) stworzyło Agentic AI Voice Mode — inteligentny interfejs konwersacyjny w aplikacji Havells One, który pozwala użytkownikom sterować urządzeniami za pomocą naturalnych poleceń głosowych po angielsku i w wielu językach indyjskich. Rozwiązanie zbudowano programowo na ElevenAPI, z użyciem przesyłanego strumieniowo w czasie rzeczywistym Speech to Text (Scribe v2 Realtime) oraz Text to Speech (Eleven v3 Conversational), zintegrowanych z własnym inteligentnym agentem Havells do sterowania urządzeniami.

Wcześniejsze rozwiązanie głosowe Havells obsługiwało najpierw angielski, a potem hindi, na wybranych urządzeniach, ale wciąż działało na zasadzie komend. Użytkownicy musieli pamiętać konkretne frazy i sposoby wywoływania, aby urządzenia poprawnie reagowały. Tak nie mówią naturalnie indyjskie rodziny, które często mieszają w jednej rozmowie angielski, hindi, marathi i inne języki regionalne. Agentic AI Voice Mode odwraca ten model. Ludzie mówią naturalnie, a system rozumie intencję, kontekst i język.

O wyborze zdecydowały opóźnienia i naturalność

Havells ocenił kilka platform głosowej AI pod kątem dokładności rozpoznawania języka, obsługi wielu języków, opóźnień i syntezy mowy. Zespół trafił na ElevenLabs podczas poszukiwań dostawców oferujących wysokiej jakości Text to Speech przesyłane strumieniowo z niskim opóźnieniem. ElevenLabs znalazło się na krótkiej liście dzięki dokładności, szybkości, obsłudze wielu języków, a także dokumentacji API, panelowi, wsparciu i przykładowym głosom w językach indyjskich.

W bezpośrednich testach różnicę było widać w szybkości i naturalności odpowiedzi asystenta. W przypadku asystenta inteligentnego domu opóźnienie to nie tylko parametr techniczny. Opóźniona odpowiedź przypomina tradycyjny interfejs głosowy, a szybka — rozmowę w czasie rzeczywistym. Dla Havells najważniejsze były naturalność i szybka reakcja, dlatego Voice Mode zbudowano na ElevenLabs.

Osiem języków, które odpowiadają temu, jak naprawdę mówią indyjskie rodziny

Voice Mode obsługuje angielski i siedem języków indyjskich: hindi, tamilski, telugu, bengalski, kannada, gudżarati i malajalam. Użytkownicy sterują urządzeniami według typu sprzętu, pomieszczenia lub sceny, używając naturalnego języka zamiast stałego zestawu komend.

Asystent traktuje mieszaną językowo i potoczną mowę jako intencję, a nie składnię. Prośba taka jak „Yaar thoda thanda lag raha hai” (Stary, jest mi trochę zimno) spowalnia wentylator i dostosowuje klimatyzator, choć użytkownik nie wskazuje żadnego z tych urządzeń. 

.

Jeden interfejs konwersacyjny na całej platformie Havells One

Voice Mode obejmuje wiele kategorii inteligentnych urządzeń na platformie Havells One: klimatyzatory, wentylatory, oczyszczacze powietrza, oczyszczacze wody, podgrzewacze wody, pralki, inteligentne przełączniki oraz nadchodzące urządzenia.

Obsługa jest szeroka zarówno w obrębie poszczególnych kategorii, jak i między nimi. Obejmuje modele i warianty, a komendy głosowe pozwalają sterować prędkością, trybami, timerami i obrotami wstecznymi.

Ponieważ ta sama warstwa konwersacyjna działa we wszystkich kategoriach, jedna wypowiedziana instrukcja może sterować inteligentnymi urządzeniami Havells, nawet jeśli używają różnych protokołów łączności. „Geyser on karo aur fan bhi chalu karo” (Włącz wentylator i podgrzewacz wody) jest dzielone i wykonywane jednocześnie na kilku urządzeniach Havells.

Pamięć kontekstu i doprecyzowania w wieloturowych rozmowach

Agent Havells działa produkcyjnie z dziesięcioma funkcjami: rozumieniem języka naturalnego, pamięcią kontekstu, koordynacją wielu urządzeń, świadomością kontekstu, wielojęzyczną AI, aktywacją bez konfiguracji, sterowaniem urządzeniami między protokołami, dwukierunkową informacją zwrotną w rozmowie, diagnostyką błędów i automatyzacją opartą na regułach. W praktyce wygląda to tak:

• „Fan slow karo ... thoda aur” (Zmniejsz prędkość wentylatora... jeszcze trochę) jest rozumiane jako kontynuacja, więc użytkownik nie musi powtarzać całej komendy.
• „AC chalu karo” w domu z dwoma klimatyzatorami sprawia, że asystent pyta o pomieszczenie, zamiast zgadywać.
• „AC pe E6 dikh raha hai, kya hua?” zwraca proste wyjaśnienie kodu błędu i sugeruje kolejny krok.

Dwukierunkowa informacja zwrotna w rozmowie jest tu równie ważna jak rozpoznawanie mowy. Asystent potwierdza wykonane działania, wyjaśnia, czego nie może zrobić, i pyta przed wykonaniem działania, które mogłoby być niejednoznaczne.

Od prototypu do produkcji w sześć tygodni

Havells miał działający prototyp agenta po około dwóch tygodniach prac. Potwierdził on cały proces — od wypowiedzianej komendy, przez działanie urządzenia, po odpowiedź głosową. Dokumentacja API i panel, które wpłynęły na wybór platformy, przydały się też podczas wdrożenia, a zespół CRI bezpośrednio zintegrował z nimi strumieniowe Speech to Text i Text to Speech.

Kolejne tygodnie poświęcono złożoności po stronie Havells, a nie warstwie mowy: pełnemu wielojęzycznemu katalogowi urządzeń, różnym możliwościom urządzeń, złożonym komendom, przypadkom brzegowym i scenariuszom odzyskiwania działania. Zespół inżynierów ElevenLabs pracujący bezpośrednio z klientem pomógł Havells dostroić jakość głosu i wymowę w regionalnych językach indyjskich oraz skonfigurować streaming tak, by opóźnienia pozostały stabilne wraz ze wzrostem liczby równoczesnych sesji. Od pierwszej integracji do gotowego wdrożenia produkcyjnego minęło około sześciu tygodni.

Voice Mode jest teraz dostępny dla wszystkich użytkowników Havells One — aplikacji, która przekroczyła 2,7 mln pobrań. Ta skala daje zespołowi CRI dane z rzeczywistych interakcji, które pomagają ulepszać rozwiązanie w różnych językach, na różnych urządzeniach i dla różnych typów komend.

Co dalej

Havells traktuje Agentic AI Voice Mode jako fundament szerszego inteligentnego domu, a nie gotową funkcję. Firma wyznaczyła cztery kierunki rozwoju:

1. Głębsza personalizacja, aby dom reagował na preferencje i codzienny rytm poszczególnych domowników, zamiast traktować każdego użytkownika tak samo.
2. Obsługa większej liczby języków, ponieważ język wciąż jest największą barierą wdrożenia w Indiach, a osiem języków to dopiero początek.
3. Brama głosowa do całego ekosystemu Havells, uzupełniająca aplikacje, pojedyncze urządzenia i panele sterowania oraz włączająca obecnie niepołączone urządzenia do ekosystemu, a następnie do platformy głosowej.
4. Głos wykraczający poza komendy włączania/wyłączania i ustawiania wartości — obejmujący FAQ dotyczące produktów, rozwiązywanie problemów, rutyny automatyzacji i harmonogramowanie.

Platforma została opracowana przez zespół CRI zgodnie z filozofią „Made in India, Made for the World” i łączy globalną technologię z głębokim zrozumieniem indyjskich domów, języków i stylów życia. Wraz z rozwojem ekosystemu priorytetem pozostaje naturalne, szybkie, wielojęzyczne i spersonalizowane doświadczenie, w którym technologia dostosowuje się do ludzi, a nie ludzie do technologii.