Havells zapewnia wielojęzyczne sterowanie głosowe w ekosystemie połączonego domu dzięki ElevenLabs

Voice Mode jest dostępny dla wszystkich użytkowników Havells One — aplikacji z około 2,7 mln pobrań — i obsługuje osiem języków w siedmiu kategoriach urządzeń.

Havells to jedna z czołowych indyjskich firm produkujących sprzęt elektryczny. Oferuje szeroką gamę połączonych urządzeń, w tym klimatyzatory, wentylatory, oczyszczacze powietrza i wody, podgrzewacze wody, pralki oraz inteligentne przełączniki. Aby wzbogacić doświadczenie inteligentnego domu, Havells Center for Research & Innovation (CRI) stworzyło Agentic AI Voice Mode — inteligentny interfejs konwersacyjny w aplikacji Havells One, który pozwala użytkownikom sterować urządzeniami za pomocą naturalnych interakcji głosowych po angielsku i w kilku językach indyjskich. Rozwiązanie zbudowano programowo na ElevenAPI, z użyciem przesyłanego w czasie rzeczywistym Speech to Text (Scribe v2 Realtime) oraz Text to Speech (Eleven v3 Conversational), zintegrowanych z autorskim inteligentnym agentem Havells do sterowania urządzeniami.

Wcześniejsze rozwiązanie głosowe Havells obsługiwało początkowo angielski, a później hindi, w wybranych urządzeniach, ale opierało się na komendach. Użytkownicy musieli pamiętać konkretne frazy i sposoby wywoływania funkcji, by urządzenia reagowały poprawnie. Tak nie mówią naturalnie indyjskie rodziny, które często w jednej rozmowie mieszają angielski, hindi, marathi i inne języki regionalne. Agentic AI Voice Mode to zmienia. Ludzie mówią naturalnie, a system rozumie intencję, kontekst i język.

O wyborze zadecydowały opóźnienie i naturalność

Havells ocenił kilka platform głosowych AI pod kątem dokładności rozpoznawania języka, obsługi wielu języków, opóźnień i syntezy mowy. Zespół trafił na ElevenLabs, szukając dostawców oferujących wysokiej jakości Text to Speech w streamingu o niskim opóźnieniu. ElevenLabs znalazło się na krótkiej liście dzięki dokładności, szybkości i obsłudze wielu języków, a także dokumentacji API, panelowi, wsparciu i przykładowym głosom w językach indyjskich.

W bezpośrednich testach różnicę było widać w szybkości i naturalności odpowiedzi asystenta. Dla asystenta inteligentnego domu opóźnienie to nie tylko parametr techniczny. Spóźniona odpowiedź przypomina tradycyjny interfejs głosowy, a szybka — rozmowę w czasie rzeczywistym. Dla Havells najważniejsze były naturalność i responsywność w czasie rzeczywistym, dlatego Voice Mode powstał na ElevenLabs.

Osiem języków zgodnych z tym, jak naprawdę mówią indyjskie rodziny

Voice Mode obsługuje angielski i siedem języków indyjskich: hindi, tamilski, telugu, bengalski, kannada, gudżarati i malajalam. Użytkownicy sterują urządzeniami według sprzętu, pomieszczenia lub sceny, używając naturalnego języka zamiast stałego zestawu komend.

Asystent traktuje mieszanie języków i potoczną mowę jako intencję, a nie składnię. Prośba taka jak „Yaar thoda thanda lag raha hai” („Stary, trochę mi zimno”) spowalnia wentylator i dostosowuje klimatyzator, bez konieczności wskazywania któregokolwiek z urządzeń przez użytkownika. 

.

Jeden interfejs konwersacyjny na całej platformie Havells One

Voice Mode obejmuje wiele kategorii inteligentnych urządzeń na platformie Havells One: klimatyzatory, wentylatory, oczyszczacze powietrza, oczyszczacze wody, podgrzewacze wody, pralki, inteligentne przełączniki i nadchodzące urządzenia.

Obsługa jest szeroka zarówno w każdej kategorii, jak i między nimi — obejmuje modele i warianty, a komendy głosowe mogą sterować prędkością, trybami, timerami i ruchem wstecznym.

Ponieważ ta sama warstwa konwersacyjna działa we wszystkich kategoriach, jedna wypowiedziana instrukcja może sterować inteligentnymi urządzeniami Havells, nawet gdy używają różnych protokołów łączności. „Geyser on karo aur fan bhi chalu karo” („Włącz wentylator i podgrzewacz wody”) zostaje podzielone i wykonane jednocześnie na wielu urządzeniach Havells.

Zachowanie kontekstu i doprecyzowanie w rozmowach wieloturowych

Agent Havells obsługuje w produkcji dziesięć funkcji: rozumienie języka naturalnego, pamięć kontekstu, koordynację wielu urządzeń, świadomość kontekstu, wielojęzyczną AI, aktywację bez konfiguracji, sterowanie urządzeniami między protokołami, dwukierunkowe informacje zwrotne w rozmowie, diagnostykę błędów i automatyzację opartą na regułach. W praktyce wygląda to tak:

• „Fan slow karo ... thoda aur” („Zmniejsz prędkość wentylatora... jeszcze trochę”) jest rozumiane jako kontynuacja, więc użytkownik nie musi powtarzać całej komendy.
• „AC chalu karo” w domu z dwoma klimatyzatorami sprawia, że asystent pyta, o które pomieszczenie chodzi, zamiast zgadywać.
• „AC pe E6 dikh raha hai, kya hua?” zwraca proste wyjaśnienie kodu błędu i sugerowany kolejny krok.

Dwukierunkowe informacje zwrotne w rozmowie są tu równie ważne jak rozpoznawanie. Asystent potwierdza wykonane działania, wyjaśnia, czego nie może zrobić, i pyta, zanim podejmie działanie, które mogłoby być niejednoznaczne.

Od prototypu do produkcji w sześć tygodni

Havells miał działający prototyp agenta po około dwóch tygodniach prac, co potwierdziło ścieżkę od wypowiedzianej komendy przez działanie urządzenia po odpowiedź głosową. Dokumentacja API i panel, które wpłynęły na wybór platformy, wykorzystano też podczas tworzenia rozwiązania, a zespół CRI bezpośrednio zintegrował z nimi streaming Speech to Text i Text to Speech.

Pozostałe tygodnie poświęcono złożoności po stronie Havells, a nie warstwie mowy: pełnemu wielojęzycznemu katalogowi urządzeń, różnym możliwościom urządzeń, złożonym komendom, przypadkom brzegowym i scenariuszom odzyskiwania działania. Zespół inżynierów ElevenLabs pracujący bezpośrednio u klienta współpracował z Havells nad jakością głosu i wymową w regionalnych językach indyjskich oraz konfiguracją streamingu, aby opóźnienie pozostało stabilne wraz ze wzrostem liczby równoczesnych sesji. Od pierwszej integracji do wdrożenia gotowego do produkcji minęło około sześciu tygodni.

Voice Mode jest już dostępny dla wszystkich użytkowników Havells One — aplikacji, która przekroczyła 2,7 mln pobrań. Ta skala daje zespołowi CRI dane z rzeczywistych interakcji, by ulepszać rozwiązanie w różnych językach, urządzeniach i typach komend.

Co dalej

Havells traktuje Agentic AI Voice Mode jako podstawę szerszego doświadczenia inteligentnego domu, a nie gotową funkcję, i wskazał cztery kierunki rozwoju:

1. Głębsza personalizacja, aby dom reagował na preferencje i codzienny rytm poszczególnych domowników, zamiast traktować każdego użytkownika tak samo.
2. Szersza obsługa językowa, ponieważ język wciąż jest największą barierą wdrożenia w Indiach, a osiem języków to dopiero początek.
3. Brama głosowa do całego ekosystemu Havells, uzupełniająca aplikacje, pojedyncze urządzenia i panele sterowania oraz włączająca do ekosystemu, a następnie do platformy głosowej, urządzenia, które obecnie nie są połączone.
4. Głos wykraczający poza komendy włącz/wyłącz i ustawianie wartości, obejmujący najczęstsze pytania o produkty, rozwiązywanie problemów, rutyny automatyzacji i harmonogramowanie.

Platforma stworzona przez zespół CRI zgodnie z filozofią „Made in India, Made for the World” łączy globalną technologię z głębokim zrozumieniem indyjskich domów, języków i stylów życia. Wraz z rozwojem ekosystemu nacisk pozostaje na to, by doświadczenie było naturalne, responsywne, wielojęzyczne i spersonalizowane — aby technologia dostosowywała się do ludzi, a nie ludzie do technologii.