Havells, ElevenLabs와 함께 커넥티드 홈 생태계에 다국어 음성 제어 도입

Voice Mode는 약 270만 회 다운로드된 앱인 Havells One의 전체 사용자에게 제공되며, 7개 기기 카테고리에서 8개 언어를 지원합니다.

Havells는 에어컨, 선풍기, 공기 및 정수기, 온수기, 세탁기, 스마트 스위치 등 폭넓은 연결형 제품 포트폴리오를 제공하는 인도의 선도적인 전기제품 기업입니다. 스마트 홈 경험을 강화하기 위해 Havells 연구혁신센터(CRI)는 Havells One 앱 내에서 영어와 여러 인도 언어로 자연스럽게 음성 상호작용을 통해 가전제품을 제어할 수 있는 지능형 대화 인터페이스인 Agentic AI Voice Mode를 개발했습니다. 이 기능은 ElevenAPI를 기반으로 프로그래밍되었으며, 실시간 스트리밍 음성 텍스트 변환 (Scribe v2 Realtime) 및 텍스트 음성 변환(Eleven v3 Conversational)을 Havells의 독자적인 지능형 기기 제어 에이전트와 통합했습니다.

Havells의 기존 음성 경험은 처음에는 일부 가전제품에서 영어를, 이후 힌디어를 지원했지만 여전히 명령어 중심이었습니다. 기기가 올바르게 응답하려면 사용자가 특정 문구와 호출 방식을 기억해야 했습니다. 하지만 인도 가정에서는 한 대화 안에서 영어, 힌디어, 마라티어 및 기타 지역 언어를 섞어 쓰는 경우가 많아, 자연스럽게 말하는 방식이 이와 다릅니다. Agentic AI Voice Mode는 이를 뒤집습니다. 사람들은 자연스럽게 말하고, 시스템은 의도와 맥락, 언어를 이해합니다.

평가를 좌우한 지연 시간과 자연스러움

Havells는 언어 인식 정확도, 다국어 지원, 지연 시간, 음성 합성 측면에서 여러 음성 AI 플랫폼을 평가했습니다. 팀은 고품질·저지연 스트리밍 텍스트 음성 변환을 제공하는 업체를 조사하던 중 ElevenLabs를 발견했으며, 정확도, 속도, 다국어 지원은 물론 API 문서, 대시보드, 지원 서비스, 인도 언어 샘플 음성을 고려해 ElevenLabs를 최종 후보로 선정했습니다.

직접 비교 테스트에서는 어시스턴트의 응답 속도와 자연스러움에서 차이가 드러났습니다. 스마트 홈 어시스턴트에서 지연 시간은 단순한 기술적 지표가 아닙니다. 응답이 늦으면 기존 음성 인터페이스처럼 느껴지지만, 빠르면 실시간 대화처럼 느껴집니다. Havells는 자연스러움과 실시간 응답성을 가장 중시했으며, 이 두 요소가 ElevenLabs를 기반으로 Voice Mode를 구축하기로 한 결정에 영향을 주었습니다.

인도 가정의 실제 말하기 방식에 맞춘 8개 언어

Voice Mode는 영어와 힌디어, 타밀어, 텔루구어, 벵골어, 칸나다어, 구자라트어, 말라얄람어 등 7개 인도 언어를 지원합니다. 사용자는 고정된 명령어 세트 대신 자연어로 가전제품별, 방별 또는 장면별로 기기를 제어할 수 있습니다.

어시스턴트는 코드 혼합 언어와 구어체를 문법이 아닌 의도로 이해합니다. "Yaar thoda thanda lag raha hai"(친구, 조금 추워)와 같은 요청을 하면 사용자가 어느 기기인지 언급하지 않아도 선풍기 속도를 낮추고 에어컨을 조절합니다. 

.

Havells One 플랫폼 전반을 아우르는 하나의 대화형 인터페이스

Voice Mode는 Havells One 플랫폼 내 에어컨, 선풍기, 공기청정기, 정수기, 온수기, 세탁기, 스마트 스위치 및 향후 출시될 기기 등 여러 스마트 기기 카테고리를 지원합니다.

각 카테고리 내에서는 물론 카테고리 전반에 걸쳐 모델과 변형 제품까지 폭넓게 지원하며, 음성 명령으로 속도, 모드, 타이머, 역회전을 제어할 수 있습니다.

모든 카테고리에 동일한 대화 레이어가 적용되므로, 연결 프로토콜이 달라도 한 번의 음성 지시로 스마트 Havells 기기를 제어할 수 있습니다. "Geyser on karo aur fan bhi chalu karo"(선풍기와 온수기를 켜줘)는 분리되어 여러 Havells 기기에서 동시에 실행됩니다.

여러 차례 오가는 대화에서도 맥락 유지 및 명확화

Havells의 에이전트는 자연어 이해, 맥락 기억, 다중 기기 오케스트레이션, 상황 인식, 다국어 AI, 설정 없는 활성화, 프로토콜 간 기기 제어, 양방향 대화 피드백, 오류 진단, 규칙 기반 자동화 등 10가지 기능을 실제 서비스 환경에서 운영합니다. 실제로는 다음과 같이 작동합니다.

• "Fan slow karo ... thoda aur" (선풍기 속도 낮춰줘... 조금 더)는 후속 요청으로 인식되므로, 사용자가 전체 명령을 다시 말할 필요가 없습니다.
• "AC chalu karo" 는 에어컨이 2대인 집에서 어시스턴트가 추측하는 대신 어느 방인지 묻도록 합니다.
• "AC pe E6 dikh raha hai, kya hua?"는 오류 코드에 대한 쉬운 설명과 권장되는 다음 조치를 제공합니다.

여기서는 양방향 대화 피드백도 인식만큼 중요합니다. 어시스턴트는 수행한 작업을 확인하고, 할 수 없는 작업을 설명하며, 모호할 수 있는 작업을 실행하기 전에 질문합니다.

6주 만에 프로토타입에서 실제 서비스로

Havells는 개발 시작 후 약 2주 만에 음성 명령부터 기기 동작, 음성 응답까지의 경로를 검증하는 작동 가능한 에이전트 프로토타입을 마련했습니다. 플랫폼 선택에 영향을 준 API 문서와 대시보드는 실제 개발 과정에서도 활용되었으며, CRI 팀은 이를 기반으로 스트리밍 음성 텍스트 변환과 텍스트 음성 변환을 직접 통합했습니다.

남은 기간은 음성 레이어가 아닌 Havells 고유의 복잡성을 해결하는 데 투입되었습니다. 전체 다국어 기기 카탈로그, 기기별로 다른 기능, 복잡한 명령, 엣지 케이스, 복구 시나리오 등이 이에 해당합니다. ElevenLabs의 현장 배치 엔지니어링 팀은 Havells와 협력해 인도 지역 언어의 음성 품질과 발음을 조정하고, 동시 세션이 늘어나도 지연 시간이 안정적으로 유지되도록 스트리밍 설정을 구성했습니다. 초기 통합부터 실제 서비스 준비가 완료된 출시까지 약 6주가 걸렸습니다.

이제 Voice Mode는 270만 회 이상의 다운로드를 기록한 Havells One 앱의 전체 사용자에게 제공됩니다. 이 규모는 CRI 팀이 언어, 기기, 명령 유형 전반을 개선할 수 있는 실제 상호작용 데이터를 제공합니다.

향후 계획

Havells는 Agentic AI Voice Mode를 완성된 기능이 아닌 더 폭넓은 지능형 홈 경험을 위한 기반으로 보고 있으며, 다음 4가지 확장 방향을 제시했습니다.

1. 더 깊은 개인화를 통해 모든 사용자를 동일하게 대하는 대신 각 가구 구성원의 선호와 일상 리듬에 맞춰 집이 반응하도록 합니다.
2. 더 폭넓은 언어 지원으로, 인도에서는 언어가 여전히 도입의 가장 큰 장벽이며 8개 언어는 시작점이라는 점에 기반합니다.
3. 음성 우선 게이트웨이를 Havells 전체 생태계에 제공하여 앱, 개별 기기, 제어 패널을 보완하고, 현재 연결되지 않은 가전제품을 생태계와 음성 플랫폼에 편입합니다.
4. 켜기/끄기와 설정값 명령을 넘어선 음성 기능, 제품 FAQ, 문제 해결, 자동화 루틴, 일정 관리까지 확장합니다.

"Made in India, Made for the World"라는 철학 아래 CRI 팀이 개발한 이 플랫폼은 글로벌 기술과 인도 가정, 언어, 생활방식에 대한 깊은 이해를 결합합니다. 생태계가 성장해도 자연스럽고, 즉각 반응하며, 다국어를 지원하고, 개인화된 경험을 유지하는 데 중점을 두어 사람들이 기술에 맞추는 것이 아니라 기술이 사람에게 맞추도록 합니다.