Havells, ElevenLabs와 함께 커넥티드 홈 생태계에 다국어 음성 제어 도입

Voice Mode는 약 270만 회 다운로드된 앱인 Havells One의 전체 사용자에게 제공되며, 7개 기기 카테고리에서 8개 언어를 지원합니다.

Havells는 에어컨, 선풍기, 공기청정기, 정수기, 온수기, 세탁기, 스마트 스위치 등 폭넓은 커넥티드 제품 포트폴리오를 제공하는 인도 대표 전기제품 기업 중 하나입니다. 스마트 홈 경험을 강화하기 위해 Havells 연구·혁신 센터(CRI)는 Havells One 앱 내에서 영어와 여러 인도 언어로 자연스럽게 음성 상호작용을 통해 가전제품을 제어할 수 있는 지능형 대화 인터페이스인 Agentic AI Voice Mode를 개발했습니다. 이 기능은 ElevenAPI를 기반으로 프로그래밍 방식으로 구축되었으며, 실시간 스트리밍 음성 인식 (Scribe v2 Realtime) 및 텍스트 음성 변환(Eleven v3 Conversational)을 Havells의 독자적인 지능형 기기 제어 에이전트와 통합했습니다.

Havells의 기존 음성 기능은 처음에는 일부 가전제품에서 영어를, 이후 힌디어를 지원했지만 명령어 중심 방식에 머물렀습니다. 사용자는 기기가 정확히 반응하도록 특정 문구와 호출 방식을 기억해야 했습니다. 하지만 인도 가정에서는 한 대화 안에서도 영어, 힌디어, 마라티어 등 여러 지역 언어를 자연스럽게 섞어 말합니다. Agentic AI Voice Mode는 이 방식을 뒤집습니다. 사용자는 자연스럽게 말하고, 시스템은 의도와 맥락, 언어를 이해합니다.

평가를 좌우한 지연 시간과 자연스러움

Havells는 언어 인식 정확도, 다국어 지원, 지연 시간, 음성 합성을 기준으로 여러 음성 AI 플랫폼을 평가했습니다. 팀은 고품질·저지연 스트리밍 텍스트 음성 변환을 제공하는 업체를 조사하던 중 ElevenLabs를 발견했고, 정확도와 속도, 다국어 지원은 물론 API 문서, 대시보드, 지원 서비스, 인도 언어 샘플 음성까지 고려해 ElevenLabs를 최종 후보로 선정했습니다.

직접 비교 테스트에서는 어시스턴트가 얼마나 빠르고 자연스럽게 응답하는지에서 차이가 드러났습니다. 스마트 홈 어시스턴트에서 지연 시간은 단순한 기술적 지표가 아닙니다. 응답이 늦으면 기존 음성 인터페이스처럼 느껴지지만, 빠르면 실시간 대화처럼 느껴집니다. Havells는 자연스러움과 실시간 응답성을 가장 중요하게 여겼고, 이 두 요소가 ElevenLabs 기반으로 Voice Mode를 구축하기로 한 결정에 영향을 주었습니다.

인도 가정의 실제 말하기 방식에 맞춘 8개 언어

Voice Mode는 영어와 힌디어, 타밀어, 텔루구어, 벵골어, 칸나다어, 구자라트어, 말라얄람어 등 7개 인도 언어를 지원합니다. 사용자는 정해진 명령어 집합이 아니라 자연어로 가전제품별, 방별 또는 장면별로 기기를 제어할 수 있습니다.

어시스턴트는 코드 혼용 및 구어체 음성을 문법이 아닌 의도로 이해합니다. 예를 들어 "Yaar thoda thanda lag raha hai"(친구야, 좀 추운 것 같아)라고 말하면 사용자가 어느 기기도 직접 언급하지 않아도 선풍기 속도를 낮추고 에어컨을 조절합니다. 

.

Havells One 플랫폼 전반을 아우르는 하나의 대화형 인터페이스

Voice Mode는 Havells One 플랫폼의 여러 스마트 기기 카테고리를 지원합니다. 에어컨, 선풍기, 공기청정기, 정수기, 온수기, 세탁기, 스마트 스위치와 향후 출시될 기기가 포함됩니다.

각 카테고리 내부는 물론 카테고리 전반에 걸쳐 다양한 모델과 변형 제품을 폭넓게 지원하며, 음성 명령으로 속도, 모드, 타이머, 역회전을 제어할 수 있습니다.

모든 카테고리에 동일한 대화형 레이어가 적용되므로, 연결 프로토콜이 서로 달라도 하나의 음성 지시로 스마트 Havells 기기를 제어할 수 있습니다. "Geyser on karo aur fan bhi chalu karo"(온수기와 선풍기를 모두 켜줘)는 여러 Havells 기기에 분리되어 동시에 실행됩니다.

여러 차례 이어지는 대화에서의 맥락 유지와 명확화

Havells의 에이전트는 자연어 이해, 맥락 기억, 다중 기기 오케스트레이션, 상황 인식, 다국어 AI, 설정 없는 활성화, 프로토콜 간 기기 제어, 양방향 대화 피드백, 오류 진단, 규칙 기반 자동화 등 10가지 기능을 실제 서비스에서 운영합니다. 실제로는 다음과 같이 작동합니다.

• "Fan slow karo ... thoda aur"(선풍기 속도를 낮춰줘... 조금 더)는 후속 요청으로 이해되므로, 사용자가 전체 명령을 다시 말할 필요가 없습니다.
• "AC chalu karo" 는 에어컨이 두 대 있는 집에서 추측하는 대신 어느 방인지 묻도록 어시스턴트를 유도합니다.
• "AC pe E6 dikh raha hai, kya hua?"라고 하면 오류 코드에 대한 알기 쉬운 설명과 권장되는 다음 조치를 안내합니다.

여기서는 양방향 대화 피드백이 인식만큼 중요합니다. 어시스턴트는 수행한 작업을 확인하고, 할 수 없는 작업을 설명하며, 모호할 수 있는 작업을 실행하기 전에 질문합니다.

6주 만에 프로토타입에서 프로덕션까지

Havells는 개발을 시작한 지 약 2주 만에 음성 명령에서 기기 동작, 음성 응답으로 이어지는 흐름을 검증하는 작동 가능한 에이전트 프로토타입을 마련했습니다. 플랫폼 선택에 영향을 준 API 문서와 대시보드는 실제 개발에도 활용되었고, CRI 팀은 이를 기반으로 스트리밍 음성 인식과 텍스트 음성 변환을 직접 통합했습니다.

남은 기간은 음성 레이어가 아닌 Havells 고유의 복잡성을 해결하는 데 투입됐습니다. 전체 다국어 기기 카탈로그, 서로 다른 기기 기능, 복잡한 명령, 엣지 케이스, 복구 시나리오 등이 여기에 포함됩니다. ElevenLabs의 현장 지원 엔지니어링 팀은 Havells와 협력해 인도 지역 언어의 음성 품질과 발음을 조정하고, 동시 세션이 늘어나도 지연 시간이 안정적으로 유지되도록 스트리밍 환경을 구성했습니다. 최초 통합부터 프로덕션 준비가 완료된 출시까지 약 6주가 걸렸습니다.

Voice Mode는 이제 270만 회 이상 다운로드된 Havells One 앱의 전체 사용자에게 제공됩니다. 이 규모는 CRI 팀이 언어, 기기, 명령 유형 전반을 개선할 수 있는 실제 사용 환경의 상호작용 데이터를 제공합니다.

향후 계획

Havells는 Agentic AI Voice Mode를 완성된 기능이 아닌 더 폭넓은 지능형 홈 경험의 기반으로 보고 있으며, 다음 4가지 확장 방향을 제시했습니다.

1. 더 심층적인 개인화를 통해 모든 사용자를 동일하게 대하는 대신 각 가구 구성원의 선호와 일상 리듬에 맞춰 집이 반응하도록 합니다.
2. 더 폭넓은 언어 지원으로, 인도에서는 언어가 여전히 도입의 가장 큰 장벽이며 8개 언어는 출발점에 불과하다는 점을 바탕으로 합니다.
3. 음성 우선 게이트웨이를 Havells 생태계 전체에 제공해 앱, 개별 기기, 제어 패널을 보완하고 현재 연결되지 않은 가전제품을 생태계와 음성 플랫폼으로 연결합니다.
4. 켜기/끄기와 설정값 명령을 넘어선 음성 기능, 제품 FAQ, 문제 해결, 자동화 루틴, 일정 관리까지 확장합니다.

"Made in India, Made for the World"라는 철학 아래 CRI 팀이 개발한 이 플랫폼은 글로벌 기술과 인도 가정, 언어, 생활방식에 대한 깊은 이해를 결합합니다. 생태계가 성장해도 경험을 자연스럽고, 반응성이 뛰어나며, 다국어를 지원하고, 개인화된 상태로 유지하는 데 집중합니다. 이를 통해 사람이 기술에 맞추는 것이 아니라 기술이 사람에게 맞추도록 합니다.