推出 Eleven v4认识 Eleven v4:迄今情感表现最丰富的模型。

跳至内容

Havells 携手 ElevenLabs,为互联家居生态系统带来多语言语音控制

发布时间

收听收听本文

Voice Mode 已面向整个 Havells One 用户群上线。该应用下载量约 270 万次,覆盖 7 类设备,支持 8 种语言。

Havells 是印度领先的电器公司之一,提供丰富的互联产品组合,包括空调、风扇、空气和净水器、热水器、洗衣机及智能开关。为提升智能家居体验,Havells 研发与创新中心(CRI)开发了 Agentic AI Voice Mode——Havells One 应用内的智能对话界面,让用户可通过英语及多种印度语言的自然语音交互控制家电。该功能通过编程方式构建于 ElevenAPI,采用实时流式 语音转文本(Scribe v2 Realtime)和文本转语音(Eleven v3 Conversational),并与 Havells 专有的智能设备控制智能体集成。

Havells 早期的语音体验先支持英语,随后支持印地语,且仅覆盖部分家电,但仍以命令驱动。用户必须记住特定短语和唤醒模式,设备才能正确响应。但印度家庭的自然表达并非如此:人们常在同一段对话中混用英语、印地语、马拉地语和其他地区语言。Agentic AI Voice Mode 改变了这一点。用户可自然说话,系统则理解意图、上下文和语言。

延迟与自然度决定了评估结果

Havells 从语言识别准确率、多语言支持、延迟和语音合成等方面评估了多个语音 AI 平台。团队在调研提供高质量、低延迟流式文本转语音的服务商时发现了 ElevenLabs,并基于准确率、速度、多语言支持,以及 API 文档、控制台、支持服务和印度语言示例音色,将 ElevenLabs 列入候选名单。

在正面对比测试中,差异体现在助手响应的速度和自然度上。对于智能家居助手,延迟不仅是一项技术指标。回复延迟会让体验像传统语音界面,而快速回复则更像实时对话。自然度和实时响应能力对 Havells 最为重要,也因此决定了在 ElevenLabs 上构建 Voice Mode。

贴合印度家庭实际说话方式的 8 种语言

Voice Mode 支持英语及 7 种印度语言:印地语、泰米尔语、泰卢固语、孟加拉语、卡纳达语、古吉拉特语和马拉雅拉姆语。用户可按家电、房间或场景,通过自然语言控制设备,无需使用固定的命令集。

助手将混合语言和口语表达视为意图,而非语法。例如,用户说“Yaar thoda thanda lag raha hai”(哥们,我感觉有点冷),无需指明任何设备,系统便会降低风扇速度并调节空调。 

。

贯穿 Havells One 平台的统一对话界面

Voice Mode 覆盖 Havells One 平台中的多类智能设备:空调、风扇、空气净化器、净水器、热水器、洗衣机、智能开关以及即将推出的设备。

覆盖范围不仅横跨各个类别,也深入到每个类别内部,涵盖不同型号和版本;语音命令可控制速度、模式、定时器和反转。

由于同一对话层覆盖所有类别,即使采用不同的连接协议,一条语音指令也能控制 Havells 智能设备。“Geyser on karo aur fan bhi chalu karo”(打开热水器和风扇)会被拆分,并同时在多台 Havells 设备上执行。

多轮对话中的上下文保留与澄清

Havells 的智能体已在生产环境中运行 10 项能力:自然语言理解、上下文记忆、多设备编排、上下文感知、多语言 AI、零设置激活、跨协议设备控制、双向对话反馈、错误诊断和基于规则的自动化。实际表现如下:

  • “Fan slow karo ... thoda aur”(把风扇调慢一点……再慢一点)会被识别为后续指令,因此用户无需重复完整命令。
  • “AC chalu karo” 在有两台空调的家中,会促使助手询问具体是哪个房间,而不是自行猜测。
  • “AC pe E6 dikh raha hai, kya hua?”会返回对该错误代码的通俗解释,并建议下一步操作。

在这里,双向对话反馈与识别能力同样重要。助手会确认已完成的操作,说明无法完成的事项,并在执行原本存在歧义的操作前先进行询问。

从原型到生产环境,仅用 6 周

项目启动约 2 周后,Havells 就完成了可用的智能体原型,验证了从语音命令到设备操作,再到语音回复的完整流程。用于平台选型的 API 文档和控制台也直接用于后续开发,CRI 团队据此直接集成了流式语音转文本和文本转语音。

接下来的数周主要用于处理 Havells 自身的复杂性,而非语音层:完整的多语言设备目录、各异的设备能力、复杂命令、边缘情况和恢复场景。ElevenLabs 的前置部署工程团队与 Havells 合作,调校印度地区语言的语音质量和发音,并配置流式方案,确保并发会话增加时延迟仍保持稳定。从初始集成到可投入生产的上线,约耗时 6 周。

Voice Mode 现已面向整个 Havells One 用户群开放,该应用下载量已超过 270 万次。这一规模为 CRI 团队提供了真实交互数据,可持续优化不同语言、设备和命令类型的体验。

这项 Agentic AI Voice 能力对客户而言是一项突破,让他们无需记忆命令或学习规则,就能自然地控制设备并与之交互。随着设备和服务不断加入新能力,其潜力也将持续扩展。作为一种日常使用的 AI 体验,它展现了 AI 智能体的变革潜力,远超传统语音界面。消费者只需在 Havells One App 中注册一台 Havells Smart 设备,即可使用这项功能。

Dipesh Shah
Havells 执行总裁兼 CTO

一百年来,家电行业销售的是产品。如今我们正在打造的是一种关系——一个能感知、学习,并回应居住其中家庭语言与生活节奏的家。

Harikumar Varrier
Havells CRI IoT 高级副总裁

展望未来

Havells 将 Agentic AI Voice Mode 视为更广泛智能家居体验的基础,而非一项已经完成的功能,并规划了 4 个扩展方向:

  1. 更深度的个性化,让家居响应每位家庭成员的偏好和日常节奏,而非对所有用户一视同仁。
  2. 更广泛的语言覆盖,因为语言仍是印度用户采用这类技术的最大障碍,而 8 种语言只是起点。
  3. 语音优先入口,连接整个 Havells 生态系统,补充应用、单个设备和控制面板,并将目前尚未互联的家电纳入生态系统,进而接入语音平台。
  4. 超越开关和设定值命令的语音功能,扩展至产品常见问题、故障排查、自动化流程和日程安排。

该平台由 CRI 团队秉持“Made in India, Made for the World”的理念开发,结合全球技术与对印度家庭、语言和生活方式的深入理解。随着生态系统不断发展,重点始终是让体验保持自然、响应迅速、支持多语言且更具个性化,让技术适应人,而不是让人适应技术。

作者

Vinay Srinivas Prasad is on the GTM team at ElevenLabs, based in Bengaluru. Before ElevenLabs, he spent several years at Freshworks in strategic account management roles covering the Middle East and Africa, and also worked at Clari. He studied Mechanical Engineering at SSN College of Engineering.

相关内容

用高质量 AI 音频创作