Havells bringt mit ElevenLabs mehrsprachige Sprachsteuerung in sein vernetztes Zuhause-Ökosystem

Voice Mode ist für die gesamte Havells-One-Nutzerbasis verfügbar – eine App mit rund 2,7 Millionen Downloads, die acht Sprachen in sieben Gerätekategorien unterstützt.

Havells zählt zu den führenden indischen Unternehmen für Elektrogeräte und bietet ein breites Portfolio vernetzter Produkte, darunter Klimaanlagen, Ventilatoren, Luft- und Wasserreiniger, Warmwasserbereiter, Waschmaschinen und smarte Schalter. Um das Smart-Home-Erlebnis zu verbessern, entwickelte das Havells Center for Research & Innovation (CRI) Agentic AI Voice Mode – eine intelligente Gesprächsschnittstelle in der Havells-One-App. Sie ermöglicht es Nutzern, Geräte durch natürliche Sprachinteraktionen auf Englisch und in mehreren indischen Sprachen zu steuern. Die Lösung wurde programmatisch auf ElevenAPI aufgebaut und nutzt Echtzeit-Streaming für Speech to Text (Scribe v2 Realtime) und Text to Speech (Eleven v3 Conversational), integriert mit Havells' proprietärem intelligenten Agenten zur Gerätesteuerung.

Havells' frühere Sprachsteuerung unterstützte zunächst Englisch, dann Hindi, für ausgewählte Geräte, blieb jedoch befehlsbasiert. Nutzer mussten sich bestimmte Formulierungen und Aktivierungsmuster merken, damit Geräte korrekt reagierten. So sprechen indische Haushalte nicht natürlich: Oft mischen sie Englisch, Hindi, Marathi und andere regionale Sprachen im selben Gespräch. Agentic AI Voice Mode kehrt diesen Ansatz um. Menschen sprechen natürlich, und das System versteht Absicht, Kontext und Sprache.

Latenz und Natürlichkeit entschieden die Bewertung

Havells bewertete mehrere KI-Sprachplattformen anhand der Genauigkeit der Spracherkennung, mehrsprachiger Unterstützung, Latenz und Sprachsynthese. Bei der Recherche nach Anbietern für hochwertiges Text-to-Speech-Streaming mit niedriger Latenz stieß das Team auf ElevenLabs. Aufgrund von Genauigkeit, Geschwindigkeit und mehrsprachiger Unterstützung sowie der API-Dokumentation, des Dashboards, des Supports und der Beispielstimmen in indischen Sprachen nahm Havells ElevenLabs in die engere Auswahl.

Im direkten Vergleich zeigte sich der Unterschied darin, wie schnell und natürlich der Assistent reagierte. Bei einem Smart-Home-Assistenten ist Latenz nicht nur ein technischer Wert. Eine verzögerte Antwort wirkt wie eine herkömmliche Sprachschnittstelle, eine schnelle wie ein Gespräch in Echtzeit. Natürlichkeit und Reaktionsfähigkeit in Echtzeit waren für Havells entscheidend und ausschlaggebend dafür, Voice Mode mit ElevenLabs zu entwickeln.

Acht Sprachen, die der tatsächlichen Sprache indischer Haushalte entsprechen

Voice Mode unterstützt Englisch und sieben indische Sprachen: Hindi, Tamil, Telugu, Bengalisch, Kannada, Gujarati und Malayalam. Nutzer steuern Geräte nach Gerät, Raum oder Szene – mit natürlicher Sprache statt mit einem festen Befehlssatz.

Der Assistent interpretiert gemischte und umgangssprachliche Ausdrucksweisen als Absicht statt als Syntax. Eine Anfrage wie „Yaar thoda thanda lag raha hai“ (Alter, mir ist ein bisschen kalt) reduziert die Geschwindigkeit des Ventilators und passt die Klimaanlage an, ohne dass der Nutzer eines der Geräte nennen muss. 

.

Eine Gesprächsschnittstelle für die gesamte Havells-One-Plattform

Voice Mode deckt mehrere Kategorien smarter Geräte auf der Havells-One-Plattform ab: Klimaanlagen, Ventilatoren, Luftreiniger, Wasserreiniger, Warmwasserbereiter, Waschmaschinen, smarte Schalter und kommende Geräte.

Die Abdeckung reicht tief in jede Kategorie und über Kategorien hinweg. Sie umfasst Modelle und Varianten, bei denen Sprachbefehle Geschwindigkeit, Modi, Timer und Drehrichtungsumkehr steuern.

Da dieselbe Gesprächsebene alle Kategorien verbindet, kann eine einzelne gesprochene Anweisung smarte Havells-Geräte steuern, auch wenn sie unterschiedliche Verbindungsprotokolle nutzen. „Geyser on karo aur fan bhi chalu karo“ (Schalte den Ventilator und den Warmwasserbereiter ein) wird aufgeteilt und gleichzeitig auf mehreren Havells-Geräten ausgeführt.

Kontextspeicherung und Klärung in mehrstufigen Gesprächen

Havells' Agent nutzt in der Produktion zehn Funktionen: Verarbeitung natürlicher Sprache, Kontextsicherung, Orchestrierung mehrerer Geräte, Kontextbewusstsein, mehrsprachige KI, Aktivierung ohne Einrichtung, geräteübergreifende Steuerung über verschiedene Protokolle, wechselseitiges Gesprächsfeedback, Fehlerdiagnose und regelbasierte Automatisierung. In der Praxis bedeutet das:

• „Fan slow karo ... thoda aur“ (Reduziere die Geschwindigkeit des Ventilators ... ein bisschen mehr) wird als Folgeanweisung verstanden. Der Nutzer muss den vollständigen Befehl also nicht wiederholen.
• „AC chalu karo“ veranlasst den Assistenten in einem Zuhause mit zwei Klimaanlagen, nach dem Raum zu fragen, statt zu raten.
• „AC pe E6 dikh raha hai, kya hua?“ liefert eine verständliche Erklärung des Fehlercodes und schlägt den nächsten Schritt vor.

Wechselseitiges Gesprächsfeedback ist hier genauso wichtig wie Erkennung. Der Assistent bestätigt, was er getan hat, erklärt, was er nicht tun kann, und fragt nach, bevor er eine sonst mehrdeutige Aktion ausführt.

Vom Prototyp zur Produktion in sechs Wochen

Etwa zwei Wochen nach Beginn der Entwicklung verfügte Havells über einen funktionierenden Agenten-Prototypen. Dieser bestätigte den Ablauf vom gesprochenen Befehl über die Geräteaktion bis zur gesprochenen Antwort. Die API-Dokumentation und das Dashboard, die die Plattformentscheidung beeinflussten, unterstützten auch die Entwicklung selbst. Das CRI-Team integrierte Streaming Speech to Text und Text to Speech direkt damit.

Die verbleibenden Wochen flossen eher in Havells' eigene Komplexität als in die Sprachebene: den vollständigen mehrsprachigen Gerätekatalog, unterschiedliche Gerätefunktionen, komplexe Befehle, Sonderfälle und Wiederherstellungsszenarien. Das Forward-Deployed-Engineering-Team von ElevenLabs arbeitete mit Havells daran, Sprachqualität und Aussprache für regionale indische Sprachen zu optimieren und das Streaming so zu konfigurieren, dass die Latenz bei wachsenden parallelen Sitzungen stabil blieb. Von der ersten Integration bis zum produktionsreifen Rollout vergingen rund sechs Wochen.

Voice Mode steht nun der gesamten Havells-One-Nutzerbasis zur Verfügung, einer App mit mehr als 2,7 Millionen Downloads. Dieser Umfang liefert dem CRI-Team Daten aus realen Interaktionen, um Sprachen, Geräte und Befehlstypen weiter zu verbessern.

Diese Agentic-AI-Voice-Funktion ist für unsere Kunden ein Durchbruch. Sie können ihre Geräte natürlich steuern und mit ihnen interagieren, ohne sich Befehle merken oder Regeln lernen zu müssen. Ihr Potenzial ist unbegrenzt und wird weiter wachsen, wenn neue Funktionen für unsere Geräte und Services hinzukommen. Als KI-Erlebnis für den täglichen Einsatz zeigt sie das transformative Potenzial von KI-Agenten – weit über die herkömmlichen Sprachschnittstellen der Vergangenheit hinaus. Verbraucher benötigen lediglich ein Havells-Smart-Gerät, das in ihrer Havells-One-App registriert ist, um diese Funktion zu nutzen.

- Dipesh Shah, Executive President und CTO, Havells

Seit hundert Jahren verkauft die Haushaltsgerätebranche Produkte. Was wir jetzt aufbauen, ist eine Beziehung – ein Zuhause, das die Sprache und den Rhythmus der darin lebenden Familie wahrnimmt, lernt und darauf reagiert.

- Harikumar Varrier, Senior Vice President, CRI IoT, Havells

Ausblick

Havells betrachtet Agentic AI Voice Mode nicht als fertige Funktion, sondern als Grundlage für ein umfassenderes intelligentes Zuhause-Erlebnis und hat vier Bereiche für den Ausbau definiert:

1. Stärkere Personalisierung, damit das Zuhause auf die Vorlieben und Tagesrhythmen einzelner Haushaltsmitglieder reagiert, statt alle Nutzer gleich zu behandeln.
2. Umfassendere Sprachabdeckung, da Sprache in Indien weiterhin die größte Hürde für die Einführung ist und acht Sprachen erst der Anfang sind.
3. Ein sprachgesteuerter Zugang zum gesamten Havells-Ökosystem, der Apps, einzelne Geräte und Bedienfelder ergänzt, derzeit nicht vernetzte Haushaltsgeräte ins Ökosystem integriert und anschließend auf die Sprachplattform bringt.
4. Sprache über Ein-/Aus- und Sollwertbefehle hinaus, erweitert um Produkt-FAQs, Fehlerbehebung, Automatisierungsroutinen und Zeitplanung.

Das CRI-Team entwickelte die Plattform nach dem Leitbild „Made in India, Made for the World“. Sie verbindet globale Technologie mit einem tiefen Verständnis indischer Haushalte, Sprachen und Lebensstile. Mit dem Wachstum des Ökosystems bleibt der Fokus darauf, das Erlebnis natürlich, reaktionsschnell, mehrsprachig und personalisiert zu gestalten. Technologie soll sich an Menschen anpassen – nicht Menschen an Technologie.