Produktionsreife Konversations-KI im Unternehmensmaßstab: Mit Felix Su von Scale AI

Erfolgreiche KI für Unternehmen hängt nicht nur von der neuesten Technologie ab – sondern von der richtigen Architektur und den richtigen Kontrollmechanismen, die auf KI-Grundbausteinen aufbauen. Standard-LLMs sind leistungsstark, verfügen aber nicht über tiefgehendes Wissen darüber, wie sie Geschäftslogik, Markenrichtlinien und Sicherheitsprinzipien einhalten. Dieses maßgeschneiderte Erlebnis lässt sich nur durch die sorgfältige Konzeption und Erprobung eines Systems aus Prompts, LLMs, Guardrails, Tools und weiteren Bausteinen schaffen, das das Verhalten generativer KI an Unternehmensregeln ausrichtet.

Die Stärke der Trennung: Warum Architektur zählt

Bei der Entwicklung von Konversations-KI für Sprache können Entwickler entweder mit multimodalen Voice-to-Voice-Modellen arbeiten oder die Komponenten von ASR (Transkription), LLMs und TTS kombinieren. Für Unternehmen mit spezifischen Anwendungsfällen ist Letzteres oft praktischer.

„Im Unternehmensumfeld reicht KI oft nicht mit LLMs allein aus“, erklärt Felix Su, Head of Engineering für Scales GenAI-Plattform. „Ein komplexes System muss so konzipiert sein, dass es Geschäftslogik befolgt, das Markenbild wahrt und innerhalb strenger Guardrails arbeitet. Dieses Verhalten ist für jedes Unternehmen individuell. Deshalb ist es praktischer, solche Systeme auf LLMs aufzubauen, statt sich ausschließlich auf deren latentes Verhalten zu verlassen. Obwohl multimodale Fähigkeiten inzwischen direkt in Modelle integriert wurden, verlief die Einführung dieser Modelle in kritischen Produktionsanwendungen langsamer als erwartet. Das liegt an der mangelnden Kontrolle zwischen der Generierung sowie den Ein- und Ausgaben ihrer Modalität. Im Fall von TIME AI konnten wir mit STT und TTS sowohl die Eingaben textbasierter LLMs kontrollieren als auch die Ausgaben unseres Systems mit maßgeschneiderten Guardrails absichern. Diese Technik ist oft praktischer als der direkte Einsatz multimodaler LLMs.“

Bei der Entwicklung des TIME-AI-Erlebnisses indexierte Scale TIMEs Artikelbestand in Wissensdatenbanken für den bedarfsgesteuerten Abruf, kodierte Geschäftslogik in einer Reihe von System-Prompts und schützte GenAI-Ausgaben vor Halluzinationen sowie Verstößen gegen Sicherheits- und Markenrichtlinien. Auf diesem System erweckten sie das Erlebnis mit einer Stimme der ElevenLabs Conversational KI-Orchestrierungsplattform zum Leben. 

TIMEs Person-of-the-Year-Erlebnis: Wo Stimme den Unterschied macht

Der kürzliche Start von TIME AI ermöglicht Leserinnen und Lesern natürliche Gespräche über den Journalismus von TIME, einschließlich der ikonischen Berichterstattung zur Person of the Year. Was diese Umsetzung von zahllosen anderen Chatbots abhebt, ist nicht nur ihr Wissen – sondern die Stimme.

„Die Stimme hat dem Ganzen wirklich eine prägnante Wirkung verliehen“, sagt Su. „Ohne sie geht es im Rauschen als bloß ein weiterer Chatbot unter. Der Agent sollte sich wie ein Live-Lesepartner anfühlen, der für spontane, tiefgehende Gespräche bereitsteht.“ Die Umsetzung kombiniert die Expertise von Scale AI in der KI-Entwicklung mit der Conversational-AI-Plattform von ElevenLabs. So entsteht ein bemerkenswert menschliches Erlebnis bei strenger Kontrolle über Inhalte und Markenstimme.

Produktionsreife Systeme für Unternehmen entwickeln

Für Unternehmen, die Konversations-KI im großen Maßstab einsetzen möchten, bietet die Zusammenarbeit mit Scale AI und ElevenLabs einen bewährten Weg. Scale AI verfügt über umfassende Erfahrung beim Aufbau kontrollierter, sicherer multimodaler KI-Systeme mit robusten Guardrails. ElevenLabs liefert erstklassige Sprachtechnologie, die sich nahtlos in diese Systeme integrieren lässt.

Während sich die Umsetzung von TIME auf Journalismus konzentriert, lässt sich dieselbe Architektur auf verschiedene Unternehmensanwendungen übertragen, besonders im Kundenservice und Support. Kundinnen und Kunden haben genug von einfachen Chatbots und erwarten ansprechendere, menschenähnlichere Interaktionen. 

Vielen Dank an Felix für seinen Beitrag zu diesem Artikel. Sie finden Felix Su auf LinkedIn und X. Das mit TIME entwickelte Sprach-Erlebnis mit Konversations-KI können Sie bei der Person of the Year 2024 sowie bei der Person of the Year 2021, 2022 und 2023 erleben.

Entwickler können mit Konversations-KI über unsere Dokumentation starten. Unternehmen, die zuverlässige Conversational-Voice-Agent-Lösungen in der Produktion einsetzen möchten, können sich an das Enterprise-Solutions-Team von ElevenLabs und Scale wenden.