Produktionsreife Konversations-KI im Unternehmensmaßstab: Mit Felix Su von Scale AI

Erfolgreiche Unternehmens-KI dreht sich nicht nur um die neueste Technologie – es geht darum, die richtige Architektur und Steuerung auf KI-Primitiven aufzubauen. Fertige LLMs sind leistungsstark, aber ihnen fehlt das tiefe Wissen, um Geschäftslogik, Markenrichtlinien und Sicherheitsprinzipien zu befolgen. Diese maßgeschneiderte Erfahrung kann nur durch sorgfältige Architektur und Tests eines Systems aus Prompts, LLMs, Schutzmechanismen, Tools und anderen Bausteinen erreicht werden, um das Verhalten der generativen KI an Unternehmensregeln anzupassen.

Die Kraft der Trennung: Warum Architektur wichtig ist

Beim Aufbau von Conversational Voice AI können Entwickler entweder mit multimodalen, sprachbasierten Modellen arbeiten oder die Komponenten von ASR (Transkription), LLMs und TTS zusammenfügen. Für Unternehmen mit spezifischen Anwendungsfällen kann Letzteres oft praktischer sein.

"In einem Unternehmensumfeld kann KI oft nicht nur mit LLMs umgesetzt werden“, erklärt Felix Su, Leiter der Technik für die GenAI-Plattform von Scale. „Ein komplexes System muss entworfen werden, um Geschäftslogik zu folgen, das Markenimage zu wahren und innerhalb strenger Schutzmechanismen zu arbeiten. Diese Verhaltensweisen sind für jedes Unternehmen individuell, daher ist es praktischer, diese Systeme auf LLMs aufzubauen, anstatt sich rein auf ihr latentes Verhalten zu verlassen. Während multimodale Fähigkeiten kürzlich direkt in Modelle integriert wurden, war die Einführung dieser Modelle in kritische Produktionsanwendungen langsamer als erwartet. Dies liegt am Mangel an Kontrolle zwischen der Generierung und den Eingaben und Ausgaben in ihrer Modalität. Im Fall von TIME AI ermöglichte uns die Verwendung von STT und TTS, sowohl die Eingaben in textbasierte LLMs zu steuern als auch die Ausgaben unseres Systems mit benutzerdefinierten Schutzmechanismen zu sichern. Diese Technik kann oft praktischer sein als die direkte Verwendung multimodaler LLMs."

Beim Aufbau der TIME AI-Erfahrung hat Scale das Artikelarchiv von TIME in Wissensdatenbanken für den Abruf auf Abruf indexiert, Geschäftslogik in eine Reihe von System-Prompts kodiert und die GenAI-Ausgaben gegen Halluzinationen und Verstöße gegen Sicherheits- und Markenrichtlinien geschützt. Auf diesem System haben sie die Erfahrung mit einer Stimme aus der Conversational AI-Orchestrierungsplattform von ElevenLabs zum Leben erweckt.

TIME's Person of the Year Experience: Wo die Stimme den Unterschied macht

Der kürzliche Start von TIME AI ermöglicht es Lesern, natürliche Gespräche über den Journalismus von TIME zu führen, einschließlich ihrer ikonischen Berichterstattung zur Person des Jahres. Was diese Implementierung von unzähligen anderen Chatbots unterscheidet, ist nicht nur ihr Wissen – es ist die Stimme.

"Die Verwendung der Stimme hat wirklich ein schönes, prägnantes Gefühl hinzugefügt", reflektiert Su. "Ohne sie geht es im Trubel als nur ein weiterer Chatbot verloren. Wir wollten, dass der Agent wie ein lebendiger Lesepartner wirkt, der für tiefgehende Gespräche abseits des Skripts verfügbar ist." Die Implementierung kombiniert die Expertise von Scale AI in der KI-Entwicklung mit der Conversational AI-Plattform von ElevenLabs und schafft eine Erfahrung, die bemerkenswert menschlich wirkt, während sie strenge Kontrolle über Inhalte und Markenstimme beibehält.

Aufbau von unternehmensbereiten Systemen

Für Unternehmen, die Conversational AI im großen Maßstab einsetzen möchten, bietet die Zusammenarbeit mit Scale AI und ElevenLabs einen bewährten Weg. Scale AI bringt tiefes Fachwissen im Aufbau kontrollierter, sicherer multimodaler KI-Systeme mit robusten Schutzmechanismen mit, während ElevenLabs erstklassige Sprachtechnologie bietet, die nahtlos in diese Systeme integriert werden kann.

Während sich die Implementierung von TIME auf den Journalismus konzentriert, kann dieselbe Architektur auf verschiedene Unternehmensanwendungsfälle angewendet werden, insbesondere im Kundenservice und Support. Kunden sind zunehmend müde von einfachen Chatbots, da sie ansprechendere, menschenähnliche Interaktionen verlangen.

Vielen Dank an Felix für seinen Beitrag zu diesem Beitrag. Sie finden Felix Su auf LinkedIn & X, und Sie können die Conversational AI-Spracherfahrung, die er mit TIME aufgebaut hat, auf deren Person of the Year 2024, sowie Person des Jahres für 2021, 2022 und 2023 erleben.

Entwickler können mit Conversational AI beginnen, indem sie unsere Dokumentation nutzen, und Unternehmen, die vertrauenswürdige Conversational Voice-Lösungen in der Produktion einsetzen möchten, können sich an das Enterprise-Lösungsteam bei ElevenLabs und Scale wenden.