Conversational AI klaar voor productie op enterpriseschaal: met Felix Su van Scale AI

Succesvolle enterprise AI draait niet alleen om de nieuwste technologie: het gaat om de juiste architectuur en controles, gebouwd op AI-primitieven. Kant-en-klare LLM's zijn krachtig, maar missen diepgaande kennis van hoe ze bedrijfslogica, merkrichtlijnen en veiligheidsprincipes moeten volgen. Deze maatwerkervaring bereik je alleen door een systeem van prompts, LLM's, guardrails, tools en andere bouwstenen zorgvuldig te ontwerpen en te testen, zodat generatieve AI zich volgens de regels van de onderneming gedraagt.

De kracht van scheiding: waarom architectuur belangrijk is

Bij het bouwen van Conversational Voice AI kunnen ontwikkelaars kiezen voor multimodale, voice-to-voice-modellen, of de onderdelen van ASR (transcriptie), LLM's en TTS samenvoegen. Voor ondernemingen met specifieke use cases is dat laatste vaak praktischer.

"In een enterpriseomgeving kan AI vaak niet alleen met LLM's worden gerealiseerd", legt Felix Su uit, Head of Engineering voor het GenAI Platform van Scale. "Een complex systeem moet worden ontworpen om bedrijfslogica te volgen, het merkimago te behouden en binnen strikte guardrails te werken. Dit gedrag is maatwerk voor elke onderneming, dus het is praktischer om deze systemen boven op LLM's te implementeren dan volledig op hun latente gedrag te vertrouwen. Hoewel multimodale mogelijkheden onlangs rechtstreeks in modellen zijn ingebouwd, verloopt de adoptie van deze modellen voor kritieke productie-use-cases langzamer dan verwacht. Dit komt door het gebrek aan controle tussen de generatie en de inputs en outputs binnen hun modaliteit. In het geval van TIME AI stelde het gebruik van STT en TTS ons in staat om zowel de inputs voor tekstgebaseerde LLM's te controleren als de outputs van ons systeem met maatwerk-guardrails te bewaken. Deze techniek is vaak praktischer dan multimodale LLM's rechtstreeks gebruiken."

Bij het bouwen van de TIME AI-ervaring indexeerde Scale TIME's verzameling artikelen in kennisbanken voor retrieval op aanvraag, legde het bedrijfslogica vast in een reeks system prompts en beschermde het GenAI-outputs tegen hallucinaties en schendingen van zowel veiligheids- als merkrichtlijnen. Boven op dit systeem brachten ze de ervaring tot leven met een stem van het ElevenLabs Conversational AI-orchestratieplatform. 

TIME's Person of the Year-ervaring: waar stem het verschil maakt

Met de recente lancering van TIME AI kunnen lezers natuurlijke gesprekken voeren over de journalistiek van TIME, waaronder de iconische berichtgeving rond Person of the Year. Wat deze implementatie onderscheidt van talloze andere chatbots, is niet alleen de kennis, maar ook de stem.

"De stem gaf het echt een krachtige uitstraling", zegt Su. "Zonder de stem raakt het ondergesneeuwd als zomaar weer een chatbot. We wilden dat de agent aanvoelde als een live leespartner, beschikbaar voor diepgaande gesprekken buiten het vaste script." De implementatie combineert de expertise van Scale AI in AI-ontwikkeling met het Conversational AI-platform van ElevenLabs en creëert zo een ervaring die opmerkelijk menselijk aanvoelt, terwijl de inhoud en merkstem strikt gecontroleerd blijven.

Systemen bouwen die klaar zijn voor enterprises

Voor ondernemingen die conversational AI op schaal willen inzetten, biedt samenwerking met Scale AI en ElevenLabs een beproefde route. Scale AI brengt diepgaande expertise mee in het bouwen van gecontroleerde, veilige multimodale AI-systemen met robuuste guardrails, terwijl ElevenLabs hoogwaardige stemtechnologie biedt die naadloos in deze systemen kan worden geïntegreerd.

Hoewel de implementatie van TIME zich richt op journalistiek, kan dezelfde architectuur worden toegepast op uiteenlopende enterprise-use-cases, vooral in klantenservice en support. Klanten raken basischatbots steeds meer beu en verwachten boeiendere, menselijkere interacties. 

Dank aan Felix voor zijn bijdrage aan dit artikel. Je vindt Felix Su op LinkedIn & X, en je kunt de Conversational AI-stemervaring die hij samen met TIME heeft gebouwd, ervaren op hun Person of the Year 2024, evenals Person of the Year voor 2021, 2022 en 2023.

Ontwikkelaars kunnen met Conversational AI aan de slag via onze documentatie, en bedrijven die betrouwbare Conversational Voice Agent-oplossingen in productie willen inzetten, kunnen contact opnemen met het Enterprise Solutions-team van ElevenLabs en Scale.