Produktionsklar Conversational AI i stor skala: Med Scale AI:s Felix Su

Framgångsrik företags-AI handlar inte bara om att ha den senaste tekniken—det handlar om att ha rätt arkitektur och kontroller byggda på AI-primitiver. Färdiga LLM:er är kraftfulla, men saknar djup kunskap om hur man följer affärslogik, varumärkesriktlinjer och säkerhetsprinciper. Denna skräddarsydda upplevelse kan bara uppnås genom att noggrant designa och testa ett system av prompts, LLM:er, skyddsräcken, verktyg och andra byggstenar för att styra generativ AI att följa företagsregler.

Separationens kraft: Varför arkitektur är viktigt

När man bygger Konverserande röst-AI, kan utvecklare antingen arbeta med multimodala, röst-till-röst-modeller, eller så kan de sätta ihop komponentdelarna av ASR (transkription), LLM:er och TTS. För företag med specifika användningsområden kan det senare ofta vara mer praktiskt.

"I en företagsmiljö räcker det ofta inte med bara LLM:er för AI", förklarar Felix Su, Head of Engineering för Scales GenAI Platform. "Ett komplext system måste utformas för att följa affärslogik, behålla varumärket och fungera inom tydliga ramar. De här beteendena är unika för varje företag, så det är mer praktiskt att bygga systemen ovanpå LLM:er istället för att bara lita på deras inbyggda beteende. Även om multimodala funktioner nyligen har byggts in direkt i modellerna, har införandet av dessa modeller i kritiska produktionsmiljöer gått långsammare än väntat. Det beror på bristande kontroll mellan genereringen och in- och utdata i deras modalitet. I fallet med TIME AI kunde vi med STT och TTS både styra indata till textbaserade LLM:er och skydda utdata från vårt system med egna skyddsräcken. Den här metoden är ofta mer praktisk än att använda multimodala LLM:er direkt."

När man byggde TIME AI-upplevelsen indexerade Scale TIMEs artikelkorpus till kunskapsbaser för efterfrågestyrd hämtning, kodade affärslogik i en serie systemprompts och skyddade GenAI-utgångar mot hallucinationer och brott mot både säkerhet och varumärkesriktlinjer. Ovanpå detta system levandegjorde de upplevelsen med en röst från ElevenLabs Conversational AI-orkestreringsplattform.

TIMEs Årets Person-upplevelse: Där rösten gör skillnad

Den senaste lanseringen av TIME AI låter läsare delta i naturliga samtal om TIMEs journalistik, inklusive deras ikoniska Årets Person-bevakning. Det som skiljer denna implementation från otaliga andra chatbots är inte bara dess kunskap—det är rösten.

"Att använda rösten gav verkligen en trevlig, slagkraftig känsla," reflekterar Su. "Utan den försvinner det i mängden som bara en annan chatbot. Vi ville att agenten skulle kännas som en levande läspartner, tillgänglig för spontana samtalsdjupdykningar." Implementationen kombinerar Scale AIs expertis inom AI-utveckling med ElevenLabs' Conversational AI-plattform, och skapar en upplevelse som känns anmärkningsvärt mänsklig samtidigt som den bibehåller strikt kontroll över innehåll och varumärkesröst.

Bygga företagsklara system

För företag som vill implementera conversational AI i stor skala erbjuder samarbetet med Scale AI och ElevenLabs en beprövad väg. Scale AI har djup expertis i att bygga kontrollerade, säkra multimodala AI-system med robusta skyddsräcken, medan ElevenLabs tillhandahåller förstklassig röstteknologi som kan integreras sömlöst i dessa system.

Medan TIMEs implementation fokuserar på journalistik, kan samma arkitektur tillämpas på olika företagsanvändningsfall, särskilt inom kundservice och support. Kunder tröttnar på grundläggande chatbots eftersom de kräver mer engagerande, mänskliga interaktioner.

Tack till Felix för att ha bidragit till detta inlägg. Du kan hitta Felix Su på LinkedIn & X, och du kan uppleva deras Årets Person 2024deras Person of the Year 2024, samt Person of the Year för 2021, 2022 och

Utvecklare kan komma igång med Conversational AI med våra dokument och företag som vill använda pålitliga Conversational Röstagent-lösningar i produktion kan kontakta vårt Enterprise-team på ElevenLabs och