Produktionsklar Conversational AI i stor skala: Med Scale AI:s Felix Su

Framgångsrik AI för företag handlar inte bara om att ha den senaste tekniken – det handlar om rätt arkitektur och kontroller byggda ovanpå AI-grunderna. Färdiga LLM:er är kraftfulla, men saknar djup kunskap om hur man följer affärslogik, varumärkesriktlinjer och säkerhetsprinciper. Den här skräddarsydda upplevelsen kan bara skapas genom att noggrant utforma och testa ett system av prompts, LLM:er, skyddsräcken, verktyg och andra byggstenar som styr generativ AI att följa företagets regler.

Kraften i uppdelning: Därför spelar arkitekturen roll

När man bygger Conversational Voice AI kan utvecklare antingen arbeta med multimodala röst-till-röst-modeller eller sätta ihop komponenterna i ASR (transkribering), LLM:er och TTS. För företag med specifika användningsfall är det senare ofta mer praktiskt.

"I ett företagssammanhang räcker AI ofta inte med enbart LLM:er", förklarar Felix Su, teknikchef för Scales GenAI Platform. "Ett komplext system måste utformas för att följa affärslogik, bevara varumärkesbilden och fungera inom strikta skyddsräcken. De här beteendena är anpassade för varje företag, så det är mer praktiskt att implementera systemen ovanpå LLM:er än att enbart förlita sig på deras latenta beteende. Även om multimodala funktioner nyligen har byggts in direkt i modeller har de tagits i bruk i kritiska produktionsfall långsammare än väntat. Det beror på bristande kontroll mellan genereringen och in- och utdata i respektive modalitet. I fallet med TIME AI gjorde användningen av STT och TTS det möjligt för oss att både kontrollera indata till textbaserade LLM:er och skydda systemets utdata med anpassade skyddsräcken. Den här tekniken är ofta mer praktisk än att använda multimodala LLM:er direkt."

När Scale byggde TIME AI-upplevelsen indexerade de TIME:s artikelarkiv i kunskapsbaser för hämtning vid behov, kodade affärslogik i en serie systemprompts och skyddade GenAI-resultat mot hallucinationer och överträdelser av både säkerhets- och varumärkesriktlinjer. Ovanpå det här systemet gav de upplevelsen liv med en röst från ElevenLabs plattform för Conversational AI-orkestrering. 

TIME:s Person of the Year-upplevelse: Där rösten gör skillnaden

Den senaste lanseringen av TIME AI låter läsare föra naturliga samtal om TIME:s journalistik, inklusive deras ikoniska bevakning av Person of the Year. Det som skiljer den här lösningen från otaliga andra chattbotar är inte bara kunskapen – det är rösten.

"Rösten gav verkligen upplevelsen extra tryck", säger Su. "Utan den försvinner den i mängden som ännu en chattbot. Vi ville att agenten skulle kännas som en levande läspartner, tillgänglig för djupgående samtal utanför manus." Lösningen kombinerar Scale AI:s expertis inom AI-utveckling med ElevenLabs plattform för Conversational AI och skapar en upplevelse som känns anmärkningsvärt mänsklig samtidigt som den behåller strikt kontroll över innehåll och varumärkesröst.

Att bygga system redo för företag

För företag som vill driftsätta Conversational AI i stor skala erbjuder samarbetet med Scale AI och ElevenLabs en beprövad väg framåt. Scale AI har djup expertis inom att bygga kontrollerade, säkra multimodala AI-system med robusta skyddsräcken, medan ElevenLabs erbjuder röstteknik i toppklass som kan integreras smidigt i dessa system.

TIME:s lösning fokuserar på journalistik, men samma arkitektur kan användas för många olika användningsfall i företag, särskilt inom kundtjänst och support. Kunder tröttnar på enkla chattbotar och efterfrågar mer engagerande, mänskliga interaktioner. 

Tack till Felix för hans bidrag till det här inlägget. Du hittar Felix Su på LinkedIn och X, och du kan uppleva röstupplevelsen i Conversational AI som han byggde med TIME på deras Person of the Year 2024, samt Person of the Year för 2021, 2022 och 2023.

Utvecklare kan komma igång med Conversational AI med hjälp av vår dokumentation, och företag som vill driftsätta pålitliga lösningar för Conversational Voice Agent i produktion kan kontakta Enterprise Solutions-teamet på ElevenLabs och Scale.