IA Conversazionale pronta per la produzione su scala enterprise: con Felix Su di Scale AI

Un'IA aziendale efficace non significa solo disporre della tecnologia più recente: richiede l'architettura e i controlli giusti, costruiti sulle componenti fondamentali dell'IA. Gli LLM preconfigurati sono potenti, ma non conoscono a fondo la logica aziendale, le linee guida del brand e i principi di sicurezza da seguire. Per creare questa esperienza su misura, devi progettare e testare con cura un sistema di prompt, LLM, guardrail, strumenti e altri elementi che guidino il comportamento dell'IA generativa nel rispetto delle regole aziendali.

Il valore della separazione: perché l'architettura conta

Quando creano IA vocale conversazionale, gli sviluppatori possono lavorare con modelli multimodali voice-to-voice oppure combinare i componenti di ASR (trascrizione), LLM e TTS. Per le aziende con casi d'uso specifici, quest'ultimo approccio può spesso essere più pratico.

"In un contesto aziendale, spesso non è possibile realizzare l'IA usando soltanto gli LLM", spiega Felix Su, Head of Engineering della piattaforma GenAI di Scale. "Un sistema complesso deve essere progettato per seguire la logica aziendale, mantenere l'immagine del brand e operare entro guardrail rigorosi. Questi comportamenti sono personalizzati per ogni azienda, quindi è più pratico implementare tali sistemi sugli LLM anziché affidarsi esclusivamente al loro comportamento latente. Sebbene le capacità multimodali siano state recentemente integrate direttamente nei modelli, l'adozione di questi modelli in casi d'uso di produzione critici è stata più lenta del previsto. Ciò è dovuto alla mancanza di controllo tra la generazione e gli input e output nelle rispettive modalità. Nel caso di TIME AI, l'uso di STT e TTS ci ha permesso sia di controllare gli input degli LLM basati sul testo sia di proteggere gli output del nostro sistema con guardrail personalizzati. Questa tecnica può spesso essere più pratica dell'uso diretto di LLM multimodali."

Nella creazione dell'esperienza TIME AI, Scale ha indicizzato il corpus di articoli di TIME in knowledge base per il recupero on demand, ha codificato la logica aziendale in una serie di system prompt e ha protetto gli output di GenAI da allucinazioni e violazioni delle linee guida di sicurezza e del brand. Su questo sistema, ha dato vita all'esperienza con una voce della piattaforma Conversational orchestrazione IA di ElevenLabs. 

L'esperienza Person of the Year di TIME: quando la voce fa la differenza

Il recente lancio di TIME AI consente ai lettori di avere conversazioni naturali sul giornalismo di TIME, inclusa la sua iconica copertura del Person of the Year. Ciò che distingue questa implementazione da innumerevoli altri chatbot non è soltanto la sua conoscenza: è la voce.

"L'uso della voce ha dato davvero un bel ritmo e impatto all'esperienza", osserva Su. "Senza, si perde tra tanti altri chatbot. Volevamo che l'agente sembrasse un compagno di lettura in tempo reale, disponibile per approfondimenti conversazionali fuori copione." L'implementazione combina l'esperienza di Scale AI nello sviluppo di IA con la piattaforma Conversational AI di ElevenLabs, creando un'esperienza straordinariamente umana e mantenendo al contempo un controllo rigoroso sui contenuti e sulla voce del brand.

Creare sistemi pronti per le aziende

Per le aziende che vogliono implementare l'IA conversazionale su larga scala, collaborare con Scale AI ed ElevenLabs offre un percorso collaudato. Scale AI mette a disposizione una profonda esperienza nella creazione di sistemi di IA multimodali controllati e sicuri, con guardrail solidi, mentre ElevenLabs fornisce tecnologie vocali di altissima qualità che si integrano perfettamente in questi sistemi.

Sebbene l'implementazione di TIME si concentri sul giornalismo, la stessa architettura può essere applicata a vari casi d'uso aziendali, in particolare nel servizio clienti e nel supporto. I clienti si stanno stancando dei chatbot di base e chiedono interazioni più coinvolgenti e umane. 

Ringraziamo Felix per il suo contributo a questo articolo. Puoi trovare Felix Su su LinkedIn e X, e puoi provare l'esperienza vocale di Conversational AI che ha creato con TIME sulla pagina Person of the Year 2024, nonché quelle di Person of the Year del 2021, 2022 e 2023.

Gli sviluppatori possono iniziare a usare Conversational AI con la nostra documentazione, mentre le aziende che vogliono implementare in produzione soluzioni Conversational Voice Agent affidabili possono contattare il team Enterprise solutions di ElevenLabs e Scale.