IA Conversazionale pronta per la produzione su scala enterprise: con Felix Su di Scale AI

Il successo dell’IA in ambito enterprise non dipende solo dalla tecnologia più recente, ma dall’avere la giusta architettura e i giusti controlli costruiti sopra i modelli di base. Gli LLM disponibili sul mercato sono potenti, ma non conoscono a fondo la logica aziendale, le linee guida del brand e i principi di sicurezza. Solo progettando e testando con cura un sistema fatto di prompt, LLM, sistemi di sicurezza, strumenti e altri componenti puoi guidare il comportamento dell’IA generativa secondo le regole aziendali.

Il valore della separazione: perché l’architettura è importante

Quando sviluppi Voice AI conversazionale, puoi scegliere tra modelli multimodali voice-to-voice oppure combinare tra loro componenti come ASR (trascrizione), LLM e TTS. Per le aziende con esigenze specifiche, questa seconda opzione spesso è più pratica.

«In ambito enterprise, spesso non basta usare solo gli LLM», spiega Felix Su, Head of Engineering della GenAI Platform di Scale. «Serve progettare un sistema complesso che segua la logica aziendale, rispetti l’immagine del brand e operi entro limiti ben precisi. Questi comportamenti sono personalizzati per ogni azienda, quindi è più pratico implementarli sopra gli LLM invece di affidarsi solo al loro comportamento implicito. Anche se le capacità multimodali sono state integrate direttamente nei modelli, la loro adozione in casi d’uso critici in produzione è stata più lenta del previsto. Questo perché manca il controllo tra generazione, input e output nelle diverse modalità. Nel caso di TIME AI, usare STT e TTS ci ha permesso sia di controllare gli input verso gli LLM testuali sia di proteggere gli output del sistema con sistemi di sicurezza personalizzati. Questa tecnica spesso risulta più pratica rispetto all’uso diretto di LLM multimodali.»

Per creare l’esperienza TIME AI, Scale ha indicizzato il corpus di articoli di TIME in knowledge base per il recupero on-demand, ha codificato la logica aziendale in una serie di prompt di sistema e ha protetto gli output della GenAI da allucinazioni e violazioni delle linee guida di sicurezza e brand. Sopra questo sistema, hanno dato vita all’esperienza con una voce della piattaforma di orchestrazione Conversational AI di ElevenLabs.

TIME Person of the Year: dove la voce fa la differenza

Il recente lancio di TIME AI permette ai lettori di conversare in modo naturale sul giornalismo di TIME, inclusa la celebre copertura del Person of the Year. Ciò che distingue questa implementazione da tanti altri chatbot non è solo la conoscenza, ma la voce.

«L’uso della voce ha davvero dato una marcia in più», riflette Su. «Senza, rischiava di perdersi tra i tanti chatbot. Volevamo che l’agente sembrasse un vero partner di lettura, pronto a conversazioni approfondite fuori dagli schemi.» L’implementazione unisce l’esperienza di Scale AI nello sviluppo IA con la piattaforma Conversational AI di ElevenLabs, creando un’esperienza sorprendentemente umana ma sempre sotto stretto controllo di contenuti e voce del brand.

Costruire sistemi pronti per l’enterprise

Se vuoi portare l’IA conversazionale su larga scala nella tua azienda, collaborare con Scale AI ed ElevenLabs è una strada già collaudata. Scale AI offre grande esperienza nella creazione di sistemi IA multimodali controllati e sicuri, mentre ElevenLabs mette a disposizione la migliore tecnologia vocale, facilmente integrabile in questi sistemi.

Anche se l’implementazione di TIME è focalizzata sul giornalismo, la stessa architettura si può applicare a molti altri casi d’uso enterprise, soprattutto nell’assistenza clienti e nel supporto. I clienti sono sempre meno soddisfatti dei chatbot tradizionali e cercano interazioni più coinvolgenti e simili a quelle umane.

Grazie a Felix per il contributo a questo articolo. Puoi trovare Felix Su su LinkedIn & X, e puoi provare l’esperienza vocale Conversational AI che ha realizzato con TIME su la loro pagina Persona dell'anno 2024, così come per Person of the Year del 2021, 2022 e 2023.

Gli sviluppatori possono iniziare con la Conversational AI usando la nostra documentazione, mentre le aziende che vogliono implementare soluzioni Conversational Agente vocale in produzione possono contattare il team Enterprise di ElevenLabs e Scale.