IA Conversationnelle Prête pour la Production à l'Échelle de l'Entreprise : Avec Felix Su de Scale AI

L'IA d'entreprise réussie ne se résume pas à avoir la dernière technologie—il s'agit d'avoir la bonne architecture et les bons contrôles basés sur des primitives IA. Les LLM disponibles sont puissants, mais manquent de connaissances approfondies sur la façon de suivre la logique commerciale, les directives de marque et les principes de sécurité. Cette expérience personnalisée ne peut être atteinte qu'en concevant et testant soigneusement un système de prompts, de LLM, de garde-fous, d'outils et d'autres éléments pour guider le comportement de l'IA générative selon les règles de l'entreprise.

La puissance de la séparation : pourquoi l'architecture est importante

Lors de la création de Conversational Voice AI, les développeurs peuvent soit travailler avec des modèles multi-modaux, voix-à-voix, soit assembler les parties composantes de ASR (transcription), LLM et TTS. Pour les entreprises avec des cas d'utilisation spécifiques, cette dernière option peut souvent être plus pratique.

"Dans un contexte d'entreprise, l'IA ne peut souvent pas se faire uniquement avec des LLM", explique Felix Su, responsable de l'ingénierie pour la plateforme GenAI de Scale. "Un système complexe doit être conçu pour suivre la logique commerciale, maintenir l'image de marque et fonctionner dans des garde-fous stricts. Ces comportements sont personnalisés pour chaque entreprise, il est donc plus pratique de mettre en œuvre ces systèmes au-dessus des LLM, plutôt que de se fier uniquement à leur comportement latent. Bien que les capacités multi-modales aient récemment été intégrées directement dans les modèles, l'adoption de ces modèles dans des cas d'utilisation critiques en production a été plus lente que prévu. Cela est dû au manque de contrôle entre la génération et les entrées et sorties dans leur modalité. Dans le cas de TIME AI, l'utilisation de STT et TTS nous a permis de contrôler les entrées des LLM basés sur le texte et de protéger les sorties de notre système à l'aide de garde-fous personnalisés. Cette technique peut souvent être plus pratique que l'utilisation directe de LLM multi-modaux."

Lors de la création de l'expérience TIME AI, Scale a indexé le corpus d'articles de TIME dans des bases de connaissances pour une récupération à la demande, encodé la logique commerciale dans une série de prompts système, et protégé les sorties de GenAI contre les hallucinations et les violations de sécurité et des directives de marque. Au-dessus de ce système, ils ont donné vie à l'expérience avec une voix de la plateforme d'orchestration Conversational AI d'ElevenLabs.

L'expérience Person of the Year de TIME : là où la voix fait la différence

Le lancement récent de TIME AI permet aux lecteurs de s'engager dans des conversations naturelles sur le journalisme de TIME, y compris leur couverture emblématique de la Person of the Year. Ce qui distingue cette implémentation de tant d'autres chatbots, ce n'est pas seulement sa connaissance—c'est la voix.

"L'utilisation de la voix a vraiment ajouté une touche percutante", réfléchit Su. "Sans elle, cela se perd dans la masse comme un autre chatbot. Nous voulions que l'agent se sente comme un partenaire de lecture en direct, disponible pour des plongées conversationnelles hors script." L'implémentation combine l'expertise de Scale AI en développement IA avec la plateforme Conversational AI d'ElevenLabs, créant une expérience qui semble remarquablement humaine tout en maintenant un contrôle strict sur le contenu et la voix de la marque.

Construire des systèmes prêts pour l'entreprise

Pour les entreprises cherchant à déployer l'IA conversationnelle à grande échelle, collaborer avec Scale AI et ElevenLabs offre une voie éprouvée. Scale AI apporte une expertise approfondie dans la construction de systèmes IA multi-modaux contrôlés et sûrs avec des garde-fous robustes, tandis qu'ElevenLabs fournit une technologie vocale de premier ordre qui peut être intégrée sans effort dans ces systèmes.

Bien que l'implémentation de TIME se concentre sur le journalisme, la même architecture peut être appliquée à divers cas d'utilisation en entreprise, notamment dans le service client et le support. Les clients se lassent des chatbots basiques car ils exigent des interactions plus engageantes et humaines.

Merci à Felix pour sa contribution à cet article. Vous pouvez trouver Felix Su sur LinkedIn & X, et vous pouvez découvrir l'expérience de voix Conversational AI qu'il a construite avec TIME sur leur Person of the Year 2024, ainsi que Person of the Year pour 2021, 2022 et 2023.

Les développeurs peuvent commencer avec Conversational AI en utilisant nos docs, et les entreprises cherchant à déployer des solutions de voix conversationnelle fiables en production peuvent contacter l'équipe des solutions d'entreprise chez ElevenLabs et Scale.