Comment Interagir avec un Système d'IA Conversationnelle

Aujourd'hui, le LLM est devenu le cœur battant des systèmes d'IA conversationnelle. Plus précisément, les LLM permettent à

Les développeurs commettent souvent l'erreur de réutiliser le même manuel utilisé pour former les employés humains lorsqu'ils incitent les LLM pour l'IA conversationnelle. Cette stratégie, bien que simple en apparence, est rarement fructueuse. Les LLM font des suppositions différentes de celles des humains typiques, et leur ton et leur portée par défaut ne sont pas propices aux interactions verbales.

Aujourd'hui, nous allons découvrir comment formuler des demandes aux LLM pour construire des systèmes d'IA conversationnelle réussis. Vous pouvez également lire un guide plus complet et technique sur ce sujet dans les

L'Ancien Système

Avant les LLM, les systèmes d'IA conversationnelle utilisaient de vastes arbres logiques que les demandes traversaient en fonction des entrées verbales. Cette configuration était populaire parmi les numéros de service client (par exemple, les lignes aériennes) et les systèmes de paiement (par exemple, les services téléphoniques de carte de crédit).

Ces anciens systèmes étaient lents, semblaient robotiques et ne permettaient que des entrées humaines très limitées. Il y a de fortes chances que vous ayez vous-même vécu cela, criant brusquement “OUI” dans un téléphone pour répondre à une demande. Cette mauvaise expérience a poussé la plupart des utilisateurs à tenter de “déjouer le système” pour forcer une conversation avec un agent humain en direct.

Cependant, il y avait un avantage à ces arbres téléphoniques—ils étaient contenus. Il n'y avait que tant de chemins qu'une conversation pouvait prendre, et les développeurs pouvaient facilement mettre en place des garde-fous pour ignorer les entrées non autorisées. Cette contrainte sous-tend les avantages et les inconvénients des LLM : Ils s'étendent bien au-delà de la nature limitée des arbres téléphoniques, mais ils sont également imprévisibles, ouvrant une boîte de Pandore de pièges—comme faire des promesses impossibles, se fâcher avec les clients ou violer des données sensibles.

Les Lacunes par Défaut

Si les LLM sont simplement formés sur un manuel initialement conçu pour les humains, ils auront un succès médiocre en raison de quelques lacunes fondamentales. Comprendre ces lacunes vous aidera à concevoir des incitations pour les combler :

Inadéquation du Ton

Les LLM sont formés via l'apprentissage par renforcement, où les retours humains incitent les LLM à fournir des retours structurés. Plus précisément, les réponses des LLM ont tendance à être verbeuses et remplies de puces, de blocs d'appel et de titres.

Cependant, dans le contexte de l'IA conversationnelle, les LLM doivent émuler la nature concise et aplatie des interactions verbales.

Lacunes des Suppositions

Les LLM ont tendance à combler les inconnues avec des connaissances inférées au lieu de poser des questions. Cela peut les amener à faire des suppositions incorrectes qui induiront les utilisateurs en erreur—ou entraîneront des erreurs coûteuses (par exemple, des remboursements promis). Plus tard, nous verrons comment nous pouvons utiliser une base de connaissances et des garde-fous pour mieux ancrer les LLM afin d'éviter les promesses incorrectes et l'exécution d'actions non autorisées.

Latence

Les LLM peuvent invoquer des appels de fonction de manière programmatique, recueillant et écrivant des données au nom des humains. Bien que ce soit généralement l'un des plus grands avantages des LLM, cela signifie également que les instructions de formation précédentes, qui permettaient aux agents d'appel de “gagner du temps” tout en effectuant des tâches, ne sont plus nécessaires. Cependant, les appels de fonction ne sont pas instantanés non plus, ce qui signifie que les LLM doivent avertir précisément l'utilisateur chaque fois qu'un délai est attendu (par exemple, “donnez-moi un moment pour examiner votre cas”).

Configurations

Personnalité

Les LLM réussissent assez bien à adapter le ton pour correspondre à un style. Un LLM pourrait être configuré pour paraître amical, humoristique, concis, formel, ou une combinaison de styles. C'est un élément important lors de l'incitation d'un LLM.

Par exemple, les développeurs d'une application d'IA conversationnelle de service client conçue pour soutenir les clients mécontents des compagnies aériennes pourraient utiliser une incitation telle que :

Vous êtes un agent de service client amical qui parle en phrases concises, claires et empathiques.

• Ajoutez une section intégrant trois applications ElevenLabs

Format

Les LLM doivent recevoir des instructions explicites sur la façon de répondre. Pour s'assurer qu'ils n'incluent pas de texte supplémentaire, les LLM devraient recevoir une structure qui encapsule la réponse transmise à l'utilisateur.

Par exemple, les LLM pourraient être incités à :

Répondre exclusivement avec la chaîne qui doit être lue à haute voix à l'utilisateur

Cette structure encourage le LLM à fournir une réponse conçue pour être prononcée à haute voix.

Cependant, les LLM peuvent parfois trébucher sur des éléments qui ne diffèrent pas intuitivement du contenu écrit. Un exemple courant est les chiffres — un LLM pourrait imprimer un code postal comme 10023, ce qui amènera le

Température

La température est un paramètre critique lors de la configuration des LLM pour l'IA conversationnelle. Une température plus basse produit des réponses plus ciblées et déterministes idéales pour les conversations orientées vers les tâches, tandis que des températures plus élevées créent des réponses plus créatives et variées.

Une basse température est idéale pour les systèmes d'IA conversationnelle qui préfèrent des réponses cohérentes (par exemple, une ligne de service client pour les remboursements). Pendant ce temps, pour les systèmes qui souhaitent offrir une expérience plus engageante etréaliste aux clients (par exemple, un coach numérique), une température élevée est préférable :

Basse Température: Merci d'avoir appelé le support ElevenLabs. Comment puis-je vous aider ?

Haute Température: Salut salut ! Vous êtes chez le support ElevenLabs—prêt à résoudre vos problèmes techniques ! Qu'est-ce qui vous préoccupe ?

Bases de connaissances

Pour les systèmes d'IA conversationnelle qui puisent dans de grands réservoirs de connaissances, une base de connaissances devrait être utilisée pour minimiser la longueur de l'incitation. En production, cela se fait généralement via une base de données vectorielle (comme Pinecone ou Elasticsearch) ou le magasin de connaissances direct du fournisseur de LLM.

En général, les bases de connaissances sont essentielles pour ancrer les réponses des LLM dans des informations factuelles et approuvées. Lors de la création d'un système d'IA conversationnelle, vous devriez fournir au LLM une base de connaissances complète contenant des informations précises et à jour sur les produits, services, politiques et procédures. Cela empêche le LLM d'halluciner ou d'inventer des informations tout en encourageant des réponses cohérentes et fiables à travers les conversations.

Processus

Parce que les LLM invoquent souvent des fonctions au nom de l'utilisateur, ils doivent également savoir quelles entrées sont explicitement nécessaires. Par exemple, si le travail d'un LLM est d'aider un utilisateur à planifier un rendez-vous chez le coiffeur, il devra s'assurer qu'il dispose de :

1. Le nom de l'utilisateur
2. La date et l'heure souhaitées
3. L'adresse de l'utilisateur
4. La préférence de service de l'utilisateur

Une implémentation naïve pourrait amener le LLM à demander toutes les informations en un seul tour de conversation. Cela est parfaitement acceptable en texte, mais dans une conversation, cela peut être accablant :

Agent de Support : Pourriez-vous me fournir votre nom, votre adresse, quand vous souhaitez votre service, et quel service vous souhaitez ?

Client : Mon nom est Mathew et n'importe quel moment mercredi après-midi convient. Qu'avez-vous demandé d'autre ?

Parce que l'information est généralement recueillie de manière incrémentielle via la conversation, les LLM doivent être encouragés à obtenir ces informations de manière fragmentée. Le résultat est une expérience beaucoup plus conversationnelle :

Agent de Support : Pourriez-vous me donner votre nom ?

Client : Mon nom est Mathew Pregasen.

Agent de Support : Merci Mathew. Quand souhaitez-vous prendre rendez-vous ?

Client : N'importe quand mercredi après-midi convient.

Agent de Support : Parfait. Puis-je avoir votre adresse pour trouver l'emplacement le plus proche ?

Client : 555 West Main Street

Agent de Support : Parfait. Quel service recherchez-vous ?

Client : Je cherche une coupe de cheveux et si vous pouviez aussi faire ma barbe, ce serait génial !

Garde-fous

Permissions

Lors de la création de systèmes distribués, vous supposez que votre serveur plantera à un moment donné. De même, lors de la création de systèmes d'IA, vous devez supposer que votre LLM fera une erreur à un moment donné. Pour minimiser l'impact de cette erreur, vous devez donner à ces systèmes les permissions les plus basses nécessaires pour le travail à accomplir. Voici quelques exemples de façons de le faire :

• Définir correctement les permissions de lecture/écriture : Si le LLM n'a besoin que de lire des informations à partir d'une source de données, assurez-vous qu'il dispose d'un point de terminaison en lecture seule.
• Limiter l'accès aux points de terminaison de l'API : Si le LLM n'a besoin d'accéder qu'à certains points de terminaison, assurez-vous qu'il ne peut pas accéder à d'autres.
• Escalades avec humain dans la boucle : Si une action à haut risque doit être entreprise, envisagez un workflow avec humain dans la boucle qui nécessite une “approbation du gestionnaire” avant d'exécuter l'action.

Validation et vérification

Lors de la création de systèmes d'IA conversationnelle qui prennent des actions via l'utilisation d'outils, il est utile de construire un processus de validation et de vérification pour s'assurer que vous collectez les bonnes informations des utilisateurs. Aujourd'hui, lorsque vous parlez à un agent humain, il répétera toute information critique que vous donnez pour vérifier qu'il l'a bien entendue et que le client n'a pas mal parlé. Les LLM pourraient bénéficier d'un niveau similaire de vérification des erreurs :

Agent de Support : Parfait. Puis-je avoir votre adresse pour trouver l'emplacement le plus proche ?

Client : 555 West Main Street

Agent de Support : J'ai noté cinq cinq cinq west main street. Ai-je manqué quelque chose ?

Pour la validation, toute information reçue du client doit être vérifiée par rapport à la structure typique de cette information. Le numéro de téléphone a-t-il le bon nombre de chiffres ? L'âge donné par le client est-il dans une plage raisonnable ? Le client a-t-il fourni une adresse valide ?

Agent de Support : Quel serait un bon numéro de rappel pour vous ?

Client : 317-798-97289

Agent de Support : Je pense que j'ai peut-être mal entendu. J'ai entendu 11 chiffres. Pourriez-vous répéter cela ?

Selon votre cas d'utilisation, vous pouvez vérifier toutes les informations reçues ou seulement celles qui ont échoué à la vérification. De plus, vous pouvez décider de vérifier chaque information au fur et à mesure qu'elle arrive ou de tout vérifier à la fin.

Une pensée finale

Inciter avec succès un système d'IA conversationnelle implique de trouver le bon équilibre entre configurations et garde-fous pour générer une expérience qui émule une conversation humaine avec une efficacité accrue. Le processus n'est pas aussi trivial que d'utiliser d'anciens matériaux de formation pour inciter un LLM ; au lieu de cela, les LLM sont des outils qui nécessitent une structure et une stratégie spécialisées pour créer des résultats prévisibles et efficaces.