Événements du client vers le serveur

Les événements du client vers le serveur sont des messages que votre application envoie proactivement au serveur afin de fournir un contexte supplémentaire pendant les conversations. Ils vous permettent d’enrichir la conversation avec des informations pertinentes, sans interrompre son déroulement.

Vue d’ensemble

Votre application peut envoyer des informations contextuelles au serveur à tout moment de la conversation afin d’en améliorer la qualité et la pertinence. Il n’est pas nécessaire que cela réponde à un événement client reçu du serveur. Cette fonctionnalité est particulièrement utile pour partager l’état de l’interface, les actions de l’utilisateur ou d’autres données environnementales qui ne sont pas nécessairement transmises par la voix.

Types d’événements

Mises à jour contextuelles

Les mises à jour contextuelles permettent à votre application d’envoyer des informations d’arrière-plan à la conversation sans l’interrompre.

Principales caractéristiques :

• Les mises à jour sont intégrées à la conversation comme informations d’arrière-plan.
• Elles n’interrompent pas le flux de la conversation en cours.
• Elles sont utiles pour envoyer l’état de l’interface, les actions de l’utilisateur ou des données environnementales.

// Contextual update event structure
{
  "type": "contextual_update",
  "text": "User appears to be looking at pricing page"
}

// Example sending contextual updates
function sendContextUpdate(information) {
  websocket.send(
    JSON.stringify({
      type: "contextual_update",
      text: information,
    })
  );
}
// Usage examples
sendContextUpdate("Customer status: Premium tier");
sendContextUpdate("User navigated to Help section");
sendContextUpdate("Shopping cart contains 3 items");

Messages utilisateur

Les messages utilisateur vous permettent d’envoyer du texte directement à la conversation, comme si l’utilisateur l’avait prononcé. Ils sont utiles pour les interactions textuelles ou lorsque vous souhaitez injecter un texte précis dans le flux de la conversation.

Principales caractéristiques :

• Le texte est traité comme une entrée utilisateur dans la conversation.
• Ils déclenchent le même flux de réponse qu’une entrée vocale de l’utilisateur.
• Ils sont utiles pour les interfaces textuelles ou les entrées utilisateur programmatiques.

// User message event structure
{
  "type": "user_message",
  "text": "I would like to upgrade my account"
}

// Example sending user messages
function sendUserMessage(text) {
  websocket.send(
    JSON.stringify({
      type: "user_message",
      text: text,
    })
  );
}
// Usage examples
sendUserMessage("I need help with billing");
sendUserMessage("What are your pricing options?");
sendUserMessage("Cancel my subscription");

Activité utilisateur

Les événements d’activité utilisateur servent d’indicateurs pour empêcher les interruptions de l’agent.

Principales caractéristiques :

• Ils réinitialisent le minuteur de délai d’attente du tour de parole.
• Ils n’affectent ni le contenu ni le flux de la conversation.
• Ils sont utiles pour maintenir des conversations longues pendant les périodes de silence.

// User activity event structure
{
  "type": "user_activity"
}

// Example sending user activity
function sendUserActivity() {
  websocket.send(
    JSON.stringify({
      type: "user_activity",
    })
  );
}
// Usage example - send activity ping every 30 seconds
setInterval(sendUserActivity, 30000);

Bonnes pratiques

1. Mises à jour contextuelles

   • Envoyez des informations contextuelles pertinentes, mais concises.
   • Évitez de surcharger le LLM avec trop de mises à jour.
   • Privilégiez les informations qui influencent le flux de la conversation ou constituent un contexte important issu d’une activité dans une interface non accessible à l’agent vocal.

2. Messages utilisateur

   • Utilisez-les pour les entrées utilisateur textuelles lorsque l’audio n’est pas disponible ou approprié.
   • Veillez à ce que le contenu textuel soit clair et bien formaté.
   • Tenez compte du contexte de la conversation lorsque vous injectez des messages programmatiques.

3. Activité utilisateur

   • Envoyez des signaux d’activité pendant les périodes d’interaction utilisateur afin de maintenir la session.
   • Utilisez des intervalles raisonnables, par exemple 30 à 60 secondes, pour éviter un trafic réseau inutile.
   • Mettez en place une détection de l’activité basée sur l’engagement réel de l’utilisateur, comme les mouvements de souris ou la saisie.

4. Considérations de timing

   • Envoyez les mises à jour aux moments appropriés.
   • Envisagez de regrouper plusieurs mises à jour contextuelles en une seule, plutôt que d’envoyer séparément chaque petite modification.
   • Trouvez l’équilibre entre le maintien de la session et l’évitement d’une messagerie excessive.