Passer à la navigation

Fonctionnement d’ElevenAgents Architect

Ce qu’ElevenAgents Architect sait au début d’une conversation, comment il enquête et comment il transforme une question en une modification validée.

Vue d’ensemble

Une conversation avec ElevenAgents Architect se déroule comme une conversation ElevenAgents en temps réel, sur le même moteur que celui qui alimente les agents que vous concevez. Les outils d’Architect s’exécutent dans votre navigateur, dans le cadre de votre session connectée. Chaque outil appelle les mêmes API ElevenAgents que le Dashboard, afin que chaque lecture et écriture soit vérifiée selon vos propres autorisations. Consultez Autorisations, approbations et brouillons.

Ce qu’ElevenAgents Architect sait par défaut

Au début de chaque conversation, Architect reçoit :

  • Votre compte et votre Workspace : votre forfait, votre Workspace et votre utilisation.
  • Votre emplacement : la page et, lorsque vous êtes dans un agent, cet agent et la branche que vous avez ouverte. Dans la barre latérale, Architect reçoit également un instantané de la page, ainsi qu’une mise à jour avant chaque message si la page a changé.
  • Un résumé de l’agent : généré par ElevenLabs lorsque vous êtes dans un agent. Il couvre le nom et le propriétaire de l’agent, ses branches et leur répartition du trafic, le volume d’appels au cours des 7 derniers jours, l’état du brouillon, les agents connectés, les procédures, si des tests sont configurés et les branches que vous pouvez modifier.
  • Le contexte de l’agent : le document agents.md de l’agent, partagé avec toutes les personnes qui conçoivent l’agent. Consultez Personnaliser Architect.
  • Vos préférences : votre document personnel user.md, qui s’applique à chaque agent que vous concevez.
  • Ce que le point d’entrée a transmis : par exemple, les tests en échec, le résultat Spotlight ou le problème. Consultez Démarrer une conversation.
  • Les messages précédents de ce chat.

Architect ne démarre pas avec la configuration complète de l’agent, ses transcriptions, ses résultats de test, les données Spotlight ou vos autres chats avec Architect. Il lit ces éléments à l’aide d’outils lorsque la tâche le nécessite. Chaque conversation reste ainsi ciblée, et Architect travaille toujours à partir de données actuelles plutôt que d’une copie obsolète.

Investigations et instructions directes

Architect traite différemment deux types de demandes.

Les instructions directes indiquent le changement à effectuer, par exemple « Ajoutez une règle qui bloque les discussions sur les tarifs des concurrents » ou « Raccourcissez le premier message ». Architect lit la configuration pertinente, effectue la modification et indique ce qu’il a préparé. Dans le mode d’approbation par défaut, les modifications de la configuration de l’agent sont préparées dans un brouillon sans vous demander d’autorisation. Les actions qui affectent le trafic en direct ou les ressources partagées attendent votre approbation.

Les investigations posent une question sans indiquer de correctif, par exemple « Pourquoi les appels concernant les remboursements sont-ils transférés ? » ou « Comment améliorer la résolution des demandes de remboursement ? » Architect effectue des recherches avant de modifier quoi que ce soit :

  • Il rédige une liste de tâches pour l’investigation, qui reste visible au-dessus de la zone de saisie à mesure que les éléments sont terminés.
  • Il commence par des signaux peu coûteux, tels que le nombre de conversations, les sujets et les résultats d’évaluation, avant de lire des transcriptions individuelles.
  • Il analyse les conversations en parallèle et regroupe ses résultats par cause racine.
  • Son raisonnement est visible. Chaque étape de raisonnement se réduit sous l’intitulé Réflexion pendant Ns et peut être développée.
  • Il indique ce qu’il a trouvé, notamment le nombre de conversations qu’il a réellement lues. Il ne présente pas un échantillon comme exhaustif.

Mode Plan

Pour les changements plus importants, passez la zone de saisie en mode Plan (appuyez sur Shift+Tab pour parcourir les modes). En mode Plan, Architect effectue ses recherches avec des outils en lecture seule, rédige un plan dont vous pouvez suivre l’élaboration, puis vous demande d’Approuver le plan ou de le Rejeter. Il n’apporte aucune modification avant votre approbation. Si vous rejetez le plan en ajoutant une note, Architect le révise et vous le soumet à nouveau.

Dans l’onglet Architect en plein écran, le plan apparaît dans un panneau au-dessus de la zone de saisie. Dans la barre latérale, il apparaît sous la forme d’une carte dans le chat.

Exemple détaillé : améliorer la résolution des remboursements

Cet exemple suit une conversation unique, d’une question générale à une modification prête à être examinée. Les noms des outils sont affichés afin que vous puissiez associer chaque étape à ce qui apparaît dans la conversation. Architect choisit ses propres étapes ; une conversation réelle peut donc différer par son ordre et son niveau de détail.

La demande, envoyée depuis l’onglet Architect de l’agent :

Comment améliorer la résolution des demandes de remboursement ?

1

Planifier l’investigation

Architect rédige une liste de tâches (write_todos) : mesurer le problème, trouver les conversations de remboursement en échec, identifier les causes racines, proposer et tester un correctif.

2

Mesurer le problème

Architect lit les sujets de l’agent (get_agent_topics, get_topics_summary) afin de trouver le sujet des remboursements et son taux de réussite, puis compte et répertorie les conversations récentes sur les remboursements qui ont échoué à l’évaluation (count_conversations, list_conversations).

3

Lire les conversations

Architect recherche les demandes de remboursement dans les transcriptions (search_conversation_messages, semantic_search_conversations), puis analyse en parallèle un lot de conversations en échec (analyze_conversation_subagent). Chaque analyse indique ce que souhaitait l’utilisateur, où l’agent s’est trompé et à quel tour cela s’est produit.

4

Trouver la cause racine

Architect compare les échecs avec la configuration actuelle (get_agent_config, list_procedures, get_procedure). Il peut signaler un résultat tel que : « Dans 31 des 40 appels de remboursement en échec, l’agent a appelé lookup_order avant de demander le numéro de commande, a obtenu une erreur, puis a transféré l’appel. »

5

Apporter la modification sur une branche

Architect crée une branche (create_branch) afin d’isoler la modification de l’agent en production. Il modifie ensuite la procédure de remboursement (update_procedure) pour demander le numéro de commande avant la recherche. La modification est préparée dans votre brouillon sur cette branche. Rien n’a changé pour les appelants en production.

6

Rédiger des tests pour la modification

Architect rédige des tests qui reproduisent l’échec : une simulation d’un appelant demandant un remboursement sans fournir de numéro de commande (create_simulation_test), un test d’appel d’outil vérifiant que lookup_order n’est pas appelé en premier (create_tool_test), ainsi qu’un test généré à partir de l’une des conversations réelles en échec (generate_test_from_conversation). Architect simule les outils ayant des effets de bord dans les simulations, afin qu’aucun remboursement réel ne soit effectué.

7

Exécuter les tests avant et après

Architect exécute les tests sur l’agent sans la modification (run_tests sur la branche d’origine, ou run_agent_tests avec include_draft: false), puis sur le brouillon contenant la modification (run_agent_tests), et lit les résultats (get_test_suite_summary, get_test_suite_failures). Le résultat attendu est que les nouveaux tests échouent sans la modification et réussissent avec elle. Si les tests échouent encore, Architect lit les échecs, ajuste la modification et les exécute à nouveau.

8

Présenter la modification

Architect résume la cause racine, la modification et les résultats de test, puis ouvre la boîte de dialogue de publication (request_draft_publish). Vous examinez le diff et sélectionnez Publier, ce qui valide la modification comme nouvelle version sur la branche. Architect ne peut pas publier à votre place.

9

Ouvrir une proposition

Architect lit l’historique de la branche et l’aperçu de fusion (get_branch_history, merge_branch_preview) puis ouvre une proposition de fusion vers main (create_merge_proposal). La description comporte trois sections, Résumé, Tests et Comment examiner, rédigées à partir des validations et exécutions de tests réelles. Architect peut suggérer des relecteurs (suggest_merge_proposal_reviewers), mais vous les choisissez.

10

Proposer un déploiement progressif

Architect propose d’envoyer une faible part du trafic en direct, généralement 5 %, vers la branche pendant que la proposition est examinée (set_traffic_split). Cette action modifie le trafic en direct ; elle attend donc votre approbation.

La validation s’effectue au sein de la conversation, avant qu’il ne vous soit demandé de publier ou d’examiner quoi que ce soit. Lorsque la proposition parvient à un relecteur, les tests qui ont motivé la modification sont déjà associés à l’agent et ont été exécutés sur la branche. Consultez Propositions et validation pour savoir ce que voit le relecteur.

L’exécution des tests avant et après est une bonne pratique, mais Architect ne l’exécute pas automatiquement pour chaque modification. Pour vous assurer qu’il le fait, demandez-le directement, par exemple : « Montrez-moi les nouveaux tests qui échouent sur main et réussissent sur la branche. »

Trace de travail d’Architect

La trace de travail d’une demande, avec chaque appel d’outil effectué par Architect

Commandes à barre oblique

Saisissez / dans la zone de saisie pour afficher les commandes disponibles sur la page actuelle.

CommandeFonction
/startConfigure le contexte de cet agent (agents.md) afin qu’Architect connaisse vos objectifs.
/generateGénère un nouvel agent à partir d’une description.
/debugDébogue les conversations récentes en échec.
/testExécute les tests et résume les résultats.
/explainExplique en langage clair ce que fait cet agent.
/optimizeSuggère des améliorations du prompt et de la configuration.
/reviewExamine les performances de l’agent et identifie des améliorations.
/branchCrée une nouvelle branche pour cet agent.
/experimentCrée une branche et la déploie comme test A/B.
/rollbackExamine les modifications récentes de configuration et les annule si nécessaire.
/rememberStocke un fait pour l’agent sous forme de document de base de connaissances.
/dashboardCrée un Dashboard d’analyses personnalisé dans le chat.
/clearEfface cette conversation et repart de zéro.
/feedbackEnvoie à ElevenLabs des commentaires privés sur cette session.

La plupart des commandes ne s’appliquent que lorsque vous êtes dans un agent. /clear et /feedback ne sont pas disponibles sur la page d’accueil de l’onglet Architect.

Dashboards dans le chat

Architect peut créer un Dashboard dans la conversation afin de répondre à une question à l’aide de données, par exemple « Répartissez les transferts de cette semaine par motif et montrez-moi la tendance. » Utilisez /dashboard ou demandez-en un directement.

Architect collecte les données avec ses outils, les met en forme avec du code, puis affiche un Dashboard composé des mêmes tuiles de métriques, graphiques, listes et cartes de texte que Spotlight. Un Dashboard peut inclure :

  • Des tuiles de métriques avec une valeur principale, une évolution et un graphique sparkline.
  • Des graphiques : aires, lignes, barres, aires empilées, anneaux et listes de barres classées pour les répartitions des N principaux éléments.
  • Des listes avec des libellés de statut, des dates et des liens vers des pages dans ElevenAgents, telles que des conversations individuelles.
  • Des cartes de texte pour les résultats et les recommandations.

Dans l’onglet Architect en plein écran, les Dashboards s’affichent directement dans la conversation. Dans la barre latérale, ils s’ouvrent dans un panneau à côté du chat.

Les données du Dashboard sont conservées uniquement en mémoire dans l’onglet du navigateur où il a été créé et ne sont jamais enregistrées avec le chat. Après avoir rechargé la page, ouvert le chat dans un autre onglet ou créé plusieurs grands Dashboards, un Dashboard plus ancien affiche un message à la place de ses données. Demandez à Architect de le reconstruire. Les Dashboards sont des instantanés en lecture seule. Ils ne comportent pas de filtres et ne se mettent pas à jour en direct.

Exécuter du code

Architect peut exécuter de courts programmes Python pour compter, regrouper et comparer les données de ses outils, par exemple afin de calculer les taux de résolution par semaine sur quelques centaines de conversations. Le code s’exécute dans un environnement isolé de votre navigateur, avec uniquement la bibliothèque standard Python. Il ne dispose d’aucun accès réseau, d’aucun accès à votre compte ElevenLabs et d’une limite de temps de 20 secondes. L’exécution de code est déployée progressivement et peut ne pas être disponible dans tous les Workspaces.

Réponses volumineuses

Lorsqu’un outil renvoie plus de données que la conversation ne peut en contenir, comme une longue liste de conversations, Architect conserve la réponse complète en mémoire dans l’onglet de votre navigateur et travaille à partir d’un résumé. Il peut rechercher et lire le reste à la demande. Un avis sur l’appel d’outil indique lorsque cela se produit. Ces réponses ne sont jamais enregistrées ni importées.