Vai alla navigazione

Come funziona ElevenAgents Architect

Cosa sa ElevenAgents Architect quando inizia una conversazione, come svolge le indagini e come trasforma una domanda in una modifica convalidata.

Panoramica

Una conversazione con ElevenAgents Architect viene eseguita come conversazione ElevenAgents in tempo reale, sullo stesso motore che alimenta gli agenti che crei. Gli strumenti di Architect vengono eseguiti nel browser durante la sessione di accesso. Ogni strumento richiama le stesse API di ElevenAgents usate dalla dashboard, quindi ogni lettura e scrittura viene verificata in base alle tue autorizzazioni. Consulta Autorizzazioni, approvazioni e bozze.

Cosa sa ElevenAgents Architect per impostazione predefinita

All’inizio di ogni conversazione, Architect riceve:

  • Il tuo account e workspace: il tuo piano, workspace e utilizzo.
  • Dove ti trovi: la pagina e, quando sei all’interno di un agente, quell’agente e il branch aperto. Nella barra laterale, Architect riceve anche uno snapshot della pagina e un aggiornamento prima di ogni messaggio se la pagina è cambiata.
  • Un riepilogo dell’agente: creato da ElevenLabs quando sei all’interno di un agente. Include nome e proprietario dell’agente, i suoi branch e la relativa suddivisione del traffico, il volume di chiamate degli ultimi 7 giorni, lo stato della bozza, gli agenti collegati, le procedure, l’eventuale configurazione dei test e i branch che puoi modificare.
  • Contesto dell’agente: il documento agents.md dell’agente, condiviso con chiunque lo sviluppi. Consulta Personalizzare Architect.
  • Le tue preferenze: il tuo documento personale user.md, applicato a ogni agente che crei.
  • Ciò che è stato passato dal punto di accesso: ad esempio, i test non riusciti, il risultato di Spotlight o il problema. Consulta Avviare una conversazione.
  • I messaggi precedenti in questa chat.

Architect non inizia con la configurazione completa dell’agente, le sue trascrizioni, i risultati dei test, i dati di Spotlight o le tue altre chat con Architect. Li legge tramite gli strumenti quando sono necessari per l’attività. In questo modo ogni conversazione resta focalizzata e Architect lavora sempre su dati aggiornati, anziché su una copia obsoleta.

Indagini e istruzioni dirette

Architect gestisce in modo diverso due tipi di richieste.

Le istruzioni dirette indicano la modifica, ad esempio “Aggiungi un guardrail che blocchi le discussioni sui prezzi dei concorrenti” o “Rendi più breve il primo messaggio”. Architect legge la configurazione pertinente, apporta la modifica e segnala cosa ha preparato. Nella modalità di approvazione predefinita, le modifiche alla configurazione dell’agente vengono preparate in una bozza senza chiedere conferma. Le azioni che influiscono sul traffico live o sulle risorse condivise attendono la tua approvazione.

Le indagini pongono una domanda senza indicare una soluzione, ad esempio “Perché le chiamate sui rimborsi vengono inoltrate?” o “Come posso migliorare la risoluzione dei rimborsi?” Architect svolge ricerche prima di modificare qualsiasi elemento:

  • Scrive una lista di attività per l’indagine, che rimane visibile sopra il compositore man mano che gli elementi vengono completati.
  • Inizia da segnali poco costosi, come conteggi delle conversazioni, argomenti e risultati delle valutazioni, prima di leggere singole trascrizioni.
  • Analizza le conversazioni in parallelo e raggruppa i risultati per causa principale.
  • Il suo ragionamento è visibile. Ogni passaggio si comprime in Ragionamento per Ns e può essere espanso.
  • Riporta ciò che ha trovato, incluso il numero di conversazioni effettivamente lette. Non presenta un campione come esaustivo.

Modalità Piano

Per modifiche più ampie, passa il compositore a Piano (premi Shift+Tab per scorrere le modalità). In modalità Piano, Architect svolge ricerche con strumenti di sola lettura, scrive un piano che puoi osservare mentre lo prepara, poi ti chiede di Approva piano o Rifiuta. Non apporta modifiche finché non approvi. Se rifiuti il piano aggiungendo una nota, Architect lo rivede e te lo sottopone di nuovo.

Nella scheda Architect a schermo intero, il piano appare in un pannello sopra il compositore. Nella barra laterale, appare come scheda nella chat.

Esempio pratico: migliorare la risoluzione dei rimborsi

Questo esempio segue una singola conversazione, da una domanda generica a una modifica pronta per la revisione. Vengono mostrati i nomi degli strumenti, così puoi associare ogni passaggio a ciò che appare nella conversazione. Architect sceglie autonomamente i propri passaggi, quindi una conversazione reale può differire per ordine e dettaglio.

La richiesta, inviata dalla scheda Architect dell’agente:

Come posso migliorare la risoluzione dei rimborsi?

1

Pianifica l'indagine

Architect scrive una lista di attività (write_todos): misurare il problema, trovare le conversazioni sui rimborsi non riuscite, identificare le cause principali, proporre e testare una soluzione.

2

Misura il problema

Architect legge gli argomenti dell’agente (get_agent_topics, get_topics_summary) per trovare l’argomento dei rimborsi e la relativa percentuale di successo, poi conta ed elenca le conversazioni recenti sui rimborsi che non hanno superato la valutazione (count_conversations, list_conversations).

3

Leggi le conversazioni

Architect cerca nelle trascrizioni le richieste di rimborso (search_conversation_messages, semantic_search_conversations), quindi analizza in parallelo un batch di conversazioni non riuscite (analyze_conversation_subagent). Ogni analisi indica cosa desiderava l’utente, dove l’agente ha commesso un errore e in quale turno è accaduto.

4

Trova la causa principale

Architect confronta i fallimenti con la configurazione attuale (get_agent_config, list_procedures, get_procedure). Riporta un risultato come: “In 31 delle 40 chiamate sui rimborsi non riuscite, l’agente ha chiamato lookup_order prima di chiedere il numero dell’ordine, ha ricevuto un errore e ha inoltrato la chiamata.”

5

Apporta la modifica su un branch

Architect crea un branch (create_branch) affinché la modifica sia isolata dall’agente live. Poi modifica la procedura di rimborso (update_procedure) per chiedere il numero dell’ordine prima della ricerca. La modifica viene preparata nella tua bozza su quel branch. Non è cambiato nulla per chi chiama l’agente live.

6

Scrivi test per la modifica

Architect scrive test che riproducono il problema: una simulazione di una persona che chiede un rimborso senza fornire un numero d’ordine (create_simulation_test), un test di chiamata dello strumento che verifica che lookup_order non venga chiamato per primo (create_tool_test) e un test generato da una delle conversazioni reali non riuscite (generate_test_from_conversation). Architect simula gli strumenti che hanno effetti collaterali nelle simulazioni, quindi non vengono emessi rimborsi reali.

7

Esegui i test prima e dopo

Architect esegue i test sull’agente senza la modifica (run_tests sul branch originale, oppure run_agent_tests con include_draft: false), poi sulla bozza con la modifica (run_agent_tests) e legge i risultati (get_test_suite_summary, get_test_suite_failures). Il risultato previsto è che i nuovi test non riescano senza la modifica e vengano superati con essa. Se i test continuano a non riuscire, Architect legge gli errori, adatta la modifica e li esegue di nuovo.

8

Presenta la modifica

Architect riepiloga la causa principale, la modifica e i risultati dei test, quindi apre la finestra di pubblicazione (request_draft_publish). Esamini il diff e selezioni Pubblica, che conferma la modifica come nuova versione sul branch. Architect non può pubblicare al posto tuo.

9

Apri una proposta

Architect legge la cronologia e l’anteprima di merge del branch (get_branch_history, merge_branch_preview) e apre una proposta di merge in main (create_merge_proposal). La descrizione contiene tre sezioni, Riepilogo, Test e Come eseguire la revisione, scritte in base ai commit e alle esecuzioni dei test effettivi. Architect può suggerire revisori (suggest_merge_proposal_reviewers), ma li scegli tu.

10

Proponi un rollout graduale

Architect propone di inviare una piccola quota del traffico live, in genere il 5%, al branch mentre la proposta viene esaminata (set_traffic_split). Questo modifica il traffico live, quindi attende la tua approvazione.

La convalida avviene nella conversazione, prima che ti venga chiesto di pubblicare o rivedere qualsiasi elemento. Quando la proposta raggiunge un revisore, i test che hanno motivato la modifica sono già collegati all’agente e sono stati eseguiti sul branch. Consulta Proposte e convalida per scoprire cosa vede il revisore.

L’esecuzione dei test prima e dopo è una buona pratica, ma Architect non la esegue automaticamente per ogni modifica. Per assicurarti che lo faccia, chiedilo direttamente, ad esempio “Mostrami i nuovi test che non riescono su main e vengono superati sul branch.”

Traccia di lavoro di Architect

La traccia di lavoro per una richiesta, con ogni chiamata dello strumento effettuata da Architect

Comandi slash

Digita / nel compositore per vedere i comandi disponibili nella pagina corrente.

ComandoCosa fa
/startConfigura il contesto di questo agente (agents.md) affinché Architect conosca i tuoi obiettivi.
/generateGenera un nuovo agente da una descrizione.
/debugEsegue il debug delle recenti conversazioni non riuscite.
/testEsegue i test e riepiloga i risultati.
/explainSpiega in linguaggio semplice cosa fa questo agente.
/optimizeSuggerisce miglioramenti al prompt e alla configurazione.
/reviewEsamina le prestazioni dell’agente e individua miglioramenti.
/branchCrea un nuovo branch per questo agente.
/experimentCrea un branch e lo distribuisce come test A/B.
/rollbackEsamina le recenti modifiche alla configurazione e le annulla se necessario.
/rememberMemorizza un fatto per l’agente come documento della knowledge base.
/dashboardCrea una dashboard di analisi personalizzata nella chat.
/clearCancella questa conversazione e ricomincia.
/feedbackInvia feedback privato su questa sessione a ElevenLabs.

La maggior parte dei comandi si applica solo quando sei all’interno di un agente. /clear e /feedback non sono disponibili nella pagina iniziale della scheda Architect.

Dashboard nella chat

Architect può creare una dashboard nella conversazione per rispondere a una domanda con i dati, ad esempio “Suddividi le escalation di questa settimana per motivo e mostrami l’andamento”. Usa /dashboard o richiedine una direttamente.

Architect raccoglie i dati con i suoi strumenti, li struttura con il codice e visualizza una dashboard composta dagli stessi riquadri delle metriche, grafici, elenchi e schede di testo di Spotlight. Una dashboard può includere:

  • Riquadri delle metriche con un valore principale, variazione e sparkline.
  • Grafici: area, linea, barre, area in pila, ciambella ed elenchi di barre ordinati per le suddivisioni top-N.
  • Elenchi con etichette di stato, date e link alle pagine di ElevenAgents, come singole conversazioni.
  • Schede di testo per risultati e raccomandazioni.

Nella scheda Architect a schermo intero, le dashboard vengono visualizzate inline nella conversazione. Nella barra laterale, si aprono in un pannello accanto alla chat.

I dati della dashboard vengono conservati solo nella memoria della scheda del browser in cui è stata creata e non vengono mai salvati nella chat. Dopo aver ricaricato la pagina, aperto la chat in un’altra scheda o creato diverse dashboard di grandi dimensioni, una dashboard meno recente mostra un messaggio al posto dei dati. Chiedi ad Architect di ricrearla. Le dashboard sono snapshot di sola lettura. Non hanno filtri e non si aggiornano in tempo reale.

Esecuzione del codice

Architect può eseguire brevi programmi Python per contare, raggruppare e confrontare i dati dei suoi strumenti, ad esempio per calcolare i tassi di risoluzione per settimana su alcune centinaia di conversazioni. Il codice viene eseguito in una sandbox nel browser con la sola libreria standard Python. Non ha accesso alla rete, al tuo account ElevenLabs e ha un limite di tempo di 20 secondi. L’esecuzione del codice viene distribuita gradualmente e potrebbe non essere disponibile in ogni workspace.

Risposte di grandi dimensioni

Quando uno strumento restituisce più dati di quanti ne possano entrare nella conversazione, come un lungo elenco di conversazioni, Architect conserva la risposta completa nella memoria della scheda del browser e lavora con un riepilogo. Può cercare e leggere il resto su richiesta. Un avviso nella chiamata dello strumento indica quando ciò è avvenuto. Queste risposte non vengono mai salvate né caricate.