Come funziona ElevenAgents Architect
Panoramica
Una conversazione con ElevenAgents Architect viene eseguita come conversazione ElevenAgents in tempo reale, sullo stesso motore che alimenta gli agenti che crei. Gli strumenti di Architect vengono eseguiti nel tuo browser durante la sessione in cui hai effettuato l’accesso. Ogni strumento chiama le stesse API di ElevenAgents usate dalla dashboard, quindi ogni lettura e scrittura viene verificata in base alle tue autorizzazioni. Consulta Autorizzazioni, approvazioni e bozze.
Cosa sa ElevenAgents Architect per impostazione predefinita
All’inizio di ogni conversazione, Architect riceve:
- Il tuo account e workspace: il tuo piano, workspace e utilizzo.
- Dove ti trovi: la pagina e, quando sei all’interno di un agente, quell’agente e il branch che hai aperto. Nella barra laterale, Architect riceve anche un’istantanea della pagina e un aggiornamento prima di ogni messaggio se la pagina è cambiata.
- Un riepilogo dell’agente: creato da ElevenLabs quando sei all’interno di un agente. Include nome e proprietario dell’agente, i suoi branch e la relativa ripartizione del traffico, il volume di chiamate negli ultimi 7 giorni, lo stato della bozza, gli agenti connessi, le procedure, se sono configurati test e quali branch puoi modificare.
- Contesto dell’agente: il documento
agents.mddell’agente, condiviso con tutti coloro che lo sviluppano. Consulta Personalizzare Architect. - Le tue preferenze: il tuo documento personale
user.md, applicato a ogni agente che crei. - Ciò che è stato passato dal punto di accesso: ad esempio, i test non riusciti, il risultato di Spotlight o il ticket di triage. Consulta Avviare una conversazione.
- I messaggi precedenti di questa chat.
Architect non inizia con la configurazione completa dell’agente, le sue trascrizioni, i risultati dei test, i dati di Spotlight o le altre chat con Architect. Li legge tramite gli strumenti quando l’attività lo richiede. Così ogni conversazione resta focalizzata e Architect lavora sempre su dati aggiornati anziché su una copia non aggiornata.
Indagini e istruzioni dirette
Architect gestisce in modo diverso due tipi di richieste.
Le istruzioni dirette indicano la modifica, ad esempio “Aggiungi un guardrail che blocchi le discussioni sui prezzi dei concorrenti” oppure “Rendi più breve il primo messaggio”. Architect legge la configurazione pertinente, apporta la modifica e riferisce cosa ha preparato. Nella modalità di approvazione predefinita, le modifiche alla configurazione dell’agente vengono preparate in una bozza senza chiedere conferma. Le azioni che influiscono sul traffico live o sulle risorse condivise attendono la tua approvazione.
Le indagini pongono una domanda senza indicare una correzione, ad esempio “Perché le chiamate sui rimborsi vengono inoltrate a un operatore?” oppure “Come posso migliorare la risoluzione dei rimborsi?” Architect effettua ricerche prima di modificare qualsiasi cosa:
- Scrive un elenco di attività per l’indagine, che rimane visibile sopra il compositore man mano che gli elementi vengono completati.
- Inizia con segnali poco costosi, come conteggi delle conversazioni, argomenti e risultati delle valutazioni, prima di leggere singole trascrizioni.
- Analizza le conversazioni in parallelo e raggruppa ciò che trova in base alla causa principale.
- Il suo ragionamento è visibile. Ogni passaggio di ragionamento si comprime in Riflessione per Ns e può essere espanso.
- Riporta ciò che ha trovato, incluso il numero di conversazioni che ha effettivamente letto. Non presenta un campione come esaustivo.
Modalità Piano
Per modifiche più ampie, imposta il compositore su Piano (premi Shift+Tab per cambiare modalità). In modalità Piano, Architect effettua ricerche con strumenti di sola lettura, scrive un piano che puoi osservare mentre lo prepara e poi ti chiede di Approvare il piano o Rifiutare. Non apporta modifiche finché non approvi. Se rifiuti il piano con una nota, Architect lo rivede e chiede di nuovo.
Nella scheda Architect a schermo intero, il piano appare in un pannello sopra il compositore. Nella barra laterale, appare come scheda nella chat.
Esempio pratico: migliorare la risoluzione dei rimborsi
Questo esempio segue una singola conversazione, da una domanda generale a una modifica pronta per la revisione. I nomi degli strumenti sono mostrati per permetterti di associare ogni passaggio a ciò che appare nella conversazione. Architect sceglie autonomamente i passaggi, quindi una conversazione reale può differire per ordine e dettaglio.
La richiesta, inviata dalla scheda Architect dell’agente:
Come posso migliorare la risoluzione dei rimborsi?
Pianificare l'indagine
Architect scrive un elenco di attività (write_todos): misurare il problema, trovare le conversazioni
sui rimborsi non riuscite, identificare le cause principali, proporre e testare una correzione.
Misurare il problema
Architect legge gli argomenti dell’agente (get_agent_topics, get_topics_summary) per trovare l’argomento
dei rimborsi e la relativa percentuale di successo, quindi conta ed elenca le recenti conversazioni sui rimborsi
che non hanno superato la valutazione (count_conversations, list_conversations).
Leggere le conversazioni
Architect cerca nelle trascrizioni le richieste di rimborso (search_conversation_messages,
semantic_search_conversations), quindi analizza in parallelo un gruppo di conversazioni non riuscite
(analyze_conversation_subagent). Ogni analisi riporta cosa voleva l’utente, dove l’agente
ha sbagliato e il turno in cui è successo.
Trovare la causa principale
Architect confronta gli errori con la configurazione attuale (get_agent_config,
list_procedures, get_procedure). Riporta un risultato come: “In 31 delle 40 chiamate sui rimborsi non riuscite,
l’agente ha chiamato lookup_order prima di chiedere il numero dell’ordine, ha ricevuto un errore e
ha inoltrato la chiamata a un operatore.”
Apportare la modifica in un branch
Architect crea un branch (create_branch) affinché la modifica sia isolata dall’agente live. Quindi
modifica la procedura di rimborso (update_procedure) per chiedere il numero dell’ordine prima della
ricerca. La modifica viene preparata nella tua bozza su quel branch. Per i chiamanti live non cambia nulla.
Scrivere test per la modifica
Architect scrive test che catturano l’errore: una simulazione di un chiamante che chiede un rimborso
senza fornire un numero d’ordine (create_simulation_test), un test delle chiamate agli strumenti che verifica che
lookup_order non venga chiamato per primo (create_tool_test) e un test generato da una delle
conversazioni reali non riuscite (generate_test_from_conversation). Architect simula gli strumenti che hanno
effetti collaterali nelle simulazioni, quindi non vengono emessi rimborsi reali.
Eseguire i test prima e dopo
Architect esegue i test sull’agente senza la modifica (run_tests sul branch originale,
oppure run_agent_tests con include_draft: false), poi sulla bozza con la
modifica (run_agent_tests) e legge i risultati (get_test_suite_summary,
get_test_suite_failures). Il risultato previsto è che i nuovi test non riescano senza la modifica
e riescano con essa. Se i test continuano a non riuscire, Architect legge gli errori, modifica la correzione e
li esegue di nuovo.
Presentare la modifica
Architect riassume la causa principale, la modifica e i risultati dei test, quindi apre la finestra di
pubblicazione (request_draft_publish). Rivedi il diff e selezioni Pubblica, che conferma la
modifica come nuova versione sul branch. Architect non può pubblicare al posto tuo.
Aprire una proposta
Architect legge la cronologia e l’anteprima di merge del branch (get_branch_history,
merge_branch_preview) e apre una proposta di merge in main (create_merge_proposal). La
descrizione contiene tre sezioni, Riepilogo, Test e Come effettuare la revisione, scritte in base
ai commit e alle esecuzioni dei test effettivi. Architect può suggerire revisori
(suggest_merge_proposal_reviewers), ma li scegli tu.
La convalida avviene all’interno della conversazione, prima che ti venga chiesto di pubblicare o revisionare qualcosa. Quando la proposta arriva a un revisore, i test che hanno motivato la modifica sono già collegati all’agente e sono stati eseguiti sul branch. Consulta Proposte e convalida per sapere cosa vede il revisore.
L’esecuzione dei test prima e dopo è una buona pratica, ma Architect non la esegue automaticamente per ogni modifica. Per assicurarti che lo faccia, chiedilo direttamente, ad esempio “Mostrami i nuovi test che non riescono su main e riescono sul branch.”
Comandi slash
Digita / nel compositore per vedere i comandi disponibili nella pagina corrente.
La maggior parte dei comandi si applica soltanto quando sei all’interno di un agente. /clear e /feedback non sono disponibili nella home page della scheda Architect.
Dashboard nella chat
Architect può creare una dashboard nella conversazione per rispondere a una domanda con dati, ad esempio “Suddividi le escalation di questa settimana per motivo e mostrami l’andamento”. Usa /dashboard o chiedine direttamente una.
Architect raccoglie i dati con i suoi strumenti, li elabora con il codice e visualizza una dashboard composta dalle stesse tessere metriche, grafici, elenchi e schede di testo di Spotlight. Una dashboard può includere:
- Tessere metriche con valore principale, variazione e sparkline.
- Grafici: area, linea, barre, area in pila, ciambella ed elenchi di barre ordinate per ripartizioni top-N.
- Elenchi con etichette di stato, date e link a pagine di ElevenAgents, come singole conversazioni.
- Schede di testo per risultati e raccomandazioni.
Nella scheda Architect a schermo intero, le dashboard vengono visualizzate inline nella conversazione. Nella barra laterale, si aprono in un pannello accanto alla chat.
I dati della dashboard vengono conservati soltanto nella memoria della scheda del browser in cui è stata creata e non vengono mai salvati con la chat. Dopo aver ricaricato la pagina, aperto la chat in un’altra scheda o creato diverse dashboard di grandi dimensioni, una dashboard meno recente mostra un messaggio al posto dei dati. Chiedi ad Architect di ricrearla. Le dashboard sono istantanee di sola lettura. Non hanno filtri e non si aggiornano in tempo reale.
Esecuzione del codice
Architect può eseguire brevi programmi Python per contare, raggruppare e confrontare i dati dei suoi strumenti, ad esempio per calcolare i tassi di risoluzione settimanali su alcune centinaia di conversazioni. Il codice viene eseguito in una sandbox nel tuo browser usando soltanto la libreria standard di Python. Non ha accesso alla rete, al tuo account ElevenLabs e ha un limite di tempo di 20 secondi. L’esecuzione del codice viene distribuita gradualmente e potrebbe non essere disponibile in ogni workspace.
Risposte di grandi dimensioni
Quando uno strumento restituisce più dati di quanti ne entrino nella conversazione, ad esempio un lungo elenco di conversazioni, Architect conserva la risposta completa nella memoria della scheda del browser e lavora con un riepilogo. Può cercare e leggere il resto su richiesta. Un avviso nella chiamata allo strumento indica quando ciò accade. Queste risposte non vengono mai salvate né caricate.