So funktioniert ElevenAgents Architect
Was ElevenAgents Architect zu Beginn eines Gesprächs weiß, wie er untersucht und wie er aus einer Frage eine validierte Änderung macht.
Überblick
Eine Unterhaltung mit ElevenAgents Architect läuft als ElevenAgents-Echtzeitunterhaltung auf derselben Engine, die auch Ihre erstellten Agenten antreibt. Die Tools von Architect laufen in Ihrem Browser innerhalb Ihrer angemeldeten Sitzung. Jedes Tool ruft dieselben ElevenAgents-APIs auf wie das Dashboard, sodass jeder Lese- und Schreibzugriff anhand Ihrer eigenen Berechtigungen geprüft wird. Siehe Berechtigungen, Freigaben und Entwürfe.
Was ElevenAgents Architect standardmäßig weiß
Zu Beginn jeder Unterhaltung erhält Architect:
- Ihr Konto und Ihren Workspace: Ihren Tarif, Workspace und Verbrauch.
- Wo Sie sich befinden: die Seite und, wenn Sie sich in einem Agenten befinden, diesen Agenten und den geöffneten Branch. In der Seitenleiste erhält Architect außerdem einen Snapshot der Seite sowie vor jeder Nachricht ein Update, falls sich die Seite geändert hat.
- Eine Agentenzusammenfassung: von ElevenLabs erstellt, wenn Sie sich in einem Agenten befinden. Sie umfasst Name und Eigentümer des Agenten, seine Branches und deren Traffic-Aufteilung, das Anrufvolumen der letzten 7 Tage, den Entwurfsstatus, verbundene Agenten, Verfahren, ob Tests konfiguriert sind und welche Branches Sie bearbeiten können.
- Agentenkontext: das
agents.md-Dokument des Agenten, das mit allen Personen geteilt wird, die den Agenten erstellen. Siehe Architect anpassen. - Ihre Präferenzen: Ihr persönliches
user.md-Dokument, das für jeden von Ihnen erstellten Agenten gilt. - Was der Einstiegspunkt übergeben hat: zum Beispiel fehlgeschlagene Tests, eine Spotlight-Erkenntnis oder ein Triage-Ticket. Siehe Eine Unterhaltung starten.
- Frühere Nachrichten in diesem Chat.
Architect startet nicht mit der vollständigen Konfiguration des Agenten, dessen Transkripten, Testergebnissen, Spotlight-Daten oder Ihren anderen Architect-Chats. Bei Bedarf liest es diese über Tools. Dadurch bleibt jede Unterhaltung fokussiert, und Architect arbeitet stets mit aktuellen Daten statt mit einer veralteten Kopie.
Untersuchungen und direkte Anweisungen
Architect behandelt zwei Arten von Anfragen unterschiedlich.
Direkte Anweisungen benennen die Änderung, zum Beispiel „Füge eine Schutzmaßnahme hinzu, die Gespräche über Preise von Wettbewerbern blockiert“ oder „Kürze die erste Nachricht.“ Architect liest die relevante Konfiguration, nimmt die Änderung vor und berichtet, was es als Entwurf bereitgestellt hat. Im Standard-Freigabemodus werden Änderungen an der Agentenkonfiguration ohne Rückfrage in einem Entwurf bereitgestellt. Aktionen, die Live-Traffic oder gemeinsam genutzte Ressourcen betreffen, warten auf Ihre Freigabe.
Untersuchungen stellen eine Frage, ohne eine Lösung zu benennen, zum Beispiel „Warum werden Erstattungsanrufe eskaliert?“ oder „Wie verbessere ich die Lösung von Erstattungsfällen?“ Architect recherchiert, bevor es etwas ändert:
- Es erstellt eine Aufgabenliste für die Untersuchung, die oberhalb des Eingabefelds sichtbar bleibt, während Aufgaben abgeschlossen werden.
- Es beginnt mit kostengünstigen Signalen wie Unterhaltungsanzahlen, Themen und Bewertungsergebnissen, bevor es einzelne Transkripte liest.
- Es analysiert Unterhaltungen parallel und gruppiert die Erkenntnisse nach Grundursache.
- Seine Überlegungen sind sichtbar. Jeder Schritt der Überlegungen wird zu Gedanke für Ns eingeklappt und kann ausgeklappt werden.
- Es berichtet, was es gefunden hat, einschließlich der Anzahl tatsächlich gelesener Unterhaltungen. Es stellt eine Stichprobe nicht als vollständig dar.
Planmodus
Wechseln Sie bei größeren Änderungen im Eingabefeld zu Plan (drücken Sie Shift+Tab, um durch die Modi zu wechseln). Im Planmodus recherchiert Architect mit schreibgeschützten Tools, erstellt einen Plan, dessen Entwurf Sie verfolgen können, und fordert Sie dann auf, den Plan zu genehmigen oder abzulehnen. Es nimmt keine Änderungen vor, bis Sie zustimmen. Wenn Sie den Plan mit einer Anmerkung ablehnen, überarbeitet Architect ihn und fragt erneut.
Im Vollbild-Tab von Architect erscheint der Plan in einem Bereich oberhalb des Eingabefelds. In der Seitenleiste erscheint er als Karte im Chat.
Praxisbeispiel: Lösungen für Erstattungsfälle verbessern
Dieses Beispiel verfolgt eine einzelne Unterhaltung von einer allgemeinen Frage bis zu einer prüfbereiten Änderung. Die Tool-Namen werden angezeigt, damit Sie jeden Schritt dem zuordnen können, was in der Unterhaltung erscheint. Architect wählt seine Schritte selbst, daher kann eine tatsächliche Unterhaltung in Reihenfolge und Detailgrad abweichen.
Die Anfrage, gesendet über den Architect-Tab des Agenten:
Wie verbessere ich die Lösung von Erstattungsfällen?
Untersuchung planen
Architect erstellt eine Aufgabenliste (write_todos): Problem messen, fehlgeschlagene
Erstattungsunterhaltungen finden, Grundursachen identifizieren, eine Lösung vorschlagen und testen.
Problem messen
Architect liest die Themen des Agenten (get_agent_topics, get_topics_summary), um das Erstattungsthema
und dessen Erfolgsrate zu finden. Anschließend zählt und listet es aktuelle Erstattungsunterhaltungen mit
fehlgeschlagener Bewertung auf (count_conversations, list_conversations).
Unterhaltungen lesen
Architect durchsucht Transkripte nach Erstattungsanfragen (search_conversation_messages,
semantic_search_conversations) und analysiert dann parallel einen Batch fehlgeschlagener Unterhaltungen
(analyze_conversation_subagent). Jede Analyse berichtet, was der Nutzer wollte, wo der Agent
einen Fehler machte und in welchem Turn dies geschah.
Grundursache finden
Architect vergleicht die Fehler mit der aktuellen Konfiguration (get_agent_config,
list_procedures, get_procedure). Es meldet beispielsweise: „In 31 von 40 fehlgeschlagenen
Erstattungsanrufen rief der Agent lookup_order auf, bevor er nach der Bestellnummer fragte,
erhielt einen Fehler und eskalierte.“
Änderung in einem Branch vornehmen
Architect erstellt einen Branch (create_branch), damit die Änderung vom Live-Agenten isoliert ist. Anschließend
bearbeitet es das Erstattungsverfahren (update_procedure), damit vor der Abfrage nach der Bestellnummer gefragt wird.
Die Änderung wird in Ihrem Entwurf in diesem Branch bereitgestellt. Für Live-Anrufer hat sich nichts geändert.
Tests für die Änderung schreiben
Architect schreibt Tests, die den Fehler abbilden: eine Simulation eines Anrufers, der eine Erstattung verlangt,
ohne eine Bestellnummer anzugeben (create_simulation_test), einen Tool-Aufruf-Test, der prüft, dass
lookup_order nicht zuerst aufgerufen wird (create_tool_test), und einen aus einer der tatsächlich fehlgeschlagenen
Unterhaltungen erzeugten Test (generate_test_from_conversation). Architect mockt Tools mit Seiteneffekten in
Simulationen, sodass keine echten Erstattungen ausgeführt werden.
Tests vorher und nachher ausführen
Architect führt die Tests gegen den Agenten ohne Änderung aus (run_tests im ursprünglichen
Branch oder run_agent_tests mit include_draft: false), dann gegen den Entwurf mit der
Änderung (run_agent_tests) und liest die Ergebnisse (get_test_suite_summary,
get_test_suite_failures). Das erwartete Ergebnis ist, dass die neuen Tests ohne die Änderung
fehlschlagen und mit ihr bestehen. Falls Tests weiterhin fehlschlagen, liest Architect die Fehler,
passt die Änderung an und führt sie erneut aus.
Änderung präsentieren
Architect fasst Grundursache, Änderung und Testergebnisse zusammen und öffnet den
Veröffentlichungsdialog (request_draft_publish). Sie prüfen den Diff und wählen Veröffentlichen,
wodurch die Änderung als neue Version im Branch übernommen wird. Architect kann nicht für Sie veröffentlichen.
Vorschlag öffnen
Architect liest den Verlauf und die Merge-Vorschau des Branches (get_branch_history,
merge_branch_preview) und öffnet einen Merge-Vorschlag nach main (create_merge_proposal). Die
Beschreibung enthält die drei Abschnitte Zusammenfassung, Tests und So prüfen Sie, erstellt aus
den tatsächlichen Commits und Testläufen. Architect kann Reviewer vorschlagen
(suggest_merge_proposal_reviewers), aber Sie wählen sie aus.
Die Validierung erfolgt innerhalb der Unterhaltung, bevor Sie gebeten werden, etwas zu veröffentlichen oder zu prüfen. Wenn der Vorschlag einen Reviewer erreicht, sind die Tests, die die Änderung begründet haben, bereits am Agenten angehängt und im Branch ausgeführt worden. Unter Vorschläge und Validierung erfahren Sie, was der Reviewer sieht.
Der vorherige und nachfolgende Testlauf ist empfehlenswert, doch Architect führt ihn nicht bei jeder Änderung automatisch aus. Um sicherzustellen, dass es dies tut, fordern Sie ihn direkt an, zum Beispiel: „Zeigen Sie mir, wie die neuen Tests auf main fehlschlagen und im Branch bestehen.“
Slash-Befehle
Geben Sie / im Eingabefeld ein, um die auf der aktuellen Seite verfügbaren Befehle anzuzeigen.
Die meisten Befehle gelten nur, wenn Sie sich in einem Agenten befinden. /clear und /feedback sind auf der Startseite des Architect-Tabs nicht verfügbar.
Dashboards im Chat
Architect kann in der Unterhaltung ein Dashboard erstellen, um eine Frage mit Daten zu beantworten, zum Beispiel „Schlüsseln Sie die Eskalationen dieser Woche nach Grund auf und zeigen Sie mir den Trend.“ Verwenden Sie /dashboard oder fragen Sie direkt danach.
Architect erfasst die Daten mit seinen Tools, formt sie mit Code und rendert ein Dashboard aus denselben Kennzahlen-Kacheln, Diagrammen, Listen und Textkarten wie Spotlight. Ein Dashboard kann enthalten:
- Kennzahlen-Kacheln mit einem Hauptwert, einer Veränderung und einem Sparkline.
- Diagramme: Flächen-, Linien-, Balken-, gestapelte Flächen- und Donut-Diagramme sowie sortierte Balkenlisten für Top-N-Aufschlüsselungen.
- Listen mit Statusbezeichnungen, Daten und Links zu Seiten in ElevenAgents, etwa zu einzelnen Unterhaltungen.
- Textkarten für Erkenntnisse und Empfehlungen.
Im Vollbild-Tab von Architect werden Dashboards inline in der Unterhaltung gerendert. In der Seitenleiste öffnen sie sich in einem Bereich neben dem Chat.
Dashboard-Daten werden nur im Speicher des Browser-Tabs aufbewahrt, in dem sie erstellt wurden, und niemals mit dem Chat gespeichert. Nach dem Neuladen der Seite, dem Öffnen des Chats in einem anderen Tab oder dem Erstellen mehrerer großer Dashboards zeigt ein älteres Dashboard statt seiner Daten eine Nachricht an. Bitten Sie Architect, es neu zu erstellen. Dashboards sind schreibgeschützte Snapshots. Sie haben keine Filter und werden nicht live aktualisiert.
Code ausführen
Architect kann kurze Python-Programme ausführen, um Daten aus seinen Tools zu zählen, zu gruppieren und zu vergleichen, zum Beispiel um Lösungsraten nach Woche über einige hundert Unterhaltungen hinweg zu berechnen. Der Code wird in einer Sandbox in Ihrem Browser ausgeführt und kann nur die Python-Standardbibliothek nutzen. Er hat keinen Netzwerkzugriff, keinen Zugriff auf Ihr ElevenLabs-Konto und ein Zeitlimit von 20 Sekunden. Die Codeausführung wird schrittweise eingeführt und ist möglicherweise nicht in jedem Workspace verfügbar.
Große Antworten
Wenn ein Tool mehr Daten zurückgibt, als in die Unterhaltung passen, etwa eine lange Liste von Unterhaltungen, behält Architect die vollständige Antwort im Speicher Ihres Browser-Tabs und arbeitet mit einer Zusammenfassung. Bei Bedarf kann es den Rest durchsuchen und lesen. Ein Hinweis beim Tool-Aufruf zeigt an, wenn dies passiert ist. Diese Antworten werden nie gespeichert oder hochgeladen.