Zur Navigation springen

Vorschläge und Validierung

Wie die Änderungen von ElevenAgents Architect getestet, geprüft und für Live-Traffic ausgerollt werden.

Überblick

Wenn ElevenAgents Architect eine Änderung abgeschlossen hat, übergibt es sie Ihnen als Vorschlag: ein Branch mit der Änderung, Tests, die zeigen, dass sie funktioniert, und einem Merge-Vorschlag, der darum bittet, diesen Branch in main zusammenzuführen. Diese Seite erklärt, wie die einzelnen Teile funktionieren, wo Sie sie finden und wie ein Vorschlag von einer Unterhaltung in den Live-Traffic gelangt.

Was ein Vorschlag ist

Ein Vorschlag basiert auf dem bestehenden Versionierungsmodell:

TeilBeschreibung
BranchEin von Architect für die Änderung erstellter Branch, damit main und Live-Nutzer während Ihrer Arbeit nicht betroffen sind.
EntwurfDie Änderungen von Architect, bereitgestellt in Ihrem unveröffentlichten Entwurf auf diesem Branch.
VersionWenn Sie den Entwurf veröffentlichen, wird er zu einer neuen Version auf dem Branch.
TestsDie von Architect für die Änderung geschriebenen Tests, die an den Agenten angehängt sind und auf dem Branch ausgeführt werden.
Merge-VorschlagEine Anfrage, den Branch in main (oder einen anderen von Ihnen gewählten Branch) zusammenzuführen, mit einer Beschreibung der Änderung, der ausgeführten Tests und der Punkte, die Reviewer prüfen sollten.

Der Merge-Vorschlag ist ein standardmäßiger ElevenAgents-Merge-Vorschlag, derselbe Typ, den ein Teammitglied manuell öffnet. Er ist kein separater Objekttyp.

Ein Merge-Vorschlag umfasst genau einen Quell-Branch und einen Ziel-Branch. Ein Vorschlag enthält also eine Kandidatenlösung. Um Alternativen zu vergleichen, bitten Sie Architect, jede auf einem eigenen Branch zu erstellen. Jeder Branch erhält dann seinen eigenen Vorschlag, und Sie können den Traffic als Experiment zwischen ihnen aufteilen.

Architect handelt in Ihrem Namen. Ein von ihm geöffneter Merge-Vorschlag wird daher mit Ihrem Namen als Autor erfasst. Es gibt kein Feld, das festhält, dass Architect ihn erstellt hat. Erwähnen Sie dies in der Beschreibung des Vorschlags, wenn Ihr Team es wissen soll.

So wird ein Vorschlag erstellt

Architect erstellt einen Vorschlag, wenn Sie es bitten, etwas zu korrigieren oder zu verbessern, oder wenn Sie ihm einen fehlgeschlagenen Test, ein Spotlight-Ergebnis oder ein Issue übergeben. Die vollständige Abfolge mit den Tools, die Architect bei jedem Schritt aufruft, finden Sie im Praxisbeispiel. Kurz gesagt:

  1. Architect untersucht das Problem, erstellt einen Branch und stellt die Änderung in Ihrem Entwurf auf diesem Branch bereit.
  2. Architect schreibt Tests und Simulationen für die Änderung und führt sie in der Unterhaltung aus, bevor es Ihnen das Ergebnis zeigt.
  3. Architect öffnet den Veröffentlichungsdialog. Sie prüfen den Diff und wählen Veröffentlichen. Dadurch wird die Änderung als neue Version auf dem Branch festgeschrieben.
  4. Architect öffnet einen Merge-Vorschlag für main und erstellt dessen Beschreibung anhand der tatsächlichen Commits und Testausführungen des Branches.
  5. Architect bietet an, während der Prüfung des Vorschlags einen kleinen Anteil des Live-Traffics an den Branch zu senden. Dafür ist Ihre Zustimmung erforderlich.

Sie können bei jedem Schritt aufhören. Ein Branch mit einer veröffentlichten Version, aber ohne Merge-Vorschlag, bleibt nützlich: Sie können ihn selbst testen oder später einen Vorschlag öffnen.

Validierung in der Unterhaltung

Architect schreibt und führt Tests beim Erstellen der Änderung aus, nicht als separaten Schritt, den Sie später starten. Bei einer Korrektur ist es sinnvoll zu zeigen, dass die neuen Tests ohne die Änderung fehlschlagen und mit ihr bestehen. Architect kann dieselben Tests für den ursprünglichen Branch und für den Entwurf ausführen, der die Änderung enthält.

Architect führt diese Vorher-Nachher-Prüfung nicht bei jeder Änderung automatisch aus. Bitten Sie darum, wenn es wichtig ist, zum Beispiel: „Zeig mir, dass die neue Simulation auf main fehlschlägt und auf dem Branch besteht, und öffne dann einen Vorschlag.“

Ein Test besteht, wenn alle Erfolgsbedingungen erfüllt sind. Bei einem LLM-Test erfüllt die Antwort des Agenten die Erfolgskriterien. Bei einem Tool-Call-Test wird das erwartete Tool mit den erwarteten Parametern aufgerufen. Bei einer Simulation erfüllt die simulierte Unterhaltung ihre Erfolgsbedingungen. Um auf instabile Ergebnisse zu prüfen, bitten Sie Architect, Tests mehrmals auszuführen. Es kann jeden Test bis zu 50-mal wiederholen und die Bestehensquote angeben.

Unter Tests erfahren Sie, wie jeder Testtyp definiert ist.

Wo Sie Vorschläge finden

Öffnen Sie den Agenten und gehen Sie dann zu Versionskontrolle > Vorschläge. Sie können die Liste nach Status, Autor (Erstellt von) und Reviewer (Wartet auf Review von, Geprüft von) filtern. Ein von Architect in Ihrer Unterhaltung geöffneter Vorschlag wird mit Ihnen als Autor aufgeführt.

Architect gibt außerdem einen Link zum Vorschlag in der Unterhaltung zurück, sobald es ihn erstellt.

Vorschlagsliste auf der Branches-Seite

Der Tab „Vorschläge“ auf der Branches-Seite eines Agenten

Aufbau eines Vorschlags

Die Seite eines Vorschlags zeigt Quell- und Ziel-Branches, seinen Status, ob er zusammengeführt werden kann und wie weit der Quell-Branch hinter oder vor dem Ziel liegt. Sie enthält diese Tabs:

Die Beschreibung, eine Aktivitätschronik der Commits auf dem Quell-Branch, Reviews und Kommentare sowie ein Kommentarfeld. Die Seitenleiste zeigt Reviewer, empfohlene Reviewer und ein verknüpftes Issue.

Eine von Architect verfasste Beschreibung enthält immer drei Abschnitte: Zusammenfassung (jede wesentliche Änderung und ihr Grund), Tests (welche Tests ausgeführt wurden und ihre Ergebnisse oder den Hinweis, dass keine ausgeführt wurden) und So prüfen Sie (worauf Sie achten sollten sowie einen auszuführenden Test oder eine auszuprobierende Unterhaltung).

Tab „Überblick“ eines Merge-Vorschlags

Der Tab „Überblick“ eines Vorschlags mit Beschreibung, Reviewern und verknüpftem Issue

Prüfen und zusammenführen

Status

Ein Merge-Vorschlag hat einen dieser Status:

StatusBedeutung
OffenWartet auf Review oder Merge.
ZusammengeführtDer Branch wurde in das Ziel zusammengeführt.
GeschlossenVom Autor zurückgezogen, von einer anderen Person abgelehnt oder geschlossen, weil der Branch archiviert wurde. Geschlossene Vorschläge können nicht wieder geöffnet werden.

Solange ein Vorschlag offen ist, lautet das letzte Review jedes Reviewers entweder Genehmigt oder Änderungen angefordert. Es gibt keine separaten Status wie „getestet“ oder „bereit für Review“. Testergebnisse werden stattdessen im Tab Testausführungen angezeigt.

Reviews und Kommentare erscheinen in der Aktivitätschronik im Tab Überblick, zusammen mit jeder neuen Version, die im Quell-Branch festgeschrieben wurde.

Aktivitätschronik eines Merge-Vorschlags

Die Aktivitätschronik mit neuen Versionen auf dem Quell-Branch und einer Genehmigung

Wer genehmigen und zusammenführen kann

  • Alle Personen mit Editorzugriff auf den Agenten können einen Vorschlag prüfen, außer dessen Autor. Da Architect in Ihrem Namen handelt, können Sie einen Vorschlag, den Architect in Ihrer Unterhaltung geöffnet hat, nicht genehmigen. Das muss ein Teammitglied übernehmen.
  • Ein Vorschlag kann zusammengeführt werden, sobald er mindestens eine Genehmigung von einer anderen Person als dem Autor hat und das letzte Review keines Reviewers Änderungen angefordert lautet. Workspace-Administratoren können ohne Genehmigung zusammenführen.
  • Das Zusammenführen in einen geschützten Branch erfordert Administratorberechtigungen oder eine Genehmigung von einem Administrator.

Architect kann einen Merge-Vorschlag nicht genehmigen, kommentieren, zusammenführen oder schließen. Diese Schritte werden immer von Personen ausgeführt. Die vollständigen Review-Regeln finden Sie unter Merge-Vorschläge.

Architect kann einen Branch auf Ihre Anfrage direkt und ohne Vorschlag zusammenführen, wenn Ihre Rolle den Merge erlaubt. Im Modus Genehmigung erforderlich fragt es zuerst. Im Modus Automatisch genehmigen tut es das nicht. Nutzen Sie Branch-Schutz für main, wenn jede Änderung einen geprüften Vorschlag durchlaufen muss.

Was beim Merge passiert

Nach einem Merge gibt es keinen separaten Veröffentlichungsschritt. Das Zusammenführen schreibt eine neue Version auf den Ziel-Branch, und diese Version verarbeitet sofort Live-Traffic für den Traffic-Anteil, den das Ziel erhält. Wenn das Ziel main ist und keine Traffic-Aufteilung festgelegt wurde, bedeutet das alle Anrufer.

Beim Zusammenführen geschieht außerdem Folgendes:

  • Jeder Live-Traffic-Anteil des Quell-Branches wird auf das Ziel verschoben.
  • Der Quell-Branch wird standardmäßig archiviert.
  • Alle anderen offenen Vorschläge desselben Branches werden geschlossen.
  • Das verknüpfte Issue wird gelöst, falls es eines gibt.

Schrittweiser Rollout

Bevor ein Vorschlag zusammengeführt wird, können Sie einen Anteil des Live-Traffics an seinen Branch senden, damit echte Anrufer die Änderung nutzen.

1

Aufteilung starten

Bitten Sie Architect zum Beispiel: „Sende 5 % des Traffics an diesen Branch.“ Architect nennt Ihnen die vollständige resultierende Aufteilung, einschließlich des Anteils von main, und bittet vor der Anwendung um Genehmigung. Sie können sie auch selbst festlegen: Wählen Sie in Versionskontrolle > Branches beim Branch Bereitstellen.

2

Ergebnisse beobachten

Öffnen Sie den Tab Unterhaltungen des Vorschlags, um Unterhaltungen auf dem Branch zu lesen, oder bitten Sie Architect, die Ergebnisse des Branches mit denen von main zu vergleichen.

3

Promoten oder zurückrollen

Zum Promoten führen Sie den Vorschlag zusammen. Der Traffic-Anteil des Branches wird dabei nach main verschoben. Zum Zurückrollen bitten Sie Architect, den Anteil des Branches auf 0 % zu setzen, oder bearbeiten Sie die Bereitstellung selbst. Live-Traffic kehrt sofort zu main zurück.

Traffic-Anteile müssen immer zusammen 100 % ergeben, und das Routing ist pro Unterhaltung deterministisch. Das Ändern des Anteils eines geschützten Branches, einschließlich des Entfernens von Traffic von einem geschützten main, erfordert einen Administrator. Siehe Traffic-Bereitstellung.

Proaktive Vorschläge

Architect erstellt Vorschläge, wenn Sie es darum bitten oder ihm einen fehlgeschlagenen Test, ein Spotlight-Ergebnis, eine Warnung oder ein Issue übergeben. Es prüft Ihre Agenten noch nicht nach einem Zeitplan und öffnet keine Vorschläge eigenständig.

Der proaktive Weg besteht heute aus Spotlight und einer anschließenden Übergabe. Spotlight überwacht die Unterhaltungen Ihres Agenten kontinuierlich. Es erstellt eine wöchentliche Zusammenfassung mit vorgeschlagenen Untersuchungen, löst Echtzeitwarnungen aus und empfiehlt Konfigurationsänderungen. So machen Sie aus einem Spotlight-Ergebnis einen Vorschlag:

1

Spotlight öffnen

Öffnen Sie den Agenten. Seine Übersichtsseite ist Spotlight.
2

Ergebnis auswählen

Öffnen Sie die wöchentliche Zusammenfassung und prüfen Sie Vorgeschlagene nächste Schritte, oder öffnen Sie eine Echtzeitwarnung.

3

An ElevenAgents Architect übergeben

Wählen Sie bei einem Vorschlag In Architect öffnen, bei der Zusammenfassung Mit Architect analysieren oder bei einer Warnung Mit Architect untersuchen. Architect erhält das Ergebnis und wird angewiesen, es anhand echter Unterhaltungen zu überprüfen und den betroffenen Branch zu ermitteln, bevor es eine Änderung vorschlägt.

4

Um einen Vorschlag bitten

Prüfen Sie die Ergebnisse von Architect. Wenn Sie der Ursachenanalyse zustimmen, bitten Sie es, das Problem auf einem Branch zu beheben, die Korrektur zu testen und einen Vorschlag zu öffnen.

Issues funktionieren genauso. Ihr Live-Agent kann während Unterhaltungen Issues zur Prüfung markieren, und Mit Architect besprechen bei einem Issue startet dessen Untersuchung.

Geplante Automatisierungen mit Berichten, die an einen Architect-Posteingang gesendet werden, befinden sich in Entwicklung. Der Tab Posteingang auf der Architect-Seite ist ein Platzhalter dafür.