Hoppa till navigering

Förslag och validering

Så testas, granskas och rullas ändringar från ElevenAgents Architect ut till live-trafik.

Översikt

När ElevenAgents Architect har slutfört en ändring lämnar den över den till dig som ett förslag: en gren som innehåller ändringen, tester som visar att den fungerar och ett sammanslagningsförslag som begär att grenen ska slås samman med main. På den här sidan förklaras hur varje del fungerar, var du hittar den och hur ett förslag går från en konversation till live-trafik.

Vad ett förslag är

Ett förslag bygger på den befintliga modellen för versionshantering:

DelVad det är
GrenEn gren som Architect skapade för ändringen, så att main och live-anropare inte påverkas medan du arbetar.
UtkastArchitects ändringar, förberedda i ditt opublicerade utkast på den grenen.
VersionNär du publicerar utkastet blir det en ny version på grenen.
TesterTesterna som Architect skrev för ändringen, kopplade till agenten och körda mot grenen.
SammanslagningsförslagEn begäran om att slå samman grenen med main (eller en annan gren du väljer), med en beskrivning av ändringen, testerna som kördes och vad granskare bör kontrollera.

Sammanslagningsförslaget är ett vanligt sammanslagningsförslag i ElevenAgents, av samma slag som en teammedlem öppnar manuellt. Det är inte en separat objekttyp.

Ett sammanslagningsförslag omfattar exakt en källgren och en målgren, så ett förslag innehåller en kandidatlösning. För att jämföra alternativ ber du Architect att lägga varje alternativ på en egen gren. Varje gren får då ett eget förslag, och du kan dela trafiken mellan dem som ett experiment.

Architect agerar som du, så ett sammanslagningsförslag som den öppnar registreras under ditt namn som författare. Inget fält registrerar att Architect skapade det. Nämn det i förslagsbeskrivningen om ditt team vill veta det.

Så skapas ett förslag

Architect skapar ett förslag när du ber den att åtgärda eller förbättra något, eller när du ger den ett misslyckat test, ett Spotlight-resultat eller ett ärende. Hela sekvensen, med verktygen Architect anropar i varje steg, finns i det genomgångna exemplet. Kort sagt:

  1. Architect undersöker, skapar en gren och förbereder ändringen i ditt utkast på den grenen.
  2. Architect skriver tester och simuleringar för ändringen och kör dem i konversationen innan resultatet visas för dig.
  3. Architect öppnar publiceringsdialogen. Du granskar diffen och väljer Publicera, vilket sparar ändringen som en ny version på grenen.
  4. Architect öppnar ett sammanslagningsförslag till main och skriver beskrivningen utifrån grenens faktiska commits och testkörningar.
  5. Architect erbjuder sig att skicka en liten andel av live-trafiken till grenen medan förslaget granskas. Det kräver ditt godkännande.

Du kan avbryta i vilket steg som helst. En gren med en publicerad version men utan sammanslagningsförslag är fortfarande användbar: du kan testa den själv eller öppna ett förslag senare.

Validering i konversationen

Architect skriver och kör tester som en del av ändringen, inte som ett separat steg som du startar efteråt. För en åtgärd är ett användbart mönster att visa att de nya testerna misslyckas utan ändringen och godkänns med den. Architect kan köra samma tester mot den ursprungliga grenen och mot utkastet som innehåller ändringen.

Architect kör inte denna före- och efterkontroll automatiskt för varje ändring. Be om den när den är viktig, till exempel: “Visa mig den nya simuleringen som misslyckas på main och godkänns på grenen, och öppna sedan ett förslag.”

Ett test godkänns när alla villkor för godkänt uppfylls. För ett LLM-test uppfyller agentens svar kriterierna för godkänt. För ett verktygsanropstest anropas det förväntade verktyget med de förväntade parametrarna. För en simulering uppfyller den simulerade konversationen sina villkor för godkänt. För att kontrollera instabila resultat kan du be Architect att köra tester flera gånger. Den kan upprepa varje test upp till 50 gånger och rapportera godkännandefrekvensen.

Se Testning för hur varje testtyp definieras.

Var du hittar förslag

Öppna agenten och gå sedan till Versionshantering > Förslag. Listan kan filtreras efter status, författare (Skapad av) och granskare (Väntar på granskning från, Granskad av). Ett förslag som Architect öppnade i din konversation visas med dig som författare.

Architect returnerar också en länk till förslaget i konversationen så snart den har skapat det.

Förslagslista på sidan Grenar

Fliken Förslag på en agents sida för grenar

Ett förslags delar

Ett förslags sida visar käll- och målgrenarna, dess status, om det kan slås samman och hur långt efter eller före målgrenen källgrenen ligger. Den har dessa flikar:

Beskrivningen, en aktivitetstidslinje med commits på källgrenen, granskningar och kommentarer samt ett kommentarsfält. Sidofältet visar granskare, rekommenderade granskare och eventuella länkade ärenden.

En beskrivning som Architect skriver har alltid tre avsnitt: Sammanfattning (varje betydande ändring och varför), Testning (vilka tester som kördes och deras resultat, eller ett påstående om att inga kördes) och Så granskar du (vad du ska fokusera på och ett test att köra eller en konversation att prova).

Fliken Översikt för ett sammanslagningsförslag

Fliken Översikt för ett förslag, med beskrivning, granskare och länkat ärende

Granska och slå samman

Statusar

Ett sammanslagningsförslag har en av dessa statusar:

StatusBetydelse
ÖppenVäntar på granskning eller sammanslagning.
SammanfogadGrenen slogs samman med målet.
StängdDrogs tillbaka av författaren, avvisades av någon annan eller stängdes eftersom grenen arkiverades. Stängda förslag kan inte öppnas igen.

Medan ett förslag är öppet är varje granskares senaste granskning antingen Godkänd eller Ändringar begärda. Det finns inga separata statusar för “testad” eller “redo för granskning”. Testresultat visas i stället på fliken Testkörningar.

Granskningar och kommentarer visas i aktivitetstidslinjen på fliken Översikt, tillsammans med varje ny version som sparats på källgrenen.

Aktivitetstidslinje för ett sammanslagningsförslag

Aktivitetstidslinjen med nya versioner på källgrenen och ett godkännande

Vem kan godkänna och slå samman

  • Alla med redaktörsåtkomst till agenten kan granska ett förslag, utom dess författare. Eftersom Architect agerar som du kan du inte godkänna ett förslag som Architect öppnade i din konversation. En teammedlem måste göra det.
  • Ett förslag kan slås samman när det har minst ett godkännande från någon annan än författaren och ingen granskares senaste granskning är Ändringar begärda. Workspace-administratörer kan slå samman utan ett godkännande.
  • Sammanslagning med en skyddad gren kräver administratörsbehörighet eller ett godkännande från en administratör.

Architect kan inte godkänna, kommentera, slå samman eller stänga ett sammanslagningsförslag. De stegen utförs alltid av människor. Se Sammanslagningsförslag för alla granskningsregler.

Architect kan slå samman en gren direkt, utan ett förslag, när du ber den om det och din roll tillåter sammanslagningen. I läget Godkännande krävs frågar den först. I läget Godkänn automatiskt gör den inte det. Använd grenskydd på main om varje ändring måste gå genom ett granskat förslag.

Vad som händer vid sammanslagning

Det finns inget separat publiceringssteg efter en sammanslagning. Sammanslagningen skriver en ny version på målgrenen, och den versionen hanterar live-trafik direkt för den trafikandel som målet tar emot. När målet är main och ingen trafikfördelning är inställd betyder det alla uppringare.

Sammanslagning gör också följande:

  • Flyttar den live-trafikandel som källgrenen hade till målet.
  • Arkiverar källgrenen som standard.
  • Stänger andra öppna förslag från samma gren.
  • Löser det länkade ärendet, om det finns ett.

Gradvis utrullning

Innan ett förslag slås samman kan du skicka en andel av live-trafiken till dess gren så att riktiga uppringare använder ändringen.

1

Starta fördelningen

Be till exempel Architect: “Skicka 5 % av trafiken till den här grenen.” Architect visar den fullständiga resulterande fördelningen, inklusive main:s andel, och ber om godkännande innan den tillämpas. Du kan också ställa in den själv: i Versionshantering > Grenar väljer du Distribuera på grenen.

2

Följ resultaten

Öppna förslagets flik Konversationer för att läsa konversationer på grenen, eller be Architect att jämföra grenens resultat med main:s.

3

Främja eller återställ

För att främja slår du samman förslaget. Grenens trafikandel flyttas till main med den. För att återställa ber du Architect att ställa in grenens andel till 0 %, eller redigerar distributionen själv. Live- trafiken återgår omedelbart till main.

Trafikandelar måste alltid bli totalt 100 %, och routning är deterministisk per konversation. Att ändra andelen för en skyddad gren, inklusive att ta trafik från ett skyddat main, kräver en administratör. Se Trafikdistribution.

Proaktiva förslag

Architect tar fram förslag när du ber den om det, eller när du ger den ett misslyckat test, ett Spotlight- resultat, en avisering eller ett ärende. Den skannar ännu inte dina agenter enligt ett schema eller öppnar förslag på egen hand.

Den proaktiva vägen i dag är Spotlight följt av en överlämning. Spotlight övervakar agentens konversationer kontinuerligt. Den skapar en veckosammanfattning med föreslagna undersökningar, ger aviseringar i realtid och rekommenderar konfigurationsändringar. Så här gör du om ett Spotlight-resultat till ett förslag:

1

Öppna Spotlight

Öppna agenten. Dess översiktssida är Spotlight.
2

Välj ett resultat

Öppna veckosammanfattningen och granska Föreslagna nästa steg, eller öppna en avisering i realtid.

3

Överlämna till ElevenAgents Architect

Välj Öppna i Architect för ett förslag, Analysera med Architect i sammanfattningen eller Undersök med Architect för en avisering. Architect får resultatet och instrueras att verifiera det mot riktiga konversationer och identifiera vilken gren som påverkas innan den föreslår en ändring.

4

Be om ett förslag

Granska Architects resultat. Om du håller med om grundorsaken ber du den att åtgärda problemet på en gren, testa åtgärden och öppna ett förslag.

Ärenden fungerar på samma sätt. Din live-agent kan flagga ärenden för granskning under konversationer, och Diskutera med Architect på ett ärende startar en undersökning av det.

Schemalagda automatiseringar, med rapporter som levereras till en Architect-inkorg, är under utveckling. Fliken Inkorg på Architect-sidan är en platshållare för dem.