Webbinar-sammanfattning: Bygg säkra AI-agenter för företag

Sammanfattning av webbinariet: Bygg säkra AI-agenter för implementering i företag

Att få en AI-agent att hantera samtal är den enkla delen. Det är när säkerhetsteamet, juristteamet och kunderna ska lita på den som de flesta implementeringar i företag stannar av.

I det här inlägget sammanfattar vi vår liveworkshop, Bygga säkra AI-agenter för implementering i företag, där vi gick igenom verktygen, ramverken och metoderna för implementering som får företagsagenter att fungera i stor skala. 

Så bygger du en säkerhetsstrategi i flera lager 

Över fyra miljoner agenter har implementerats på ElevenAgents-plattformen. De som fungerar tillförlitligt i företagsmiljöer har en sak gemensamt: säkerheten byggdes in från början, inte efter den första incidenten.

Vår livesession gick igenom de ramverk, kontroller och metoder för implementering som skiljer agenter som godkänns i säkerhetsgranskningen från dem som inte gör det.

Olika agenter kräver i grunden olika gränser.

• En videospelskaraktär kan behöva använda uttryckligt våldsamt språk som en del av upplevelsen – men får aldrig bryta karaktären eller avslöja att den är en AI.
• En receptionist inom vården behöver kunna prata om skador och medicinska sammanhang – men får aldrig ge medicinska råd.
• En supportagent för kreditkort ska inte alls hantera explicit innehåll och får inte dela kontouppgifter med uppringare som inte har verifierats. 

Eftersom agenter är icke-deterministiska kan ingen enskild skyddsåtgärd helt skydda mot alla potentiella risker. Därför behöver företagsteam arbeta i flera lager – med flera kontroller som samverkar för att göra säkerhetsbrister till sällsynta undantag.

Den principen låg till grund för de fyra frågor som sessionen utgick från:

1. Hur kan jag styra vad min agent säger och gör?
2. Hur kan jag kontrollera att den fungerar?
3. Hur kan jag skydda data för att uppfylla krav på säkerhet och regelefterlevnad?
4. Hur kan jag bygga processer för säker implementering?

Så kan du tänka kring styrning av agentbeteende 

I varje agentsamtal finns det tre tillfällen då du måste ta hänsyn till säkerheten. 

Inmatning
Användaren säger något. Angripande användare kan försöka med saker som "ignorera alla tidigare instruktioner" eller "låtsas att du är en annan assistent". Du måste upptäcka och hantera försök till manipulation innan de når modellen. Det förhindrar onödiga kostnader och stoppar illasinnade aktörer från att hämta information de inte ska ha.

Beslutsfattande
LLM:en avgör vad den ska säga eller göra. Här är din systemprompt det främsta styrverktyget – men i långa eller komplexa samtal kan LLM:er avvika från sina instruktioner. Du behöver mekanismer som förstärker beteendet genom hela samtalet, inte bara i början. Du bör också definiera eskaleringsvägar: finns det situationer där agenten ska lämna över till en människa eller en mer specialiserad agent, och på vilka villkor?

Utdata
Även med tydlig vägledning kan något slinka igenom – särskilt i långvariga samtal. Du behöver ett sista skyddsnät. Se det som en miniagent som granskar huvudagentens arbete: den utvärderar svaret innan det når användaren och avgör om det ska levereras, göras om eller eskaleras. Den körs också parallellt med svarsgenereringen och ger minimal extra latens.

För alla tre behöver du definiera dina åtgärder i förväg: ska en överträdelse avsluta samtalet, utlösa ett nytt försök med korrigerande vägledning eller överföra ärendet till en människa? Det beslutet formar användarupplevelsen när något går fel.

Demo 1: Konfigurera skyddsräcken i ElevenAgents

Scenario: En sälj- och supportagent för en webbplats har konfigurerats med flera lager av säkerhetskontroller för att förhindra manipulation, svar utanför ämnet och policyöverträdelser.

Det här visades:

• Skyddsräcke mot manipulation (inmatning) – finns på fliken Security. Den här växeln upptäcker mönster för prompt injection – försök att åsidosätta systeminstruktioner – och avslutar samtalet innan agenten svarar. Rekommenderas för alla produktionsagenter.
• Systemprompt och Focus-skyddsräcke (beslutsfattande) – systemprompten är grundläggande. Varje viktig regel ska uttryckligen finnas där. I demon lades en instruktion till mitt under sessionen: "Erbjud inga rabatter." Focus-skyddsräcket aktiveras separat och förstärker automatiskt systemprompten genom hela samtalet. Det hanterar problemet med att agenten avviker i längre interaktioner. Kombinationen av en stark systemprompt och aktiverat Focus är det mest effektiva sättet att hålla agenten på rätt spår.
• Innehållsskyddsräcke (utdata) – förkonfigurerade kategorier för svordomar, juridiska råd och politiska åsikter. Varje kategori har en justerbar säkerhetströskel – medel är en bra utgångspunkt. Detta är reservlagret: om agenten är på väg att skapa något den inte borde, fångas det upp innan det levereras.
• Anpassat skyddsräcke (utdata) – användardefinierade kontroller skrivna på naturligt språk för fall som inte täcks av förinställningarna. I demon konfigurerades ett skyddsräcke för "inga rabatter": "Blockera alla svar som nämner rabatter, kampanjer eller specialpriser som agenten inte har behörighet att erbjuda." Anpassade skyddsräcken använder en ytterligare LLM-utvärdering, vilket innebär användningsbaserade kostnader och påverkan på latensen. Skriv kortfattade instruktioner och dela upp olika kontroller i separata skyddsräcken i stället för att kombinera dem.
• Åtgärd vid överträdelse – två alternativ: avsluta samtalet eller försök igen. Vid nytt försök kan du ge ytterligare instruktioner som vägleder agentens nästa försök – till exempel att eskalera till en människa eller ge ett standardmeddelande som hänvisar vidare.

Varför det är viktigt: Dessa kontroller passar inte alla. De kan konfigureras för varje enskilt skyddsräcke. Den detaljnivån avgör skillnaden mellan en agent som är säker i teorin och en som är säker i praktiken i olika företagssammanhang.

Demo 2: Simuleringstestning före lansering

Scenario: En supportagent testas i två rabattrelaterade samtalsscenarier för att bekräfta att den hänvisar användare till prissidan utan att erbjuda rabatter.

Det här visades: 

• Två simuleringstester definierade på fliken Tests, vart och ett med ett simulerat användarscenario, ett angivet antal samtalsomgångar och tydliga kriterier för godkänt resultat
• Ett test misslyckades först eftersom systemprompten saknade specifika instruktioner för gränsfall
• De saknade instruktionerna lades till i systempromptens avsnitt för skyddsräcken
• Agenten publicerades på nytt och båda testerna kördes igen – båda godkändes
• En detaljerad körhistorik visar exakt vilken del av ett samtal som misslyckades, inklusive verktygsanrop och agentåtgärder

Varför det är viktigt: Med simuleringstestning kan team validera agentens beteende i en kontrollerad miljö innan någon verklig användare möter agenten. Den täcker både vanliga och angripande scenarier. Den körs också mot hela samtalsflödet, inte bara enskilda svar. När ändringar görs kan testerna köras om direkt för att bekräfta att lösningen fungerar.

Demo 3: PII-redigering för känsliga implementeringar

Scenario: En företagsagent har konfigurerats för att maskera personligt identifierbar information i samtalsloggar.

Det här visades:

• Växeln Conversation History Redaction, som finns på fliken Advanced under inställningarna för Privacy
• En lista över specifika dataentiteter som kan väljas för maskering var för sig, till exempel födelsedatum, ålder och andra känsliga fält
• Möjlighet att välja alla entiteter eller endast de som är relevanta för agentens specifika användningsområde

Varför det är viktigt: PII-maskering ersätter inte läget utan datalagring i miljöer med höga regelefterlevnadskrav, som HIPAA. Däremot minskar det dataexponeringen i samtalsloggar som används för intern granskning eller kvalitetskontroll. Team kan behålla loggarna de behöver och samtidigt ta bort data de inte behöver. Funktionen är för närvarande tillgänglig för företagskunder.

Bästa praxis för säker implementering av företagsagenter 

1. Arbeta i flera lager. Ingen enskild kontroll garanterar säkert beteende. Skyddsräcken för inmatning, validering av utdata, förstärkta prompter och testning måste samverka. Varje lager stärker de andra, och tillsammans minskar de avsevärt risken för säkerhetsproblem.
2. Anpassa skyddsräckena efter sammanhanget. En vårdagent och en supportagent för detaljhandel behöver olika regler. Definiera gränserna för just ditt användningsområde, inte utifrån en generell mall.
3. Börja med ett användningsområde som är viktigt. De mest framgångsrika implementeringarna i företag börjar inte med ett pilotprojekt utan verkligt värde. De väljer något konkret, som kundsupport eller schemaläggning, och satsar på att få det rätt.
4. Testa före lansering och fortsätt sedan testa. Använd simuleringstestning och externa verktyg för red teaming. Testa både vanliga och angripande scenarier. Lägg till nya gränsfall som upptäcks i produktion i testsviten.
5. Implementera stegvis. Börja med begränsad trafik. Följ riktiga samtal. Identifiera vad agenten har svårt för. Gör justeringar, testa igen och utöka sedan.
6. Välj exekveringsläge medvetet. Använd blocking mode för textagenter där strikt validering är viktigare än hastighet. Använd streaming mode för röstagenter där latens är prioriteten.
7. Definiera tydliga åtgärder vid överträdelser av skyddsräcken. Bestäm i förväg om en överträdelse ska avsluta samtalet, utlösa ett nytt försök eller eskaleras till en människa.
8. Håll instruktionerna för anpassade skyddsräcken korta. Skyddsräcken körs parallellt. Ett långt och komplext anpassat skyddsräcke ökar latensen. Skriv kortfattade instruktioner och dela upp olika kontroller i separata skyddsräcken.
9. Förstå vad certifieringarna faktiskt omfattar. SOC 2 Type 2 och ISO 27001 är grundkrav. Branschspecifika standarder som HIPAA och PCI DSS gäller reglerade branscher. Nyare AI-specifika certifieringar som ISO 42001 och AIUC-1 omfattar partiskhet, transparens och motståndskraft mot angrepp – och AIUC-1-certifiering kan ge tillgång till AI-specifika försäkringar.
10. Bygg upp processerna tidigt. Den första implementeringen tar längst tid. Team som investerar i testning och implementeringsprocesser kan iterera betydligt snabbare för varje efterföljande agent.
    

Se hela sessionen 

Se hela webbinariet här.