Webbinar-sammanfattning: Bygg säkra AI-agenter för företag

Sammanfattning av webbinariet: Bygg säkra AI-agenter för företagsdriftsättning

Att få en AI-agent att hantera samtal är den enkla delen. Att få säkerhetsteamet, juridikteamet och kunderna att lita på den är där de flesta företagsdriftsättningar stannar av.

I det här inlägget sammanfattar vi vår livesända workshop, Bygg säkra AI-agenter för företagsdriftsättning, där vi gick igenom verktygen, ramverken och metoderna för driftsättning som får agentdriftsättningar i företag att fungera i stor skala. 

Så bygger du en säkerhetsstrategi i flera lager 

Över fyra miljoner agenter har driftsatts på ElevenAgents-plattformen. De som fungerar tillförlitligt i företagsmiljöer har en sak gemensamt: säkerheten byggdes in från början, inte efter den första incidenten.

I vår livesändning gick vi igenom de ramverk, kontroller och driftsättningsmetoder som skiljer agenter som klarar säkerhetsgranskningen från dem som inte gör det.

Olika agenter behöver i grunden olika gränser.

• En videospelskaraktär kan behöva använda uttryckligen våldsamt språk som en del av upplevelsen – men får aldrig bryta karaktären eller avslöja att den är AI.
• En receptionist inom vården behöver kunna prata om skador och medicinska sammanhang – men får aldrig ge medicinska råd.
• En supportagent för kreditkort bör inte hantera explicit innehåll alls och bör inte dela kontouppgifter med uppringare som inte har verifierats. 

Eftersom agenter är icke-deterministiska kan ingen enskild skyddsåtgärd ge fullständigt skydd mot alla tänkbara risker. Därför behöver företagsteam en strategi i flera lager – flera kontroller som samverkar för att göra säkerhetsbrister till sällsynta undantag.

Den principen låg till grund för de fyra frågor som vi strukturerade sessionen kring:

1. Hur kan jag kontrollera vad min agent säger och gör?
2. Hur kan jag kontrollera att den fungerar?
3. Hur kan jag skydda data för att uppfylla säkerhets- och efterlevnadskrav?
4. Hur kan jag skapa processer för säker driftsättning

Så kan du tänka kring kontroll av agentbeteende 

I varje agentsamtal finns det tre punkter där säkerhet måste beaktas. 

Inmatning
Användaren säger något. Angripande användare kan försöka med saker som ”ignorera alla tidigare instruktioner” eller ”låtsas att du är en annan assistent”. Du måste upptäcka och hantera manipulationsförsök innan de ens når modellen. Det förhindrar onödiga kostnader och hindrar illasinnade aktörer från att hämta information de inte borde ha.

Beslutsfattande
LLM:en avgör vad den ska säga eller göra. Här är din systemprompt den främsta kontrollpunkten – men i långa eller komplexa samtal kan LLM:er glida bort från sina instruktioner. Du behöver mekanismer som förstärker beteendet genom hela samtalet, inte bara i början. Du bör också definiera eskaleringsvägar: finns det situationer där agenten ska lämna över till en människa eller en mer specialiserad agent, och under vilka förutsättningar?

Utdata
Även med tydlig vägledning kan något slinka igenom – särskilt i långvariga samtal. Du behöver ett sista skyddsnät. Se det som en miniagent som kontrollerar huvudagentens arbete: den utvärderar svaret innan det når användaren och avgör om det ska levereras, göras om eller eskaleras. Den körs också parallellt med svarsgenereringen, med minimal extra latens.

För alla tre behöver du definiera dina avslutsstrategier i förväg: ska en överträdelse avsluta samtalet, utlösa ett nytt försök med korrigerande vägledning eller överföra ärendet till en människa? Det här beslutet formar användarupplevelsen när något går fel.

Demo 1: Konfigurera skyddsräcken i ElevenAgents

Scenario: En sälj- och supportagent för en webbplats konfigureras med flera lager av säkerhetskontroller för att förhindra manipulation, svar utanför ämnet och policyöverträdelser.

Det här visades:

• Skyddsräcke mot manipulation (inmatning) – finns på fliken Security. Den här reglagefunktionen upptäcker mönster för prompt injection – försök att åsidosätta systeminstruktioner – och avslutar samtalet innan agenten svarar. Rekommenderas för alla produktionsagenter.
• Systemprompt och Focus-skyddsräcke (beslutsfattande) – systemprompten är grundläggande. Varje viktig regel ska uttryckligen finnas där. I demon lades en instruktion till mitt i sessionen: ”Erbjud inga rabatter.” Focus-skyddsräcket, som aktiveras separat, förstärker automatiskt systemprompten genom hela samtalet – och hanterar problemet med att agenten glider från instruktionerna i längre interaktioner. Kombinationen av en stark systemprompt och aktiverad Focus är det mest effektiva sättet att hålla en agent på rätt spår.
• Skyddsräcke för innehåll (utdata) – Förkonfigurerade kategorier som omfattar svordomar, juridiska råd och politiska åsikter. Varje kategori har en justerbar tröskel för konfidens – medel är den rekommenderade utgångspunkten. Det här är reservlagret: om agenten är på väg att producera något den inte borde, fångar detta upp det före leverans.
• Anpassat skyddsräcke (utdata) – användardefinierade kontroller skrivna på naturligt språk för fall som inte täcks av förinställningarna. I demon konfigurerades ett skyddsräcke för ”inga rabatter”: ”Blockera alla svar som nämner rabatter, kampanjer eller specialpriser som agenten inte har behörighet att erbjuda.” Anpassade skyddsräcken använder ytterligare en LLM-utvärdering – vilket innebär en användningsbaserad kostnad och påverkan på latensen. Skriv kortfattade instruktioner och dela upp separata kontroller i olika skyddsräcken i stället för att kombinera dem
• Åtgärd vid överträdelse – två alternativ: avsluta samtalet eller försök igen. Vid ett nytt försök kan du ge ytterligare instruktioner som vägleder agentens nästa försök – till exempel att eskalera till en människa eller leverera ett standardmeddelande som hänvisar vidare.

Därför är det viktigt: Dessa kontroller passar inte alla. Du kan konfigurera dem på nivån för varje enskilt skyddsräcke. Den detaljnivån är det som skiljer en agent som är teoretiskt säker från en som är säkert användbar i olika företagssammanhang.

Demo 2: Simuleringstestning före lansering

Scenario: En supportagent testas mot två samtalsscenarier om rabatter för att bekräfta att den hänvisar användare till prissidan utan att erbjuda rabatter.

Det här visades: 

• Två simuleringstester definierades på fliken Tests, vart och ett med ett simulerat användarscenario, ett angivet antal samtalsvändor och tydliga kriterier för godkänt resultat
• Ett test misslyckades först eftersom systemprompten saknade specifika instruktioner för gränsfall
• De saknade instruktionerna lades till i avsnittet om skyddsräcken i systemprompten
• Agenten publicerades på nytt och båda testerna kördes igen – båda godkändes
• Detaljerad körhistorik visar exakt vilken del av ett samtal som misslyckades, inklusive verktygsanrop och agentåtgärder

Därför är det viktigt: Simuleringstestning låter team validera agentbeteende i en kontrollerad miljö innan någon riktig användare möter agenten. Den täcker både rutinmässiga och angripande scenarier. Den körs också mot hela samtalsflödet, inte bara enskilda svar. När ändringar görs kan tester köras igen direkt för att bekräfta att åtgärden fungerade.

Demo 3: Maskering av PII för känsliga driftsättningar

Scenario: En företagsagent konfigureras för att maskera personligt identifierbar information i samtalsloggar.

Det här visades:

• Reglagefunktionen Conversation History Redaction på fliken Advanced under sekretessinställningar
• En lista med specifika dataentiteter som kan aktiveras för maskering var för sig, inklusive födelsedatum, ålder och andra känsliga fält
• Möjlighet att välja alla entiteter eller bara de som är relevanta för den specifika agentens användningsfall

Därför är det viktigt: Maskering av PII ersätter inte läget utan datalagring i miljöer med höga efterlevnadskrav, som HIPAA. Däremot minskar det dataexponeringen i samtalsloggar som används för intern granskning eller kvalitetskontroll. Team kan behålla loggarna de behöver och samtidigt ta bort data de inte behöver. Funktionen är för närvarande tillgänglig för företagskunder.

Bästa praxis för säker driftsättning av företagsagenter 

1. Använd en strategi i flera lager. Ingen enskild kontroll garanterar säkert beteende. Skyddsräcken för inmatning, validering av utdata, förstärkning av promptar och testning måste samverka. Varje lager stärker de andra, och tillsammans minskar de risken för säkerhetsproblem avsevärt.
2. Anpassa skyddsräcken till sammanhanget. En vårdagent och en supportagent för detaljhandel behöver olika regler. Definiera gränser som är specifika för ditt användningsfall, inte utifrån en generell mall.
3. Börja med ett användningsfall som spelar roll. De mest framgångsrika företagsdriftsättningarna börjar inte med en pilot utan verkligt värde. De väljer något verkligt, som kundsupport, schemaläggning – och investerar i att få det rätt.
4. Testa före lansering och fortsätt sedan att testa. Använd simuleringstestning och externa verktyg för red teaming. Testa både rutinmässiga och angripande scenarier. Lägg till nya gränsfall som upptäcks i produktion i din testsvit.
5. Driftsätt stegvis. Börja med begränsad trafik. Övervaka riktiga samtal. Identifiera vad agenten har svårt med. Gör justeringar, testa igen och utöka sedan.
6. Välj körläge medvetet. Använd blocking mode för textagenter där strikt validering är viktigare än hastighet. Använd streaming mode för röstassistenter där latens är prioritet.
7. Definiera tydliga åtgärder vid överträdelser av skyddsräcken. Bestäm i förväg om en överträdelse ska avsluta samtalet, utlösa ett nytt försök eller eskalera till en människa.
8. Håll instruktionerna för anpassade skyddsräcken korta. Skyddsräcken körs parallellt. Ett långt och komplext anpassat skyddsräcke ökar latensen. Skriv kortfattade instruktioner och dela upp separata kontroller i olika skyddsräcken.
9. Förstå vad certifieringar faktiskt täcker. SOC 2 Type 2 och ISO 27001 är grundkrav. Branschspecifika standarder som HIPAA och PCI DSS riktar sig till reglerade branscher. Nyare AI-specifika certifieringar som ISO 42001 och AIUC-1 behandlar snedvridning, transparens och motståndskraft mot angrepp – och AIUC-1-certifiering kan ge tillgång till AI-specifik försäkring.
10. Bygg upp processförmågan tidigt. Den första driftsättningen tar mest tid. Team som investerar i testning och driftsättningsprocesser får betydligt snabbare iterationer för varje efterföljande agent.
    

Se hela sessionen 

Se hela webbinariet här.