Riepilogo webinar: Crea agenti IA sicuri per un deployment aziendale

Riepilogo del webinar: creare agenti IA sicuri per il deployment in azienda

Far gestire le conversazioni a un agente IA è la parte facile. Ottenere la fiducia del team di sicurezza, del team legale e dei clienti è il punto in cui la maggior parte dei deployment aziendali si blocca.

In questo articolo riepiloghiamo il nostro workshop dal vivo, Creare agenti IA sicuri per il deployment in azienda, in cui abbiamo illustrato gli strumenti, i framework e le pratiche di deployment che consentono agli agenti aziendali di funzionare su larga scala. 

Come creare un approccio alla sicurezza su più livelli 

Sulla piattaforma ElevenAgents sono stati distribuiti oltre quattro milioni di agenti. Quelli che offrono prestazioni affidabili in contesti aziendali hanno un tratto in comune: la sicurezza è stata integrata fin dall'inizio, non aggiunta dopo il primo incidente.

La nostra sessione dal vivo ha trattato i framework, i controlli e le pratiche di deployment che distinguono gli agenti che superano la revisione della sicurezza da quelli che non la superano.

Agenti diversi richiedono limiti fondamentalmente diversi.

• Un personaggio di un videogioco potrebbe dover usare un linguaggio esplicitamente violento come parte dell'esperienza, ma non dovrebbe mai uscire dal personaggio né rivelare di essere un'IA.
• Un addetto alla reception sanitaria deve poter parlare di infortuni e contesti medici, ma non deve mai fornire consigli medici.
• Un agente di assistenza per carte di credito non dovrebbe trattare in alcun modo contenuti espliciti né condividere i dettagli dell'account con chiamanti non verificati. 

Poiché gli agenti non sono deterministici, nessuna singola misura di protezione può tutelare completamente da tutti i potenziali rischi. Per questo i team aziendali hanno bisogno di un approccio su più livelli: più controlli che lavorano insieme per fare delle violazioni della sicurezza un'eccezione rara.

Questo principio ha guidato le quattro domande attorno a cui abbiamo organizzato la sessione:

1. Come posso controllare ciò che il mio agente dice e fa?
2. Come posso verificare che funzioni?
3. Come posso proteggere i dati per soddisfare i requisiti di sicurezza e conformità normativa?
4. Come posso creare processi per effettuare il deployment in sicurezza?

Come controllare il comportamento degli agenti 

In ogni conversazione con un agente, ci sono tre punti in cui occorre considerare la sicurezza. 

Input
L'utente dice qualcosa. Gli utenti ostili possono provare frasi come "ignora tutte le istruzioni precedenti" oppure "fingi di essere un assistente diverso". Devi rilevare e gestire i tentativi di manipolazione prima che raggiungano il modello. Questo evita costi inutili e impedisce ai malintenzionati di estrarre informazioni a cui non dovrebbero avere accesso.

Processo decisionale
L'LLM decide cosa dire o fare. Qui il system prompt rappresenta il principale punto di controllo, ma nelle conversazioni lunghe o complesse gli LLM possono discostarsi dalle istruzioni. Ti servono meccanismi che rafforzino il comportamento per tutta la conversazione, non soltanto all'inizio. Dovresti anche definire i percorsi di escalation: ci sono situazioni in cui l'agente dovrebbe passare la conversazione a una persona o a un agente più specializzato, e a quali condizioni?

Output
Anche con indicazioni rigorose, qualcosa può sfuggire, soprattutto nelle conversazioni di lunga durata. Ti serve un'ultima rete di sicurezza. Pensala come un mini-agente che controlla il lavoro dell'agente principale: valuta la risposta prima che raggiunga l'utente e decide se inviarla, riprovare o effettuare l'escalation. Funziona inoltre in parallelo alla generazione della risposta, aggiungendo una latenza minima.

Per tutti e tre i punti, devi definire in anticipo le strategie di uscita: una violazione termina la conversazione, avvia un nuovo tentativo con indicazioni correttive o trasferisce la conversazione a una persona? Questa decisione determina l'esperienza utente quando qualcosa va storto.

Demo 1: configurare i guardrail in ElevenAgents

Scenario: Un agente di vendita e assistenza per un sito web è configurato con più livelli di controlli di sicurezza per prevenire manipolazioni, risposte fuori tema e violazioni delle policy.

Cosa è stato mostrato:

• Guardrail contro le manipolazioni (input) - disponibile nella scheda Sicurezza, questo interruttore rileva pattern di prompt injection, ovvero tentativi di ignorare le istruzioni di sistema, e termina la conversazione prima che l'agente risponda. È consigliato per tutti gli agenti in produzione.
• System prompt e guardrail Focus (processo decisionale) - il system prompt è fondamentale. Ogni regola importante deve essere indicata esplicitamente al suo interno. Nella demo è stata aggiunta un'istruzione a sessione iniziata: "Non offrire sconti." Il guardrail Focus, abilitato separatamente, rafforza automaticamente il system prompt durante l'intera conversazione, risolvendo il problema dello scostamento che si verifica nelle interazioni più lunghe. La combinazione di un system prompt efficace e di Focus abilitato è quella più efficace per mantenere un agente sulla giusta strada.
• Guardrail dei contenuti (output) - categorie preconfigurate che includono volgarità, consulenza legale e opinioni politiche. Ognuna ha una soglia di confidenza regolabile: il livello medio è il punto di partenza consigliato. È il livello di fallback: se l'agente sta per produrre qualcosa che non dovrebbe, lo intercetta prima dell'invio.
• Guardrail personalizzato (output) - controlli definiti dall'utente e scritti in linguaggio naturale per i casi non coperti dalle preimpostazioni. Nella demo è stato configurato un guardrail "niente sconti": "Blocca qualsiasi risposta che menzioni sconti, promozioni o prezzi speciali che l'agente non è autorizzato a offrire." I guardrail personalizzati usano una valutazione LLM aggiuntiva, quindi comportano un costo basato sull'utilizzo e una considerazione in termini di latenza. Scrivi istruzioni concise e separa i controlli distinti in guardrail diversi anziché combinarli.
• Azione in caso di violazione - due opzioni: terminare la chiamata o riprovare. In caso di nuovo tentativo, puoi fornire istruzioni aggiuntive per guidare il tentativo successivo dell'agente, ad esempio effettuando l'escalation a una persona o inviando un messaggio di reindirizzamento predefinito.

Perché è importante: Questi controlli non sono uguali per tutti. Sono configurabili a livello di singolo guardrail. Questa granularità fa la differenza tra un agente teoricamente sicuro e uno operativo in sicurezza nei diversi contesti aziendali.

Demo 2: test di simulazione prima del lancio

Scenario: Un agente di assistenza viene testato su due scenari di conversazione relativi agli sconti, per confermare che reindirizzi gli utenti alla pagina dei prezzi senza offrire sconti.

Cosa è stato mostrato: 

• Due test di simulazione definiti nella scheda Test, ciascuno con uno scenario utente simulato, un numero definito di turni di conversazione e criteri di successo espliciti
• Un test inizialmente non è riuscito perché nel system prompt mancavano istruzioni specifiche per i casi limite
• Le istruzioni mancanti sono state aggiunte alla sezione dei guardrail del system prompt
• L'agente è stato ripubblicato ed entrambi i test sono stati eseguiti di nuovo: li ha superati entrambi
• La cronologia dettagliata delle esecuzioni mostra esattamente quale parte di una conversazione non è riuscita, incluse le chiamate agli strumenti e le azioni dell'agente

Perché è importante: I test di simulazione consentono ai team di convalidare il comportamento dell'agente in un ambiente controllato prima che un utente reale lo utilizzi. Coprono sia gli scenari di routine sia quelli avversariali. Vengono inoltre eseguiti sull'intero flusso della conversazione, non soltanto sulle singole risposte. Man mano che vengono apportate modifiche, i test possono essere eseguiti nuovamente subito per confermare che la correzione abbia funzionato.

Demo 3: redazione dei PII per deployment sensibili

Scenario: Un agente aziendale è configurato per oscurare le informazioni di identificazione personale nei log delle conversazioni.

Cosa è stato mostrato:

• L'interruttore Conversation History Redaction, disponibile nella scheda Avanzate, nelle impostazioni Privacy
• Un elenco di entità di dati specifiche che possono essere selezionate singolarmente per l'oscuramento, tra cui data di nascita, età e altri campi sensibili
• L'opzione per selezionare tutte le entità o soltanto quelle pertinenti al caso d'uso dell'agente specifico

Perché è importante: La redazione dei PII non sostituisce la modalità zero retention in ambienti con requisiti di conformità elevati, come quelli soggetti a HIPAA. Riduce invece l'esposizione dei dati nei log delle conversazioni utilizzati per revisioni interne o controllo qualità. I team possono conservare i log di cui hanno bisogno, eliminando i dati che non servono. Al momento è disponibile per i clienti enterprise.

Best practice per il deployment sicuro di agenti aziendali 

1. Usa un approccio su più livelli. Nessun singolo controllo garantisce un comportamento sicuro. I guardrail di input, la convalida dell'output, il rafforzamento dei prompt e i test devono lavorare insieme. Ogni livello rafforza gli altri e, nel loro insieme, riducono significativamente il rischio di problemi di sicurezza.
2. Adatta i guardrail al contesto. Un agente sanitario e un agente di assistenza al dettaglio hanno bisogno di regole diverse. Definisci i limiti specifici per il tuo caso d'uso, non un modello generico.
3. Inizia da un caso d'uso importante. I deployment aziendali di maggior successo non iniziano con un progetto pilota di poco conto. Scelgono qualcosa di concreto, come l'assistenza clienti o la pianificazione, e investono per farlo bene.
4. Esegui i test prima del lancio, poi continua a testarli. Usa test di simulazione e strumenti esterni di red teaming. Testa sia gli scenari di routine sia quelli avversariali. Aggiungi alla suite di test i nuovi casi limite scoperti in produzione.
5. Effettua il deployment per fasi. Inizia con un traffico limitato. Monitora le conversazioni reali. Individua le difficoltà dell'agente. Apporta modifiche, ripeti i test e poi amplia il rollout.
6. Scegli deliberatamente la modalità di esecuzione. Usa la modalità blocking per gli agenti testuali, quando una convalida rigorosa conta più della velocità. Usa la modalità streaming per gli agenti vocali quando la latenza è la priorità.
7. Definisci azioni chiare in caso di violazione di un guardrail. Decidi in anticipo se una violazione debba terminare la chiamata, avviare un nuovo tentativo o effettuare l'escalation a una persona.
8. Mantieni concise le istruzioni dei guardrail personalizzati. I guardrail vengono eseguiti in parallelo. Un guardrail personalizzato lungo e complesso aumenta la latenza. Scrivi istruzioni concise e separa i controlli distinti in guardrail diversi.
9. Comprendi cosa coprono effettivamente le certificazioni. SOC 2 Type 2 e ISO 27001 sono requisiti di base. Gli standard specifici per settore, come HIPAA e PCI DSS, riguardano i settori regolamentati. Le certificazioni più recenti specifiche per l'IA, come ISO 42001 e AIUC-1 riguardano bias, trasparenza e resilienza agli attacchi avversariali; inoltre, la certificazione AIUC-1 può sbloccare assicurazioni specifiche per l'IA.
10. Sviluppa fin da subito processi solidi. Il primo deployment richiede più tempo. I team che investono nei processi di test e deployment possono iterare molto più rapidamente su ogni agente successivo.
    

Guarda la sessione completa 

Guarda il webinar completo qui.