Riepilogo webinar: Crea agenti IA sicuri per un deployment aziendale

Riepilogo del webinar: creare agenti IA sicuri per l'implementazione in un'azienda

Far gestire le conversazioni a un agente IA è la parte facile. Convincere il team di sicurezza, il team legale e i clienti a fidarsi è il punto in cui la maggior parte delle implementazioni aziendali si blocca.

In questo articolo riepiloghiamo il nostro workshop dal vivo, Creare agenti IA sicuri per l'implementazione aziendale, in cui abbiamo illustrato gli strumenti, i framework e le pratiche di implementazione che consentono di distribuire agenti aziendali su larga scala. 

Come adottare un approccio alla sicurezza a più livelli 

Sulla piattaforma ElevenAgents sono stati implementati oltre quattro milioni di agenti. Quelli che offrono prestazioni affidabili in contesti aziendali hanno una caratteristica in comune: la sicurezza è stata integrata fin dall'inizio, non aggiunta dopo il primo incidente.

La nostra sessione dal vivo ha trattato i framework, i controlli e le pratiche di implementazione che distinguono gli agenti che superano la revisione di sicurezza da quelli che non la superano.

Agenti diversi richiedono limiti sostanzialmente diversi.

• Un personaggio di un videogioco potrebbe dover usare un linguaggio esplicitamente violento come parte dell'esperienza, ma non dovrebbe mai uscire dal personaggio o rivelare di essere un'IA.
• Un addetto alla reception in ambito sanitario deve poter discutere di infortuni e contesti medici, ma non dovrebbe mai fornire consigli medici.
• Un agente di assistenza per carte di credito non dovrebbe trattare in alcun modo contenuti espliciti né condividere i dettagli dell'account con chiamanti non verificati. 

Poiché gli agenti non sono deterministici, nessuna singola misura di protezione può difendere completamente da tutti i potenziali rischi. Per questo i team aziendali hanno bisogno di un approccio a più livelli: più controlli che lavorano insieme per rendere i problemi di sicurezza un'eccezione rara.

Questo principio ha guidato le quattro domande attorno a cui abbiamo organizzato la sessione:

1. Come posso controllare ciò che il mio agente dice e fa?
2. Come posso verificare che funzioni?
3. Come posso proteggere i dati per soddisfare i requisiti di sicurezza e conformità normativa?
4. Come posso creare processi per implementare soluzioni in sicurezza

Come gestire il controllo del comportamento degli agenti 

In ogni conversazione con un agente, ci sono tre momenti in cui occorre considerare la sicurezza. 

Input
L'utente dice qualcosa. Gli utenti avversari potrebbero provare frasi come "ignora tutte le istruzioni precedenti" o "fingi di essere un altro assistente". Devi rilevare e gestire i tentativi di manipolazione prima che raggiungano il modello. Questo evita costi inutili e impedisce ai malintenzionati di estrarre informazioni a cui non dovrebbero avere accesso.

Processo decisionale
L'LLM decide cosa dire o fare. Qui il system prompt è il tuo principale strumento di controllo, ma nelle conversazioni lunghe o complesse gli LLM possono allontanarsi dalle istruzioni. Hai bisogno di meccanismi che rafforzino il comportamento durante tutta la conversazione, non solo all'inizio. Dovresti anche definire percorsi di escalation: ci sono situazioni in cui l'agente dovrebbe passare la gestione a una persona o a un agente più specializzato, e a quali condizioni?

Output
Anche con indicazioni efficaci, qualcosa può sfuggire, soprattutto nelle conversazioni di lunga durata. Hai bisogno di un'ultima rete di sicurezza. Considerala un mini-agente che controlla il lavoro del tuo agente principale: valuta la risposta prima che raggiunga l'utente e decide se inviarla, riprovare o attivare un'escalation. Opera inoltre in parallelo alla generazione della risposta, aggiungendo una latenza minima.

Per tutti e tre i livelli, devi definire in anticipo le strategie di uscita: una violazione termina la conversazione, attiva un nuovo tentativo con indicazioni correttive o trasferisce la gestione a una persona? Questa decisione determina l'esperienza utente quando qualcosa va storto.

Demo 1: configurare i guardrail in ElevenAgents

Scenario: Un agente di vendita e assistenza per un sito web è configurato con più livelli di controlli di sicurezza per prevenire manipolazioni, risposte fuori tema e violazioni delle policy.

Cosa è stato mostrato:

• Guardrail contro la manipolazione (input) - disponibile nella scheda Sicurezza, questo interruttore rileva schemi di prompt injection, ovvero tentativi di ignorare le istruzioni di sistema, e termina la conversazione prima che l'agente risponda. Consigliato per tutti gli agenti in produzione.
• System prompt e guardrail Focus (processo decisionale) - il system prompt è fondamentale. Ogni regola importante dovrebbe essere riportata esplicitamente al suo interno. Nella demo è stata aggiunta un'istruzione a sessione in corso: "Non offrire sconti." Il guardrail Focus, abilitato separatamente, rafforza automaticamente il system prompt durante l'intera conversazione, affrontando il problema della deriva che si verifica nelle interazioni più lunghe. La combinazione di un system prompt solido e Focus abilitato è la coppia più efficace per mantenere un agente sulla giusta rotta.
• Guardrail dei contenuti (output) - categorie preconfigurate che coprono turpiloquio, consulenza legale e opinioni politiche. Ognuna ha una soglia di confidenza regolabile: il livello medio è il punto di partenza consigliato. Questo è il livello di riserva: se l'agente sta per produrre qualcosa che non dovrebbe, lo intercetta prima dell'invio.
• Guardrail personalizzato (output) - controlli definiti dall'utente e scritti in linguaggio naturale per qualsiasi caso non coperto dalle impostazioni predefinite. Nella demo è stato configurato un guardrail "niente sconti": "Blocca qualsiasi risposta che menzioni sconti, promozioni o prezzi speciali che l'agente non è autorizzato a offrire." I guardrail personalizzati usano una valutazione LLM aggiuntiva, quindi comportano un costo basato sull'utilizzo e incidono sulla latenza. Scrivi istruzioni concise e separa i controlli distinti in guardrail diversi anziché combinarli
• Azione in caso di violazione - due opzioni: terminare la chiamata o riprovare. In caso di nuovo tentativo, puoi fornire istruzioni aggiuntive per guidare il successivo tentativo dell'agente, ad esempio attivando un'escalation a una persona o inviando un messaggio di reindirizzamento predefinito.

Perché è importante: Questi controlli non sono uguali per tutti. Puoi configurarli a livello di singolo guardrail. Questa granularità fa la differenza tra un agente teoricamente sicuro e uno operativamente sicuro nei diversi contesti aziendali.

Demo 2: test di simulazione prima del lancio

Scenario: Un agente di assistenza viene testato con due scenari di conversazione relativi agli sconti per confermare che reindirizzi gli utenti alla pagina dei prezzi senza offrire sconti.

Cosa è stato mostrato: 

• Due test di simulazione definiti nella scheda Test, ciascuno con uno scenario di utente simulato, un numero definito di turni di conversazione e criteri di successo espliciti
• Un test inizialmente non è riuscito perché nel system prompt mancavano istruzioni specifiche per i casi limite
• Le istruzioni mancanti sono state aggiunte alla sezione dei guardrail del system prompt
• L'agente è stato ripubblicato ed entrambi i test sono stati eseguiti di nuovo: entrambi hanno avuto esito positivo
• La cronologia dettagliata delle esecuzioni mostra esattamente quale parte della conversazione non è riuscita, incluse le chiamate agli strumenti e le azioni dell'agente

Perché è importante: I test di simulazione consentono ai team di convalidare il comportamento dell'agente in un ambiente controllato prima che un utente reale lo utilizzi. Coprono sia gli scenari di routine sia quelli avversari. Vengono inoltre eseguiti sull'intero flusso della conversazione, non solo sulle singole risposte. Man mano che vengono apportate modifiche, puoi rieseguire subito i test per confermare che la correzione abbia funzionato.

Demo 3: redazione dei dati personali per implementazioni sensibili

Scenario: Un agente aziendale è configurato per oscurare le informazioni di identificazione personale dai log delle conversazioni.

Cosa è stato mostrato:

• Interruttore Conversation History Redaction disponibile nella scheda Avanzate, nelle impostazioni sulla privacy
• Un elenco di entità dati specifiche che puoi selezionare singolarmente per l'oscuramento, tra cui data di nascita, età e altri campi sensibili
• Opzione per selezionare tutte le entità o soltanto quelle pertinenti al caso d'uso dell'agente specifico

Perché è importante: L'oscuramento dei dati personali non sostituisce la modalità di conservazione zero in ambienti con requisiti di conformità elevati come HIPAA. Riduce invece l'esposizione dei dati nei log delle conversazioni usati per la revisione interna o il controllo qualità. I team possono conservare i log necessari rimuovendo i dati superflui. Al momento è disponibile per i clienti enterprise.

Best practice per l'implementazione sicura di agenti aziendali 

1. Adotta un approccio a più livelli. Nessun singolo controllo garantisce un comportamento sicuro. Guardrail di input, convalida dell'output, rafforzamento dei prompt e test devono lavorare insieme. Ogni livello rafforza gli altri e, nel complesso, riducono significativamente il rischio di problemi di sicurezza.
2. Adatta i guardrail al contesto. Un agente sanitario e un agente di assistenza per il retail hanno bisogno di regole diverse. Definisci i limiti specifici per il tuo caso d'uso, non un modello generico.
3. Inizia da un caso d'uso importante. Le implementazioni aziendali di maggior successo non iniziano con un progetto pilota usa e getta. Scelgono un'esigenza reale, come l'assistenza clienti o la pianificazione, e investono per realizzarla nel modo giusto.
4. Testa prima del lancio, poi continua a testare. Usa test di simulazione e strumenti di red teaming esterni. Testa sia gli scenari di routine sia quelli avversari. Aggiungi alla suite di test i nuovi casi limite scoperti in produzione.
5. Implementa in fasi successive. Inizia con un traffico limitato. Monitora le conversazioni reali. Individua le difficoltà dell'agente. Apporta modifiche, esegui nuovamente i test, poi amplia la distribuzione.
6. Scegli consapevolmente la modalità di esecuzione. Usa la modalità blocking per gli agenti testuali, quando una convalida rigorosa conta più della velocità. Usa la modalità streaming per gli agenti vocali quando la latenza è prioritaria.
7. Definisci azioni chiare in caso di violazione dei guardrail. Decidi in anticipo se una violazione debba terminare la chiamata, attivare un nuovo tentativo o comportare un'escalation a una persona.
8. Mantieni concise le istruzioni dei guardrail personalizzati. I guardrail vengono eseguiti in parallelo. Un guardrail personalizzato lungo e complesso aumenta la latenza. Scrivi istruzioni concise e separa i controlli distinti in guardrail diversi.
9. Comprendi cosa coprono effettivamente le certificazioni. SOC 2 Type 2 e ISO 27001 sono requisiti di base. Gli standard specifici per settore, come HIPAA e PCI DSS, riguardano le industrie regolamentate. Le certificazioni più recenti specifiche per l'IA, come ISO 42001 e AIUC-1 riguardano bias, trasparenza e resilienza agli attacchi avversari; inoltre, la certificazione AIUC-1 può consentire di accedere a un'assicurazione specifica per l'IA.
10. Sviluppa fin da subito processi solidi. La prima implementazione richiede più tempo. I team che investono nei processi di test e implementazione iterano molto più rapidamente su ogni agente successivo.
    

Guarda la sessione completa 

Guarda il webinar completo qui.