Il nostro framework di sicurezza a livelli per agenti IA

Con l'affidamento agli agenti IA di attività ad alto impatto, i team devono poter contare sul fatto che si comportino in modo sicuro e prevedibile. 

In ElevenAgents utilizziamo un'architettura di sicurezza multilivello, che comprende guardrail in ogni fase di una conversazione, test avversariali prima del lancio, monitoraggio in produzione, protezione dei dati e convalida indipendente. 

Sebbene nessun sistema non deterministico possa proteggere da ogni rischio, questo framework di sicurezza completo consente alle principali aziende e amministrazioni pubbliche che sviluppano con ElevenAgents di progettare agenti che falliscono raramente, si ripristinano efficacemente e soddisfano standard di sicurezza elevati.

Protezione in ogni fase della conversazione

Puoi attivare e configurare facilmente i controlli che proteggono le tre fasi di ogni interazione. Questa è la base di Guardrails 2.0 in ElevenAgents.

Input - Controlli in tempo reale su ciò che invia l'utente.

• Guardrail contro la manipolazione analizzano in modo indipendente l'input dell'utente e possono terminare le conversazioni che mostrano segnali di prompt injection.

Decisione - Come l'agente viene guidato e mantiene la direzione mentre decide cosa fare.

• System prompt dovrebbero includere istruzioni esplicite per l'agente, ad esempio evitare argomenti inappropriati, definire come si presenta e limitarne l'ambito.
• Workflow e procedure possono vincolare le azioni più sensibili dietro tool call, ad esempio verificando l'identità di chi chiama prima di condividere qualsiasi dettaglio dell'account.
• Il guardrail Focus rafforza le istruzioni di sistema esistenti e attenua le deviazioni, aspetto particolarmente importante nelle interazioni lunghe o complesse.

Output - I validatori indipendenti vengono eseguiti in parallelo alla generazione della risposta, aggiungendo una latenza minima. Puoi attivarli per bloccare risposte che contengono contenuti sensibili o violano le tue policy.

• Guardrail dei contenuti esaminano le categorie sensibili con soglie per categoria.
• Guardrail personalizzati applicano regole specifiche per dominio, scritte in linguaggio naturale e valutate singolarmente da un modello leggero.
• Strategie di uscita ti consentono di definire cosa accade quando si attiva un guardrail, ad esempio terminare la chiamata, trasferirla a una persona o riprovare la risposta con istruzioni correttive.

Test affidabili prima del lancio

ElevenAgents offre funzionalità di test affidabili, così chi sviluppa sulla piattaforma può individuare e correggere i problemi prima che un agente o una modifica della configurazione venga pubblicata.

Simulazioni ti consentono di eseguire una conversazione completa su più turni con un utente simulato prima di qualsiasi interazione reale. Definisci lo scenario e il simulatore conduce la conversazione fino alla risoluzione, incluse tool call reali o simulate. Poiché controlli l'utente simulato, puoi renderlo ostile o manipolativo, così lo stesso meccanismo che convalida i percorsi regolari mette alla prova anche quelli avversariali.

Diverse funzionalità estendono questa copertura:

• Esecuzioni ripetute eseguono un test più volte, raggruppando gli errori per motivo per far emergere schemi di errore e casi limite.
• Test della risposta successiva e dell'invocazione di tool verificano le singole risposte e le azioni critiche.
• Test specifici per canale verificano che un agente funzioni come previsto su ogni canale su cui viene distribuito, poiché l'output di un agente può essere adattato al canale, ad esempio conciso in una chiamata ma dettagliato via email.
• Red-teaming tramite API. I test possono essere eseguiti anche tramite API con SDK di red-teaming.

Valutare e migliorare gli agenti dopo il lancio

Quando distribuisci i tuoi agenti, le valutazioni vengono eseguite continuamente sulle conversazioni in tempo reale. Con un approccio LLM-as-a-judge, ogni chiamata può essere valutata automaticamente in base ai criteri che stabilisci. Puoi esaminare gli esiti delle conversazioni nelle dashboard e risalire ai problemi tramite log dettagliati delle conversazioni, che includono trascrizioni ricercabili, fonti, tool call e attivazioni dei guardrail.

Qualsiasi problema rilevato in produzione può essere facilmente reinserito nella suite di test. Quando viene proposta una modifica, puoi usare Experiments per indirizzare una parte del traffico in tempo reale a una variante e misurare i risultati effettivi prima di applicarla su larga scala.

Ti consigliamo di distribuire gradualmente. Indirizza una quota limitata di traffico al tuo agente, valuta quelle conversazioni e, dopo aver verificato che funzioni come previsto, estendi l'uso ad altri casi d'uso, canali o regioni.

Protezione dei dati sensibili

Gli agenti possono gestire dati di pagamento, informazioni sanitarie e identificativi personali, quindi è importante considerare quali dati vengono archiviati, dove e per quanto tempo. 

Offriamo diversi meccanismi per aiutare i clienti a proteggere i dati:

• Zero Retention Mode può essere attivata per i servizi idonei, per garantire che determinati tipi di dati non vengano conservati, ed è progettata per contesti normativi rigorosi.
• Redazione della cronologia delle conversazioni rimuove le entità sensibili dopo una chiamata, sostituendole con segnaposto nel testo e segnali acustici nell'audio, fino ai singoli tipi di entità.
• Conservazione configurabile allinea i periodi di archiviazione ai tuoi requisiti normativi.
• Residenza dei dati mantiene l'elaborazione all'interno della giurisdizione richiesta.
• Distribuzioni private (VPC) isolano l'ambiente per workload ad alta sensibilità.
• Crittografia protegge i dati in transito e a riposo.

Misure di sicurezza a livello di piattaforma e convalida esterna

Tutto quanto descritto sopra si basa sulle nostre più ampie misure di sicurezza a livello di piattaforma, un programma completo che comprende provenienza dei contenuti, rilevamento degli abusi, applicazione dei divieti d'uso e red-teaming dei modelli. Attraverso il nostro Safety Partnership Program, collaboriamo anche con aziende all'avanguardia nella sicurezza dell'IA, contribuendo ai loro prodotti e agli standard di settore emergenti.

Sottoponiamo inoltre il nostro approccio a verifiche indipendenti, comprese norme generali di sicurezza e privacy come SOC 2 Type II, ISO 27001 e GDPR, nonché certificazioni specifiche per settore e caso d'uso, come PCI DSS Level 1 per l'elaborazione dei pagamenti e HIPAA per il settore sanitario statunitense. Consulta il nostro trust center per maggiori informazioni.

Rispettiamo inoltre standard più recenti e nativi dell'IA, come ISO 42001, che regola i sistemi di gestione dell'IA, e AIUC-1 che richiede agli agenti IA di superare ogni trimestre simulazioni avversariali condotte da valutatori indipendenti. Le stesse funzionalità alla base di AIUC-1 consentono anche di accedere ad alcune delle prime polizze assicurative per agenti.

Per implementazioni su larga scala o complesse, i nostri Forward Deployed Engineers collaborano con il tuo team per progettare e attuare la strategia per i tuoi agenti, incluse configurazione, guardrail, test, monitoraggio e strategia di distribuzione. 

Conclusione

Il nostro approccio alla sicurezza in ElevenAgents è multilivello: ogni elemento rafforza gli altri.

• Configurazione dell'agente: System prompt, workflow e procedure che definiscono il comportamento, con le azioni più sensibili vincolate dietro tool call.
• Guardrail: Controlli indipendenti in ogni fase: rilevamento della manipolazione nell'input, Focus nella decisione e validatori di contenuto e personalizzati nell'output, con strategie di uscita configurabili.
• Test: Simulazioni avversariali, esecuzioni ripetute, test specifici per canale e red-teaming prima del lancio.
• Monitoraggio: Distribuzione graduale, quindi valutazione continua, log e trascrizioni ricercabili e un ciclo di feedback dopo il lancio.
• Protezione dei dati: Redazione, Zero Retention Mode, conservazione configurabile, residenza dei dati, distribuzioni private (VPC) e crittografia.
• Convalida esterna: Certificazioni, test avversariali indipendenti di AIUC-1, assicurazione per agenti, red-teaming e supporto di esperti.