Resumo do Webinar: Como Criar Agentes de IA Seguros para Empresas

Resumo do webinar: como criar agentes de IA seguros para implantações empresariais

Fazer um agente de IA conduzir conversas é a parte fácil. Fazer com que sua equipe de segurança, equipe jurídica e clientes confiem nele é onde a maioria das implantações empresariais para.

Este post resume nosso workshop ao vivo, Como criar agentes de IA seguros para implantações empresariais, no qual mostramos as ferramentas, os frameworks e as práticas de implantação que fazem as implantações de agentes empresariais funcionarem em escala. 

Como criar uma abordagem de segurança em camadas 

Mais de quatro milhões de agentes já foram implantados na plataforma ElevenAgents. Os que têm desempenho confiável em ambientes empresariais compartilham uma característica: a segurança foi incorporada desde o início, e não adicionada após o primeiro incidente.

Nossa sessão ao vivo abordou os frameworks, controles e práticas de implantação que diferenciam os agentes aprovados na revisão de segurança daqueles que não são.

Agentes diferentes exigem limites fundamentalmente diferentes.

• Um personagem de jogo em vídeo pode precisar usar linguagem explicitamente violenta como parte da experiência, mas nunca deve sair do personagem nem revelar que é uma IA.
• Um recepcionista da área da saúde precisa falar sobre lesões e contextos médicos, mas nunca deve dar aconselhamento médico.
• Um agente de suporte de cartão de crédito não deve lidar com conteúdo explícito de forma alguma, nem compartilhar detalhes da conta com pessoas que não tiveram a identidade verificada. 

Como os agentes não são determinísticos, nenhuma medida de proteção isolada consegue resguardar totalmente contra todos os riscos possíveis. Por isso, equipes empresariais precisam de uma abordagem em camadas: vários controles trabalhando juntos para que falhas de segurança sejam exceções raras.

Esse princípio orientou as quatro perguntas em torno das quais organizamos a sessão:

1. Como posso controlar o que meu agente diz e faz?
2. Como posso verificar se ele funciona?
3. Como posso proteger dados para atender aos requisitos de segurança e conformidade?
4. Como posso criar processos para fazer implantações seguras?

Como pensar no controle do comportamento do agente 

Em qualquer conversa com um agente, há três momentos em que a segurança deve ser considerada. 

Entrada
O usuário diz algo. Usuários mal-intencionados podem tentar coisas como "ignore todas as instruções anteriores" ou "finja que você é outro assistente". Você precisa detectar e lidar com tentativas de manipulação antes que elas cheguem ao modelo. Isso evita custos desnecessários e impede que agentes mal-intencionados extraiam informações às quais não deveriam ter acesso.

Tomada de decisão
O LLM decide o que dizer ou fazer. É aqui que o prompt de sistema é sua principal superfície de controle, mas, em conversas longas ou complexas, os LLMs podem se desviar das instruções. Você precisa de mecanismos que reforcem o comportamento durante toda a conversa, não apenas no início. Também é importante definir caminhos de escalonamento: há situações em que o agente deve encaminhar o atendimento a uma pessoa ou a um agente mais especializado? Em quais condições?

Saída
Mesmo com orientações sólidas, algo pode passar, especialmente em conversas longas. Você precisa de uma rede de segurança final. Pense nela como um miniagente que verifica o trabalho do seu agente principal: ele avalia a resposta antes que ela chegue ao usuário e decide se deve entregá-la, tentar novamente ou escalar o atendimento. Ele também funciona em paralelo à geração da resposta, adicionando latência mínima.

Nos três casos, você precisa definir previamente suas estratégias de saída: uma violação encerra a conversa, aciona uma nova tentativa com orientações corretivas ou transfere o atendimento para uma pessoa? Essa decisão molda a experiência do usuário quando algo dá errado.

Demonstração 1: configurando barreiras de segurança no ElevenAgents

Cenário: Um agente de vendas e suporte de um site é configurado com várias camadas de controles de segurança para evitar manipulação, respostas fora do tema e violações de políticas.

O que foi mostrado:

• Barreira contra manipulação (entrada) - localizada na aba Segurança, essa opção detecta padrões de injeção de prompt — tentativas de substituir as instruções do sistema — e encerra a conversa antes que o agente responda. Recomendado para todos os agentes em produção.
• Prompt de sistema e barreira Focus (tomada de decisão) - o prompt de sistema é fundamental. Todas as regras importantes devem estar explicitamente nele. Na demonstração, uma instrução foi adicionada durante a sessão: "Não ofereça descontos." A barreira Focus, ativada separadamente, reforça automaticamente o prompt de sistema durante toda a conversa, resolvendo o problema de desvio que ocorre em interações mais longas. A combinação de um prompt de sistema sólido com o Focus ativado é a forma mais eficaz de manter um agente no caminho certo.
• Barreira de conteúdo (saída) - categorias pré-configuradas que abrangem palavrões, aconselhamento jurídico e opiniões políticas. Cada uma tem um limite de confiança ajustável — médio é o ponto de partida recomendado. Esta é a camada de contingência: se o agente estiver prestes a produzir algo que não deveria, ela identifica isso antes da entrega.
• Barreira personalizada (saída) - verificações definidas pelo usuário e escritas em linguagem natural para qualquer caso não coberto pelas predefinições. Na demonstração, foi configurada uma barreira de "sem descontos": "Bloqueie qualquer resposta que mencione descontos, promoções ou preços especiais que o agente não está autorizado a oferecer." As barreiras personalizadas usam uma avaliação adicional de LLM — portanto, há um custo baseado no uso e uma questão de latência a considerar. Escreva instruções objetivas e separe verificações distintas em barreiras diferentes, em vez de combiná-las.
• Ação em caso de violação - duas opções: encerrar a chamada ou tentar novamente. Ao tentar novamente, você pode fornecer instruções adicionais para orientar a próxima tentativa do agente — por exemplo, escalar para uma pessoa ou apresentar uma mensagem de redirecionamento padrão.

Por que isso importa: Esses controles não servem para todos os casos da mesma forma. Eles podem ser configurados individualmente em cada barreira de segurança. Essa granularidade é o que diferencia um agente teoricamente seguro de um que é operacionalmente seguro em diversos contextos empresariais.

Demonstração 2: testes de simulação antes do lançamento

Cenário: Um agente de suporte é testado em dois cenários de conversa relacionados a descontos para confirmar que ele redireciona os usuários para a página de preços sem oferecer descontos.

O que foi mostrado: 

• Dois testes de simulação definidos na aba Testes, cada um com um cenário de usuário simulado, um número definido de turnos de conversa e critérios explícitos de sucesso
• Um dos testes falhou inicialmente porque o prompt de sistema não tinha instruções específicas para casos extremos
• As instruções que faltavam foram adicionadas à seção de barreiras de segurança do prompt de sistema
• O agente foi publicado novamente e os dois testes foram executados outra vez — ambos foram aprovados
• O histórico detalhado de execução mostra exatamente qual parte da conversa falhou, incluindo chamadas de ferramentas e ações do agente

Por que isso importa: Os testes de simulação permitem que as equipes validem o comportamento do agente em um ambiente controlado antes que qualquer usuário real interaja com ele. Eles abrangem tanto cenários rotineiros quanto adversariais. Também são executados em todo o fluxo da conversa, não apenas em respostas individuais. Conforme as mudanças são feitas, os testes podem ser executados novamente de imediato para confirmar se a correção funcionou.

Demonstração 3: redação de PII para implantações sensíveis

Cenário: Um agente empresarial é configurado para ocultar informações de identificação pessoal nos registros de conversa.

O que foi mostrado:

• Opção de redação do histórico de conversas, localizada na aba Avançado, nas configurações de Privacidade
• Uma lista de entidades de dados específicas que podem ser selecionadas individualmente para redação, incluindo data de nascimento, idade e outros campos sensíveis
• Opção de selecionar todas as entidades ou somente aquelas relevantes para o caso de uso específico do agente

Por que isso importa: A redação de PII não substitui o modo de retenção zero em ambientes com requisitos rigorosos de conformidade, como os sujeitos à HIPAA. Ela reduz a exposição de dados nos registros de conversa usados para revisão interna ou controle de qualidade. As equipes podem manter os registros de que precisam e remover os dados de que não precisam. No momento, esse recurso está disponível para clientes empresariais.

Práticas recomendadas para a implantação segura de agentes empresariais 

1. Use uma abordagem em camadas. Nenhum controle isolado garante um comportamento seguro. Barreiras de entrada, validação de saída, reforço de prompts e testes precisam trabalhar juntos. Cada camada reforça as demais e, juntas, reduzem significativamente o risco de problemas de segurança.
2. Adapte as barreiras de segurança ao contexto. Um agente da área da saúde e um agente de suporte no varejo precisam de regras diferentes. Defina limites específicos para seu caso de uso, não use um modelo genérico.
3. Comece com um caso de uso relevante. As implantações empresariais mais bem-sucedidas não começam com um piloto descartável. Elas escolhem algo real, como suporte ao cliente ou agendamento, e investem para fazer isso direito.
4. Teste antes do lançamento e continue testando. Use testes de simulação e ferramentas externas de red teaming. Teste tanto cenários rotineiros quanto adversariais. Inclua na sua suíte de testes os novos casos extremos descobertos em produção.
5. Faça a implantação por etapas. Comece com tráfego limitado. Monitore conversas reais. Identifique as dificuldades do agente. Faça ajustes, teste novamente e então expanda.
6. Escolha o modo de execução de forma consciente. Use o modo de bloqueio para agentes de texto, nos quais uma validação rigorosa importa mais do que a velocidade. Use o modo de streaming para agentes de voz nos quais a latência é prioridade.
7. Defina ações claras para violações das barreiras de segurança. Decida com antecedência se uma violação deve encerrar a chamada, acionar uma nova tentativa ou escalar para uma pessoa.
8. Mantenha concisas as instruções das barreiras personalizadas. As barreiras de segurança funcionam em paralelo. Uma barreira personalizada longa e complexa aumenta a latência. Escreva instruções objetivas e separe verificações distintas em barreiras diferentes.
9. Entenda o que as certificações realmente abrangem. SOC 2 Type 2 e ISO 27001 são requisitos básicos. Normas específicas de domínio, como HIPAA e PCI DSS, atendem a setores regulamentados. Certificações mais recentes e específicas para IA, como ISO 42001 e AIUC-1 tratam de viés, transparência e resiliência a ataques adversariais — e a certificação AIUC-1 pode viabilizar seguros específicos para IA.
10. Desenvolva seus processos desde cedo. A primeira implantação leva mais tempo. Equipes que investem em processos de teste e implantação conseguem iterar muito mais rápido em cada agente seguinte.
    

Assista à sessão completa 

Assista ao webinar completo aqui.