AI 에이전트를 위한 다층 안전 프레임워크

AI 에이전트가 중요한 업무를 맡게 되면서, 팀은 에이전트가 안전하고 예측 가능하게 작동한다는 확신이 필요합니다. 

ElevenAgents는 대화의 모든 단계에 적용되는 가드레일, 출시 전 적대적 테스트, 프로덕션 모니터링, 데이터 보호, 독립적 검증을 아우르는 다층형 안전 아키텍처를 활용합니다. 

비결정론적 시스템이 모든 위험을 막을 수는 없지만, 이 포괄적인 안전 프레임워크를 통해 ElevenAgents를 기반으로 구축하는 주요 기업과 정부 기관은 실패는 드물고 복구는 원활하며 높은 안전 기준을 충족하는 에이전트를 설계할 수 있습니다.

대화의 모든 단계에서 보호

모든 상호작용의 3단계를 보호하는 제어 기능을 쉽게 활성화하고 구성할 수 있습니다. 이는 Guardrails 2.0의 ElevenAgents 기반입니다.

입력 - 사용자가 전송하는 내용을 실시간으로 확인합니다.

• 조작 방지 가드레일은 사용자 입력을 독립적으로 분석하며 프롬프트 인젝션 징후가 있는 대화를 종료할 수 있습니다.

판단 - 에이전트가 무엇을 할지 결정하는 과정에서 안내되고 방향을 유지하는 방식입니다.

• 시스템 프롬프트에는 부적절한 주제 피하기, 에이전트의 자기 표현 방식 정의, 활동 범위 제한 등 에이전트를 위한 명시적인 지침이 포함되어야 합니다.
• 워크플로와 절차를 통해 계정 세부 정보를 공유하기 전에 발신자의 신원을 확인하는 것처럼 가장 민감한 작업을 도구 호출 뒤에 배치할 수 있습니다.
• Focus 가드레일은 기존 시스템 지침을 강화하고 방향 이탈을 줄여 줍니다. 이는 길거나 복잡한 상호작용에서 특히 중요합니다.

출력 - 독립적인 검증기가 응답 생성과 병렬로 실행되어 지연 시간을 최소화합니다. 민감한 콘텐츠를 포함하거나 정책을 위반하는 응답을 차단하도록 활성화할 수 있습니다.

• 콘텐츠 가드레일은 카테고리별 임계값으로 민감한 카테고리를 검사합니다.
• 맞춤형 가드레일은 자연어로 작성된 도메인별 규칙을 적용하며, 각 규칙은 경량 모델로 평가됩니다.
• 종료 전략을 통해 가드레일이 작동했을 때 통화 종료, 상담원 연결, 수정 지침을 통한 응답 재시도 등 수행할 작업을 정의할 수 있습니다.

강력한 출시 전 테스트

ElevenAgents는 플랫폼을 기반으로 구축하는 사용자가 에이전트나 구성 변경 사항이 출시되기 전에 문제를 찾아 해결할 수 있도록 강력한 테스트 기능을 제공합니다.

시뮬레이션 기능을 사용하면 실제 상호작용 전에 시뮬레이션된 사용자와 전체 멀티턴 대화를 실행할 수 있습니다. 시나리오를 정의하면 시뮬레이터가 실제 또는 모의 도구 호출을 포함해 대화가 해결될 때까지 진행합니다. 시뮬레이션 사용자를 제어하므로 적대적이거나 조작적으로 설정할 수 있으며, 일반 경로를 검증하는 동일한 메커니즘으로 적대적 경로도 테스트할 수 있습니다.

다음 기능으로 테스트 범위를 확장할 수 있습니다:

• 반복 실행 기능은 테스트를 여러 번 실행하고, 실패 원인별로 결과를 그룹화해 오류 패턴과 엣지 케이스를 파악합니다.
• 다음 응답 및 도구 호출 테스트는 개별 응답과 중요한 작업을 확인합니다.
• 채널별 테스트 는 에이전트 출력이 채널에 따라 조정될 수 있으므로(예: 통화에서는 간결하게, 이메일에서는 자세하게) 에이전트가 제공되는 모든 채널에서 예상대로 작동하는지 검증합니다.
• API를 통한 레드팀 테스트. 레드팀 SDK를 사용해 API를 통해서도 테스트를 실행할 수 있습니다.

출시 후 에이전트 평가 및 개선

에이전트를 배포하면 실제 대화에 대해 평가가 지속적으로 실행됩니다. LLM을 심사자로 활용하는 방식으로 각 통화를 설정한 기준에 따라 자동 평가할 수 있습니다. 검색 가능한 대화 기록, 출처, 도구 호출, 가드레일 트리거가 포함된 상세 대화 로그를 통해 대시보드에서 대화 결과를 검토하고 문제를 추적할 수 있습니다.

프로덕션에서 발견된 문제는 테스트 모음에 쉽게 반영할 수 있습니다. 변경이 제안되면 Experiments를 사용해 실제 트래픽의 일부를 변형 버전으로 라우팅하고, 광범위하게 적용하기 전에 실제 결과를 측정할 수 있습니다.

단계적으로 배포하는 것을 권장합니다. 제한된 트래픽을 에이전트로 라우팅하고 해당 대화를 평가한 뒤, 에이전트가 예상대로 작동하는 것을 확인하면 추가 사용 사례, 채널 또는 지역으로 확장하세요.

민감한 데이터 보호

에이전트는 결제 정보, 건강 정보, 개인 식별자를 처리할 수 있으므로 어떤 데이터가 어디에 얼마나 오래 저장되는지 고려하는 것이 중요합니다. 

고객이 데이터를 보호할 수 있도록 다양한 메커니즘을 제공합니다:

• Zero Retention Mode는 엄격한 규제 환경을 위해 설계되었으며, 적격 서비스에서 특정 유형의 데이터가 보관되지 않도록 활성화할 수 있습니다.
• 대화 기록 비식별화는 통화 후 민감한 엔터티를 제거하고, 텍스트에서는 플레이스홀더로, 오디오에서는 비프음으로 대체합니다. 개별 엔터티 유형 단위까지 적용할 수 있습니다.
• 구성 가능한 보존 기간은 저장 기간을 규제 요건에 맞춥니다.
• 데이터 레지던시는 처리가 필요한 관할권 내에서 이루어지도록 합니다.
• 프라이빗 배포(VPC)는 높은 민감도가 필요한 워크로드를 위해 환경을 격리합니다.
• 암호화는 전송 중이거나 저장된 데이터를 보호합니다.

플랫폼 수준의 안전장치 및 외부 검증

위의 모든 기능은 더욱 광범위한 플랫폼 수준의 안전장치를 기반으로 합니다. 이는 콘텐츠 출처, 악용 탐지, 금지된 사용 방지, 모델 레드팀 테스트를 아우르는 종합적인 프로그램입니다. 또한 안전 파트너십 프로그램을 통해 AI 안전 분야를 선도하는 기업과 협력하며, 이들의 제품과 새롭게 등장하는 업계 표준에 기여하고 있습니다.

또한 SOC 2 Type II, ISO 27001, GDPR과 같은 일반 보안 및 개인정보 보호 표준은 물론, 결제 처리 분야의 PCI DSS Level 1과 미국 의료 분야의 HIPAA 등 산업 및 사용 사례별 인증을 포함해 독립적인 검증을 받습니다. 자세한 내용은 신뢰 센터에서 확인하세요.

또한 AI 관리 시스템을 규정하는 ISO 42001과 AIUC-1처럼 새로운 AI 네이티브 표준도 충족합니다. AIUC-1은 AI 에이전트가 독립 평가 기관의 분기별 적대적 시뮬레이션을 견뎌낼 것을 요구합니다. AIUC-1을 뒷받침하는 동일한 기능을 통해 업계의 최초의 에이전트 보험 상품도 이용할 수 있습니다.

대규모 또는 복잡한 롤아웃의 경우, 상주 배포 엔지니어가 팀과 함께 구성, 가드레일, 테스트, 모니터링, 롤아웃 전략을 포함한 에이전트 전략을 설계하고 구현합니다. 

결론

ElevenAgents의 안전 접근 방식은 다층적이며, 각 요소가 서로를 강화합니다:

• 에이전트 구성: 동작을 형성하는 시스템 프롬프트, 워크플로, 절차와 도구 호출 뒤에 배치된 가장 민감한 작업.
• 가드레일: 모든 단계에서의 독립적인 검사. 입력에서는 조작 탐지, 판단에서는 Focus, 출력에서는 콘텐츠 및 맞춤형 검증기를 적용하고 종료 전략을 구성할 수 있습니다.
• 테스트: 출시 전 적대적 시뮬레이션, 반복 실행, 채널별 테스트 및 레드팀 테스트.
• 모니터링: 단계적 롤아웃 후 지속적인 평가, 검색 가능한 로그 및 기록, 출시 후 피드백 루프.
• 데이터 보호: 비식별화, Zero Retention Mode, 구성 가능한 보존 기간, 데이터 레지던시, 프라이빗(VPC) 배포 및 암호화.
• 외부 검증: 인증, AIUC-1의 독립적 적대적 테스트, 에이전트 보험, 레드팀 테스트 및 전문가 지원.