실험

실험을 통해 에이전트 구성의 모든 요소(프롬프트 구조, 워크플로 로직, 음성, 성격, 도구, 지식 베이스)를 대상으로 통제된 A/B 테스트를 실행할 수 있습니다. 정의된 트래픽 일부를 변형에 라우팅하고, 핵심 결과에 미치는 영향을 측정한 뒤, 승자를 프로덕션에 적용합니다.

실험이 필요한 이유

체계적인 실험이 없으면 최적화는 직관에 의존하게 됩니다. 프롬프트를 조정하면 더 좋아진 “느낌”이 듭니다. 워크플로를 조정하면 해결률이 개선될 “것” 같습니다. 새로운 에스컬레이션 경로가 더 효율적으로 “보입니다”.

실험은 추측을 근거로 바꿉니다. 실제 트래픽에서 변경 사항을 테스트하고, 실제 결과를 측정하며, 효과가 있는 변경을 적용합니다.

작동 방식

실험은 다음 4단계 워크플로를 따릅니다.

트래픽 라우팅

트래픽은 백분율에 따라 브랜치 간에 분할됩니다. 라우팅은 대화 ID를 기반으로 결정론적으로 이루어지므로, 동일한 사용자는 세션 전반에 걸쳐 일관되게 같은 브랜치에 도달합니다.

기본적으로 트래픽은 사용자 전체에 무작위로 분배됩니다. API를 사용해 대화를 시작하는 경우, 어떤 브랜치 구성으로 대화를 시작할지 제어하여 특정 코호트를 특정 브랜치로 라우팅할 수 있습니다.

사용 사례

실험은 고객 대상 및 운영 워크플로 전반에서 지속적인 최적화를 지원합니다.

각 실험은 특정 에이전트 버전에 연결되므로 모든 성과 변화는 정의된 구성 변경 사항에 기인합니다.

테스트할 수 있는 항목

브랜치마다 에이전트 구성의 모든 요소를 다르게 설정할 수 있습니다.

모범 사례

다음 단계