ElevenAgents Spotlight 소개

수백 건의 엔터프라이즈 에이전트 도입 경험을 통해, 에이전트를 실제로 운영하는 것이 시작에 불과하다는 것을 알게 되었습니다. 가장 성공적인 도입의 차별점은 바로 그 다음 단계, 즉 지속적인 반복 개선에 있습니다.

ElevenAgents Spotlight는 ElevenAgents의 관찰 및 개선 레이어로, 팀이 에이전트를 지속적으로 개선할 수 있도록 도와줍니다. 모든 대화(음성 및 채팅)를 실시간으로 검토하여, 어떤 부분이 잘 작동하고 무엇을 바꿔야 할지 파악할 수 있어 CSAT, 해결률, 전환율이 올바른 방향으로 나아가도록 합니다. 대화를 주제별로 자동 분류하고, 사용자가 쉽게 작성한 기준에 따라 품질을 평가하며, 감정 변화를 추적하고, 중요한 변동을 표시한 뒤 다음 개선점을 제안합니다. 이렇게 해서 좋은 에이전트가 훌륭한 에이전트로 성장하고, 사용량이 늘어나도 계속 발전할 수 있습니다.

ElevenAgents Spotlight는 대화가 들어올 때마다 성공률, 지연 시간, 평가 결과를 추적합니다. 이상 감지 기능으로 성공률 하락이나 수요 급증 등 주요 지표의 변화를 쉽게 확인할 수 있어, 빠르게 대응할 수 있습니다. CX 부서장이나 운영 책임자라면, 예기치 않은 상황이 줄고 문제 발생부터 해결까지의 시간이 단축됩니다.

ElevenAgents Spotlight는 대화가 들어올 때마다 성공률, 지연 시간, 평가 결과를 추적합니다. 이상 감지 기능으로 주요 지표의 변화(성공률 하락, 수요 급증 등)를 쉽게 확인할 수 있어 빠르게 대응할 수 있습니다. CX 부서장이나 운영 책임자라면, 예기치 않은 상황이 줄고, 실제 문제 발생부터 고객에게 해결책이 전달되기까지의 시간이 단축됩니다.

모든 대화는 자동으로 주제와 하위 주제로 분류되고, 감정 점수도 자동으로 매겨집니다.

어디에 대화량이 집중되는지 확인하고, 해결 여부나 감정 점수로 정렬해 주의가 필요한 부분을 찾을 수 있습니다. 클릭 한 번으로 대화 기록을 확인해 에이전트가 부족한 부분을 바로 파악할 수 있습니다.

어디에 대화량이 몰려 있는지 확인하고, 해결률이나 감정별로 정렬해 주목이 필요한 부분을 찾은 뒤, 바로 대화 기록을 클릭해 에이전트가 부족한 부분을 파악할 수 있습니다.

또한, 과거 대화 기록을 의미나 의도별로 검색해 개선이 필요한 부분을 더 깊이 분석할 수 있습니다.

직접 정한 기준으로 품질 측정

품질은 단일 숫자로 표현되지 않으며, 딱딱한 평가표로는 잘 드러나지 않습니다. ElevenAgents Spotlight에서는 "에이전트가 고객의 불만을 먼저 인정한 후 해결책을 제시했다"처럼, 직접 평가지(Eval)를 쉽게 작성할 수 있습니다. 모든 대화가 이 기준에 따라 자동으로 평가되어, 수동 검토가 필요 없습니다. 에이전트의 '좋은' 기준을 직접 정의하고, Spotlight가 일관되게 대규모로 측정합니다.

품질은 단일 숫자로 표현되지 않으며, 딱딱한 평가표로는 잘 드러나지 않습니다. ElevenAgents Spotlight에서는 '에이전트가 고객의 불만을 먼저 인정한 후 해결책을 제시했다'처럼, 일상 언어로 평가 기준(Eval)을 직접 작성할 수 있습니다. 모든 대화가 이 기준에 따라 자동으로 평가되어, 수작업 검토가 필요 없습니다. 에이전트에게 필요한 '좋음'의 기준을 직접 정하고, Spotlight가 일관되게 대규모로 측정합니다.

Spotlight는 단순히 상황만 보여주는 것이 아니라, 다음에 무엇을 해야 할지도 제안합니다. 테스트가 없는 부분에 테스트 추가, 최신 모델 적용 등 각 에이전트의 설정과 대화 결과를 바탕으로 선제적으로 추천합니다. 덕분에 다음 개선점을 쉽게 찾을 수 있어, 에이전트가 점점 더 좋아집니다.

Spotlight는 단순히 상황만 보여주는 것이 아니라, 다음에 무엇을 해야 할지도 제안합니다. 테스트가 없는 부분에 테스트 추가, 최신 모델 적용 등 각 에이전트의 설정과 대화 결과를 바탕으로 선제적으로 추천합니다. 덕분에 다음 개선점을 쉽게 찾을 수 있어, 에이전트가 점점 더 좋아집니다.

메트릭, 로그, 트레이스를 Datadog, Grafana, 또는 OpenTelemetry 백엔드로 스트리밍해, 에이전트가 기존 모니터링 시스템과 함께 관리될 수 있습니다. Spotlight는 팀이 이미 신뢰하는 도구를 그대로 사용하면서 필요한 부분에만 깊이를 더해줍니다.

에이전트를 더 뛰어나게

뛰어난 에이전트는 계속 발전합니다. ElevenAgents Spotlight로 에이전트를 쉽게 한 단계 더 성장시키고, 대규모 환경에서도 그 수준을 유지할 수 있습니다.

지금 바로 체험해보세요:

지금 바로 체험해 보세요: https://elevenlabs.io/docs/eleven-agents/dashboard/spotlight