ElevenAgents Spotlight 소개

수백 건의 엔터프라이즈 에이전트 배포를 통해, 에이전트를 운영 환경에 출시하는 것은 시작에 불과하다는 점을 배웠습니다. 가장 성공적인 배포를 구분 짓는 것은 그다음에 일어나는 일, 즉 끊임없는 반복 개선입니다.

ElevenAgents를 위한 관찰 및 개선 계층인 ElevenAgents Spotlight를 사용하면 팀이 에이전트를 지속적으로 개선할 수 있습니다. 모든 음성 및 채팅 대화를 실시간으로 검토하여, 무엇이 효과적인지와 무엇을 바꿔야 하는지 파악하고 모든 업데이트가 CSAT, 해결률, 전환율을 올바른 방향으로 이끌도록 돕습니다. 대화를 주제별로 자동 그룹화하고, 자연어로 작성한 기준에 따라 품질을 평가하며, 감정을 추적하고, 주목할 만한 변화를 표시한 뒤 다음 개선 사항을 제안합니다. 좋은 에이전트를 훌륭한 에이전트로 발전시키고, 규모가 커져도 계속 개선할 수 있는 방법입니다.

실시간으로 상황 파악

ElevenAgents Spotlight는 대화가 유입될 때마다 성공률, 지연 시간, 평가 결과를 추적합니다. 이상 탐지 기능을 통해 성공률 하락이나 수요 급증처럼 주요 지표의 눈에 띄는 변화를 손쉽게 확인하고 선제적으로 대응할 수 있습니다. CX 부문 부사장이나 운영 책임자에게 이는 예상치 못한 상황을 줄이고, 운영 환경에서 문제가 발생한 시점부터 수정 사항이 고객에게 도달하기까지의 시간을 단축한다는 의미입니다.

중요한 문의를 빠르게 찾기

모든 대화는 주제와 하위 주제로 자동 그룹화되며, 각 대화의 감정도 자동으로 평가됩니다.

어디에 문의가 집중되는지 확인하고, 해결률 또는 감정순으로 정렬해 주의가 필요한 영역을 찾을 수 있습니다. এরপর 대화 기록으로 바로 이동해 에이전트가 부족한 부분을 파악할 수 있습니다.

과거 대화 기록을 의미나 의도별로 검색해 개선이 필요한 부분을 더 깊이 살펴볼 수 있습니다.

ElevenAgents Spotlight를 사용하면 수천 건의 대화에서 핵심 신호를 찾아내는 작업을 대신 수행합니다.

자체 기준으로 품질 측정

품질은 하나의 숫자로 정의되지 않으며, 경직된 평가 기준으로 포착되는 경우도 드뭅니다. ElevenAgents Spotlight에서는 자연어로 Evals를 작성할 수 있습니다. 예를 들어 "에이전트가 해결책을 제시하기 전에 고객의 답답함을 공감했다"와 같이 작성하면, 수동 검토 없이 모든 대화가 해당 기준에 따라 평가됩니다. 에이전트에게 좋은 결과가 무엇인지 직접 정의하면 Spotlight가 이를 일관되게 대규모로 측정합니다.

다음 단계 파악

Spotlight는 현재 상황만 보여주는 것이 아니라, 다음에 무엇을 해야 할지도 제안합니다. 각 에이전트의 구성 방식과 대화 진행 내용을 바탕으로, 테스트가 없는 곳에 테스트를 추가하거나 최신 모델을 활성화하는 등의 선제적 권장 사항을 제공합니다. 이를 통해 다음 개선 사항을 더 쉽게 파악할 수 있어, 에이전트가 방향을 잃지 않고 계속 발전할 수 있습니다.

이미 사용 중인 스택에 자연스럽게 통합

메트릭, 로그, 트레이스를 Datadog, Grafana 또는 모든 OpenTelemetry 백엔드로 스트리밍하세요. 그러면 에이전트도 모니터링하는 다른 모든 요소와 동일한 운영 관점에서 관리할 수 있습니다. Spotlight는 팀이 이미 신뢰하는 도구를 떠날 필요 없이 필요한 부분에 더 깊이 있는 인사이트를 제공합니다.

좋은 에이전트를 훌륭한 에이전트로

훌륭한 에이전트는 지속적으로 개선됩니다. ElevenAgents Spotlight를 사용하면 에이전트를 좋은 수준에서 훌륭한 수준으로 쉽게 발전시키고, 대규모 환경에서도 그 수준을 유지할 수 있습니다. 

지금 사용해 보세요: https://elevenlabs.io/docs/eleven-agents/dashboard/spotlight