ElevenAgents Spotlight 소개

수백 건의 엔터프라이즈 에이전트 배포를 통해, 에이전트를 실제 운영 환경에 적용하는 것은 시작에 불과하다는 점을 배웠습니다. 가장 성공적인 배포를 차별화하는 요소는 그다음에 일어나는 일, 즉 끊임없는 반복 개선입니다.

ElevenAgents의 관찰 및 개선 레이어인 ElevenAgents Spotlight를 사용하면 팀이 에이전트를 지속적으로 쉽게 개선할 수 있습니다. 모든 음성 및 채팅 대화를 실시간으로 검토하므로, 무엇이 잘 작동하는지와 무엇을 바꿔야 하는지를 파악해 업데이트할 때마다 CSAT, 해결률, 전환율을 올바른 방향으로 높일 수 있습니다. 대화를 주제별로 자동 그룹화하고, 자연어로 작성한 기준에 따라 품질을 평가하며, 감정을 추적하고, 눈에 띄는 변화를 표시한 뒤 다음 개선 사항을 제안합니다. 우수한 에이전트를 탁월한 에이전트로 만들고, 대화량이 늘어나도 계속 개선할 수 있는 방법입니다.

실시간으로 상황 파악

ElevenAgents Spotlight는 대화가 들어오는 대로 성공률, 지연 시간, 평가 결과를 추적합니다. 이상 탐지 기능을 통해 성공률 하락이나 수요 급증처럼 주요 지표의 눈에 띄는 변화를 쉽게 확인하여, 미리 대응할 수 있습니다. CX 부사장이나 운영 책임자에게 이는 예상치 못한 상황을 줄이고, 운영 환경에서 문제가 발생한 시점부터 해결책이 고객에게 도달하기까지의 시간을 단축한다는 의미입니다.

중요한 문의를 빠르게 찾기

모든 대화는 주제와 하위 주제로 자동 그룹화되며, 각 대화의 감정도 자동으로 평가됩니다.

대화량이 많은 영역을 확인하고, 해결률 또는 감정별로 정렬해 주의가 필요한 곳을 찾은 다음, 대화 기록을 바로 클릭하여 에이전트가 부족한 부분을 파악할 수 있습니다.

의미나 의도를 기준으로 과거 대화 기록을 검색해, 개선이 필요한 부분을 더 깊이 살펴볼 수 있습니다.

ElevenAgents Spotlight를 사용하면 수천 건의 대화에서 중요한 신호를 찾아내는 작업을 대신 처리해 드립니다.

원하는 기준으로 품질 측정

품질은 하나의 숫자로 정의되지 않으며, 경직된 평가 기준만으로 포착되는 경우도 드뭅니다. ElevenAgents Spotlight에서는 자연어로 Evals를 작성할 수 있습니다. 예를 들어 "에이전트가 해결책을 제시하기 전에 고객의 불만을 인정했는지"와 같은 기준입니다. 그러면 수동 검토 없이 모든 대화가 해당 기준에 따라 평가됩니다. 에이전트에게 좋은 결과가 무엇인지 직접 정의하면, Spotlight가 이를 대규모 환경에서도 일관되게 측정합니다.

다음에 할 일 파악

Spotlight는 현재 상황을 보여주는 데 그치지 않고, 다음에 할 일을 제안합니다. 각 에이전트의 구성과 대화 진행 결과를 바탕으로, 테스트가 없는 곳에 테스트를 추가하거나 최신 모델을 활성화하는 등의 선제적 추천을 제공합니다. 덕분에 다음 개선 사항을 더 쉽게 찾을 수 있으며, 에이전트가 정체되지 않고 계속 발전할 수 있습니다.

이미 사용 중인 스택에 자연스럽게 통합

메트릭, 로그, 트레이스를 Datadog, Grafana 또는 모든 OpenTelemetry 백엔드로 스트리밍하여 에이전트를 모니터링 중인 다른 모든 요소와 동일한 운영 환경에서 관리할 수 있습니다. Spotlight는 팀이 이미 신뢰하는 도구를 떠날 필요 없이, 필요한 곳에 더 깊이 있는 인사이트를 제공합니다.

우수한 에이전트를 탁월한 에이전트로

탁월한 에이전트는 지속적으로 개선됩니다. ElevenAgents Spotlight를 사용하면 에이전트를 우수한 수준에서 탁월한 수준으로 쉽게 발전시키고, 대규모 환경에서도 그 수준을 유지할 수 있습니다. 

지금 사용해 보세요: https://elevenlabs.io/docs/eleven-agents/dashboard/spotlight