분석
에이전트 성과를 추적하고, 실험을 비교하며, 워크스페이스 전반의 최적화 기회를 파악하세요
개요
분석 대시보드는 대화형 에이전트에 대한 세분화된 실시간 지표를 제공합니다. 에이전트, 브랜치, 기간, 언어, 통화 유형, 모델 등 여러 차원에서 성과를 분석하여 프로덕션 환경에서 에이전트가 정확히 어떻게 작동하는지 파악할 수 있습니다.
분석 데이터는 고성능 컬럼형 데이터베이스를 기반으로 하므로, 유연한 필터링과 그룹화를 통해 대량의 대화 데이터를 빠르게 쿼리할 수 있습니다.
대화 수준의 주제를 확인하려면 Spotlight에서 실시간 인사이트, 감정 분석, 주제 탐색 및 각 주제와 관련된 대화를 검토하세요.
분석 액세스
에이전트 대시보드에서 분석 탭으로 이동하세요. 워크스페이스 전체의 지표를 보거나 특정 에이전트로 필터링할 수 있습니다.
실험을 실행할 때 에이전트 구성 페이지의 분석 보기 버튼을 사용하면 브랜치로 필터링된 분석으로 바로 이동할 수 있습니다. 에이전트 및 브랜치 필터가 미리 적용되므로 변형별 성과를 즉시 비교할 수 있습니다.
기간 및 세분성
대시보드 상단의 날짜 선택기를 사용해 분석 기간을 선택하세요. 사전 설정된 기간 중에서 선택하거나 사용자 지정 기간을 정의할 수 있습니다.
대시보드는 선택한 기간에 따라 시계열 차트의 세분성을 자동으로 조정합니다. 짧은 기간에는 시간별 버킷을, 긴 기간에는 일별 또는 주별 버킷을 사용합니다.
사용 가능한 지표
대화
- 통화 수 — 선택한 기간의 총 대화 수
- 총 통화 시간 — 모든 대화 시간의 합계
- 평균 통화 시간 — 평균 대화 길이
- 총비용 — 모든 대화의 총 지출액
- 평균 비용 — 대화당 평균 비용
성과
- 에이전트 응답 지연 시간 — 에이전트가 응답하는 데 걸리는 시간(중앙값 및 백분위수)
- 오류율 — 오류가 발생한 대화의 비율
- 오류 분석 — 유형별로 분류된 오류(도구 실패, LLM 오류, 연결 문제)
성공 평가
평가 기준을 구성한 경우, 대시보드에 각 기준의 성공률, 실패율 및 미확인 비율이 표시됩니다. 이는 실험 전반의 비즈니스 성과를 측정하는 주요 방법입니다.
데이터 수집
데이터 수집을 구성한 경우, 수집된 값은 대시보드에서 필터링 가능한 차원으로 제공됩니다.
언어 분석
언어별 대화 분포를 확인하세요. 다국어 사용 현황을 파악하고 언어별 에이전트 성과를 비교하는 데 유용합니다.
활성 통화
대시보드는 현재 활성 통화 수를 실시간으로 표시합니다. 이는 워크스페이스 전반에서 진행 중인 세션을 반영하며 API를 통해서도 확인할 수 있습니다.
필터링
여러 차원을 조합하여 필터를 적용하면 분석 보기를 세분화할 수 있습니다.
그룹화
필터링 가능한 차원별로 지표를 그룹화하여 집계 수치를 세분화하세요.
예시:
- 브랜치별 그룹화로 실험 변형을 나란히 비교
- 언어별 그룹화로 언어별 에이전트 성과 확인
- LLM 모델별 그룹화로 모델 성과 및 비용 비교
- 통화 유형별 그룹화로 인바운드와 아웃바운드 통화의 차이 파악
더 심층적인 분석을 위해 여러 그룹화 차원을 조합할 수 있습니다.
워크플로 분석
워크플로를 사용하는 에이전트의 경우, 분석 대시보드의 워크플로 탭에서 워크플로 그래프에 사용량 지표를 직접 오버레이합니다. 워크플로를 사용하는 에이전트를 선택하면 그래프 보기가 활성화됩니다. 이후 워크플로 캔버스에서 대화 흐름과 트래픽 볼륨을 시각화하고, 모든 노드의 상세 유입 및 유출 정보를 확인할 수 있습니다.
노드 지표
워크플로 그래프에서 노드를 클릭하면 검사기가 열리며 다음을 확인할 수 있습니다.
- 진입 수 — 선택한 기간에 해당 노드로 진입한 대화 수
- 평균 소요 시간 — 해당 진입 전반에서 노드가 평균적으로 활성 상태였던 시간
- 종료 수 — 노드가 활성 상태인 동안 종료된 대화 수
- 유입 및 유출 흐름 — 각 업스트림 엣지에서 진입하고 각 다운스트림 엣지로 나가는 대화의 분포
대화 상세 보기
노드 검사기에서 대화 보기를 클릭하면 해당 노드로 필터링된 대화 기록 페이지로 이동합니다. 이 작업은 노드 진입됨 필터를 적용합니다. 이 기록 필터는 특정 에이전트에 한정되며, 선택한 워크플로 노드에 한 번 이상 진입한 트랜스크립트를 가진 모든 대화를 표시합니다.
노드 진입됨 필터는 대화 기록 페이지에서도 직접 사용할 수 있습니다.
실험과 함께 분석 사용하기
분석은 실험 결과를 측정하는 주요 도구입니다. 권장 워크플로는 다음과 같습니다.
에이전트 구성 페이지에서 트래픽 배포 설정 옆의 분석 보기 버튼을 클릭하면 이 보기로 바로 이동할 수 있습니다. 올바른 에이전트 및 브랜치 필터가 미리 적용됩니다.