분석
분석
워크스페이스 전반에서 에이전트 성과를 추적하고, 실험을 비교하며, 최적화 기회를 파악하세요
개요
분석 대시보드는 대화형 에이전트를 위한 세분화된 실시간 지표를 제공합니다. 에이전트, 브랜치, 기간, 언어, 통화 유형, 모델 등 다양한 기준으로 성과를 분석하여 운영 환경에서 에이전트가 정확히 어떻게 작동하는지 파악할 수 있습니다.
분석 데이터는 고성능 컬럼형 데이터베이스를 기반으로 하므로, 유연한 필터링과 그룹화를 통해 대량의 대화 데이터를 빠르게 쿼리할 수 있습니다.
대화 수준의 주제는 Spotlight를 사용하여 실시간 인사이트, 감정 분석, 주제 탐색 및 각 주제에 해당하는 대화를 검토하세요.
분석에 액세스하기
에이전트 대시보드에서 분석 탭으로 이동하세요. 전체 워크스페이스의 지표를 확인하거나 특정 에이전트로 필터링할 수 있습니다.
실험을 실행할 때 에이전트 구성 페이지의 분석 보기 버튼을 사용하면 브랜치별로 필터링된 분석으로 바로 이동할 수 있습니다. 에이전트 및 브랜치 필터가 미리 적용되므로 변형별 성과를 즉시 비교할 수 있습니다.
기간 및 세분성
대시보드 상단의 날짜 선택기를 사용해 분석 기간을 선택하세요. 사전 설정된 기간 중에서 선택하거나 사용자 지정 기간을 정의할 수 있습니다.
대시보드는 선택한 기간에 따라 시계열 차트의 세분성을 자동으로 조정합니다. 짧은 기간에는 시간별 버킷을, 긴 기간에는 일별 또는 주별 버킷을 사용합니다.
제공되는 지표
대화
- 통화 수 — 선택한 기간의 총 대화 수
- 총 통화 시간 — 대화 시간의 합계
- 평균 통화 시간 — 평균 대화 길이
- 총비용 — 모든 대화의 총 지출액
- 평균 비용 — 대화당 평균 비용
성과
- 에이전트 응답 지연 시간 — 에이전트가 응답하는 데 걸리는 시간(중앙값 및 백분위수)
- 오류율 — 오류가 발생한 대화의 비율
- 오류 분석 — 유형별로 분류된 오류(도구 실패, LLM 오류, 연결 문제)
성공 평가
평가 기준을 구성한 경우, 대시보드에 각 기준의 성공, 실패 및 알 수 없음 비율이 표시됩니다. 이는 실험 전반의 비즈니스 성과를 측정하는 주요 방법입니다.
데이터 수집
데이터 수집을 구성한 경우, 수집된 값을 대시보드에서 필터링 가능한 기준으로 사용할 수 있습니다.
언어별 분석
언어별 대화 분포를 확인하세요. 다국어 도입 현황을 파악하고 언어별 에이전트 성과를 비교하는 데 유용합니다.
진행 중인 통화
대시보드는 현재 진행 중인 통화 수를 실시간으로 표시합니다. 이는 워크스페이스 전반에서 진행 중인 세션을 반영하며 API를 통해서도 확인할 수 있습니다.
필터링
다양한 기준을 조합해 필터를 적용하여 분석 보기를 좁힐 수 있습니다.
그룹화
필터링 가능한 기준으로 지표를 그룹화하여 집계 수치를 세분화할 수 있습니다.
예를 들면 다음과 같습니다.
- 브랜치별 그룹화로 실험 변형을 나란히 비교
- 언어별 그룹화로 언어별 에이전트 성과 확인
- LLM 모델별 그룹화로 모델 성과와 비용 비교
- 통화 유형별 그룹화로 인바운드와 아웃바운드 통화 간 차이 파악
더 심층적인 분석을 위해 여러 그룹화 기준을 조합할 수 있습니다.
워크플로 분석
워크플로를 사용하는 에이전트의 경우, 분석 대시보드의 워크플로 탭에서 워크플로 그래프에 사용량 지표를 직접 오버레이합니다. 워크플로를 사용하는 에이전트를 선택하면 그래프 보기가 활성화됩니다. 이후 워크플로 캔버스에서 대화 흐름과 트래픽 볼륨을 시각화하고, 모든 노드의 상세 유입 및 유출 정보를 확인할 수 있습니다.
노드 지표
워크플로 그래프에서 노드를 클릭하면 인스펙터가 열리고 다음 정보를 확인할 수 있습니다.
- 진입 수 — 선택한 기간 동안 해당 노드에 진입한 대화 수
- 평균 체류 시간 — 해당 진입에서 노드가 활성 상태였던 평균 시간
- 종료 수 — 노드가 활성 상태인 동안 종료된 대화 수
- 유입 및 유출 흐름 — 각 상위 엣지에서 유입되고 각 하위 엣지를 통해 유출된 대화의 분포
대화 상세 보기
노드 인스펙터에서 대화 보기를 클릭하면 해당 노드로 필터링된 대화 기록 페이지로 이동합니다. 그러면 노드 진입됨 필터가 적용됩니다. 이 기록 필터는 특정 에이전트를 기준으로 하며, 선택한 워크플로 노드에 한 번 이상 진입한 기록이 있는 모든 대화를 표시합니다.
노드 진입됨 필터는 대화 기록 페이지에서도 직접 사용할 수 있습니다.
실험에서 분석 사용하기
분석은 실험 결과를 측정하는 주요 도구입니다. 권장 워크플로는 다음과 같습니다.
트래픽 배포 설정 옆에 있는 분석 보기 버튼을 클릭하면 에이전트 구성 페이지에서 이 보기로 바로 이동할 수 있습니다. 올바른 에이전트 및 브랜치 필터가 미리 적용됩니다.