성공 평가
대화 품질, 목표 달성도 및 고객 만족도를 평가할 맞춤 기준을 정의하세요.
성공 평가를 사용하면 대화에 대한 맞춤 목표와 성공 지표를 정의할 수 있습니다. 각 기준은 대화 기록을 기준으로 평가되며, 자세한 근거와 함께 success, failure 또는 unknown 결과를 반환합니다.
개요
성공 평가는 LLM 기반 분석을 사용해 특정 비즈니스 목표에 따라 대화 품질을 평가합니다. 이를 통해 모든 고객 상호작용 전반에서 체계적인 성과 측정과 품질 보증이 가능합니다.
작동 방식
각 평가 기준은 맞춤 프롬프트를 사용해 대화 기록을 분석하고 다음을 반환합니다.
- 결과:
success,failure또는unknown - 근거: 해당 결과가 선택된 이유에 대한 자세한 설명
평가 기준 유형
목표 프롬프트 기준
목표 프롬프트 기준은 특정 목표가 달성되었는지 확인하기 위해 맞춤 프롬프트와 함께 대화 기록을 LLM에 전달합니다. 가장 유연한 평가 유형으로, 복잡한 비즈니스 로직에 사용할 수 있습니다.
예시:
- 고객 만족도 평가
- 문제 해결 확인
- 규정 준수 확인
- 맞춤 비즈니스 규칙 검증
구성
평가 기준 추가
평가 추가를 클릭하여 새 평가 기준을 만들거나, 워크스페이스의 분석 라이브러리에서 기준을 연결합니다.
다음 항목으로 기준을 정의합니다.
- 이름: 기준의 이름(예: 사용자가 불쾌해하지 않았음)
- 설명: 평가할 내용을 설명하는 자세한 프롬프트

에이전트당 평가 기준은 최대 30개까지 사용할 수 있습니다.
모범 사례
효과적인 평가 프롬프트 작성
- 성공과 실패를 구분하는 기준을 구체적으로 명시합니다.
- 프롬프트에 예외 상황과 예시를 포함합니다.
- 가능하면 명확하고 측정 가능한 기준을 사용합니다.
- 다양한 대화 시나리오로 프롬프트를 테스트합니다.
일반적인 평가 기준
- 고객 만족도: “고객이 만족을 표현했거나 문제가 해결된 경우 성공으로 표시” - 목표 완료: “고객이 요청한 작업(예약, 구매 등)을 완료한 경우 성공으로 표시” - 규정 준수: “에이전트가 필요한 모든 규정 준수 절차를 따랐다면 성공으로 표시” - 문제 해결: “통화 중 고객의 기술적 문제가 해결된 경우 성공으로 표시”
모호한 결과 처리
LLM이 기록만으로 성공 또는 실패를 판단할 수 없을 때 unknown 결과가 반환됩니다. 이는 다음과 같은 경우에 자주 발생합니다.
- 완료되지 않은 대화
- 모호한 고객 응답
- 기록에 누락된 정보
unknown 결과를 모니터링하여 기준 프롬프트를 개선해야 할 영역을 파악하세요.
활용 사례
문제 해결
평가 기준이 예상치 못한 결과를 반환하는 경우
- 프롬프트의 명확성과 구체성을 검토합니다.
- 샘플 대화로 로직을 테스트하여 검증합니다.
- 평가 기준의 예외 상황을 고려합니다.
- 기록에 평가에 필요한 정보가 충분히 포함되어 있는지 확인합니다.
'unknown' 결과가 빈번한 경우
- 프롬프트에 어떤 정보를 찾아야 하는지 구체적으로 명시합니다. - 대화에 평가에 필요한 충분한 맥락이 있는지 고려합니다. - 기록의 품질과 완전성을 검토합니다. - 일반적인 예외 상황을 처리하도록 기준을 조정합니다.
성능 고려 사항
- 각 평가 기준은 대화 분석에 처리 시간을 추가합니다.
- 복잡한 프롬프트는 평가에 더 오래 걸릴 수 있습니다.
- 포괄적인 분석과 응답 시간 간의 균형을 고려합니다.
- 특정 요구 사항에 맞게 최적화할 수 있도록 사용량을 모니터링합니다.
성공 평가 결과는 외부 시스템 및 분석 플랫폼과 통합할 수 있도록 통화 후 웹훅을 통해 제공됩니다.

