탐색으로 건너뛰기

성공 평가

대화 품질, 목표 달성도 및 고객 만족도를 평가할 맞춤 기준을 정의하세요.

성공 평가를 사용하면 대화에 대한 맞춤 목표와 성공 지표를 정의할 수 있습니다. 각 기준은 대화 기록을 기준으로 평가되며, 자세한 근거와 함께 success, failure 또는 unknown 결과를 반환합니다.

개요

성공 평가는 LLM 기반 분석을 사용해 특정 비즈니스 목표에 따라 대화 품질을 평가합니다. 이를 통해 모든 고객 상호작용 전반에서 체계적인 성과 측정과 품질 보증이 가능합니다.

작동 방식

각 평가 기준은 맞춤 프롬프트를 사용해 대화 기록을 분석하고 다음을 반환합니다.

  • 결과: success, failure 또는 unknown
  • 근거: 해당 결과가 선택된 이유에 대한 자세한 설명

평가 기준 유형

목표 프롬프트 기준은 특정 목표가 달성되었는지 확인하기 위해 맞춤 프롬프트와 함께 대화 기록을 LLM에 전달합니다. 가장 유연한 평가 유형으로, 복잡한 비즈니스 로직에 사용할 수 있습니다.

예시:

  • 고객 만족도 평가
  • 문제 해결 확인
  • 규정 준수 확인
  • 맞춤 비즈니스 규칙 검증

구성

1

에이전트 설정 열기

에이전트 대시보드로 이동한 후 분석 탭을 선택하여 평가 기준을 구성합니다.

분석 설정

2

평가 기준 추가

평가 추가를 클릭하여 새 평가 기준을 만들거나, 워크스페이스의 분석 라이브러리에서 기준을 연결합니다.

다음 항목으로 기준을 정의합니다.

  • 이름: 기준의 이름(예: 사용자가 불쾌해하지 않았음)
  • 설명: 평가할 내용을 설명하는 자세한 프롬프트

평가 기준 설정

에이전트당 평가 기준은 최대 30개까지 사용할 수 있습니다.

3

결과 보기

대화가 완료되면 대화 기록 대시보드에 평가 결과가 표시됩니다. 각 대화에는 구성된 모든 기준의 평가 결과와 근거가 표시됩니다.

대화 기록의 평가 결과

모범 사례

  • 성공과 실패를 구분하는 기준을 구체적으로 명시합니다.
  • 프롬프트에 예외 상황과 예시를 포함합니다.
  • 가능하면 명확하고 측정 가능한 기준을 사용합니다.
  • 다양한 대화 시나리오로 프롬프트를 테스트합니다.
  • 고객 만족도: “고객이 만족을 표현했거나 문제가 해결된 경우 성공으로 표시” - 목표 완료: “고객이 요청한 작업(예약, 구매 등)을 완료한 경우 성공으로 표시” - 규정 준수: “에이전트가 필요한 모든 규정 준수 절차를 따랐다면 성공으로 표시” - 문제 해결: “통화 중 고객의 기술적 문제가 해결된 경우 성공으로 표시”

LLM이 기록만으로 성공 또는 실패를 판단할 수 없을 때 unknown 결과가 반환됩니다. 이는 다음과 같은 경우에 자주 발생합니다.

  • 완료되지 않은 대화
  • 모호한 고객 응답
  • 기록에 누락된 정보

unknown 결과를 모니터링하여 기준 프롬프트를 개선해야 할 영역을 파악하세요.

활용 사례

고객 지원 품질

문제 해결률, 고객 만족도, 지원 품질 지표를 측정하여 서비스 제공을 개선합니다.

영업 성과

영업 대화 전반에서 목표 달성, 이의 처리 및 전환율을 추적합니다.

규정 준수 모니터링

에이전트가 필수 절차를 따르고 필요한 동의 또는 고지 확인을 수집하도록 보장합니다.

교육 및 개발

코칭 기회를 파악하고 시간에 따른 에이전트 성과 개선을 측정합니다.

문제 해결

  • 프롬프트의 명확성과 구체성을 검토합니다.
  • 샘플 대화로 로직을 테스트하여 검증합니다.
  • 평가 기준의 예외 상황을 고려합니다.
  • 기록에 평가에 필요한 정보가 충분히 포함되어 있는지 확인합니다.
  • 프롬프트에 어떤 정보를 찾아야 하는지 구체적으로 명시합니다. - 대화에 평가에 필요한 충분한 맥락이 있는지 고려합니다. - 기록의 품질과 완전성을 검토합니다. - 일반적인 예외 상황을 처리하도록 기준을 조정합니다.
  • 각 평가 기준은 대화 분석에 처리 시간을 추가합니다.
  • 복잡한 프롬프트는 평가에 더 오래 걸릴 수 있습니다.
  • 포괄적인 분석과 응답 시간 간의 균형을 고려합니다.
  • 특정 요구 사항에 맞게 최적화할 수 있도록 사용량을 모니터링합니다.

성공 평가 결과는 외부 시스템 및 분석 플랫폼과 통합할 수 있도록 통화 후 웹훅을 통해 제공됩니다.