跳到导航

成功评估

定义自定义标准,评估对话质量、目标达成情况和客户满意度。

成功评估可让你为对话定义自定义目标和成功指标。系统会根据对话记录评估每项标准,并返回 success、failure 或 unknown 结果,以及详细理由。

概述

成功评估使用由 LLM 驱动的分析,根据特定业务目标评估对话质量。这样可系统地衡量所有客户互动的表现并进行质量保障。

工作原理

每项评估标准都会使用自定义提示词分析对话记录,并返回:

  • 结果:success、failure 或 unknown
  • 理由:说明为何选择该结果的详细解释

评估标准类型

目标提示词标准 会将对话记录和自定义提示词一同传递给 LLM,以验证是否达成特定目标。这是最灵活的评估类型,可用于复杂的业务逻辑。

示例:

  • 客户满意度评估
  • 问题解决验证
  • 合规检查
  • 自定义业务规则验证

配置

1

进入智能体设置

前往智能体仪表板,选择 分析 标签页以配置评估标准。

分析设置

2

添加评估标准

点击 添加评估 创建新的评估标准,或从工作区的分析库添加评估标准。

可通过以下内容定义标准:

  • 名称:标准名称(例如:用户未感到不满)
  • 描述:详细说明评估内容的提示词

设置评估标准

每个智能体最多可设置 30 项评估标准。

3

查看结果

对话结束后,评估结果会显示在对话历史仪表板中。每段对话都会显示每项已配置标准的评估结果和理由。

对话历史中的评估结果

最佳实践

  • 明确说明成功与失败的判定标准
  • 在提示词中包含边缘情况和示例
  • 尽可能使用清晰、可衡量的标准
  • 使用不同的对话场景测试提示词
  • 客户满意度:“如果客户表达满意或其问题已解决,则标记为成功” - 目标完成情况:“如果客户完成了 所请求的操作(预约、购买等),则标记为成功” - 合规性:“如果智能体遵循了所有必需的合规流程,则标记为成功” - 问题解决:“如果 客户的技术问题在通话期间得到解决,则标记为成功”

当 LLM 无法根据记录判断成功或失败时,会返回 unknown 结果。常见情况包括:

  • 对话未完成
  • 客户回复含糊
  • 对话记录缺少信息

关注 unknown 结果,以找出需要优化标准提示词的地方。

使用场景

客户支持质量

衡量问题解决率、客户满意度和支持质量指标,改进 服务交付。

销售表现

跟踪销售对话中的目标达成情况、异议处理和转化率。

合规监控

确保智能体遵循必需流程,并记录必要的同意或披露 确认。

培训与发展

发现辅导机会,并衡量智能体表现随时间的提升情况。

故障排除

  • 检查提示词是否清晰、具体
  • 使用示例对话测试,验证逻辑
  • 考虑评估标准中的边缘情况
  • 检查对话记录是否包含足够的评估信息
  • 确保提示词明确说明要查找的信息 - 考虑对话是否 包含足够的评估上下文 - 检查对话记录的质量和完整性 - 调整 标准以处理常见边缘情况
  • 每项评估标准都会增加对话分析的处理时间
  • 复杂提示词的评估可能需要更长时间
  • 考虑全面分析与响应时间之间的权衡
  • 监控使用情况,以满足特定需求

可通过通话后 Webhook获取成功评估结果,以便与外部系统 和分析平台集成。