跳到导航

分析

跟踪智能体表现、比较实验,并发现工作区中的优化机会

概览

分析仪表板为对话式智能体提供细粒度的实时指标。你可以按智能体、分支、时间段、语言、通话类型、模型等多个维度细分表现,准确了解智能体在生产环境中的表现。

分析数据由高性能列式数据库提供支持,可对大量对话数据进行快速查询,并支持灵活筛选和分组。

如需了解对话层面的主题,请使用 Spotlight 查看实时洞察、情感分析、主题发现,以及每个主题背后的对话。

访问分析

前往智能体仪表板中的 分析 标签。你可以查看整个工作区的指标,也可以筛选至特定智能体。

分析仪表板的“常规”标签,显示通话次数、平均时长、总成本和随时间变化的通话量

运行实验时,可通过智能体配置页面的 查看分析 按钮直接进入按分支筛选的分析页面。系统会预先应用智能体和分支筛选条件,以便立即比较不同变体的表现。

时间范围和粒度

使用仪表板顶部的日期选择器选择分析的时间范围。你可以选择预设范围,也可以自定义时间窗口。

仪表板会根据所选范围自动调整时间序列图表的粒度:较短范围按小时分组,较长范围按天或周分组。

可用指标

对话

  • 通话次数 — 所选时间段内的对话总数
  • 总时长 — 对话时长总计
  • 平均时长 — 平均对话时长
  • 总成本 — 所有对话的总支出
  • 平均成本 — 每次对话的平均成本

性能

  • 智能体响应延迟 — 智能体响应所需时间(中位数和百分位数)
  • 错误率 — 发生错误的对话占比
  • 错误明细 — 按类型分类的错误(工具失败、LLM 错误、连接问题)

成功评估

如果已配置评估标准,仪表板会显示每项标准的成功率、失败率和未知率。这是衡量不同实验业务结果的主要方式。

数据收集

如果已配置数据收集,收集的值可作为仪表板中可筛选的维度。

语言明细

查看不同语言的对话分布。这有助于了解多语言使用情况,并比较智能体在不同语言中的表现。

活跃通话

仪表板会实时显示当前活跃通话数量。这反映了工作区内正在进行的会话,也可通过 API 获取。

筛选

通过任意组合维度的筛选条件缩小分析范围:

“工具”标签,显示按工具类型分组的平均错误率和平均工具延迟

筛选条件说明
智能体查看特定智能体的指标
分支比较不同实验分支的表现
通话类型按呼入、呼出或网页通话筛选
语言按对话语言筛选
对话来源按对话发起方式筛选(小部件、电话、API)
LLM 模型比较不同语言模型的表现
TTS 模型比较不同文本转语音模型的表现
ASR 模型比较不同语音识别模型的表现
工具类型按对话中使用的特定工具筛选
错误类型筛选具有特定错误类别的对话
评估标准按成功评估结果筛选

分组

按任意可筛选维度对指标分组,细分汇总数据。

“LLM”标签,显示 LLM 首句生成时间随时间的变化

轮次衔接延迟图表,显示 p50、p90 和 p99 百分位数

例如:

  • 按分支分组,并排比较实验变体
  • 按语言分组,查看智能体在不同语言中的表现
  • 按 LLM 模型分组,比较模型性能和成本
  • 按通话类型分组,了解呼入和呼出通话的差异

可组合多个分组维度进行更深入的分析。

工作流分析

工作流分析标签,显示叠加在工作流图上的每个节点进入次数、时长、终止次数和边流量

对于使用工作流的智能体,分析仪表板中的 工作流 标签会将使用指标直接叠加在工作流图上。选择使用工作流的智能体即可启用图表视图——随后可直接在工作流画布上查看对话流和流量,并查看每个节点的详细流入和流出情况。

节点指标

点击工作流图中的任意节点,打开检查器并查看:

  • 进入次数 — 所选时间范围内进入该节点的对话数量
  • 平均停留时间 — 这些对话中节点平均处于活跃状态的时长
  • 终止次数 — 节点处于活跃状态时结束的对话数量
  • 流入和流出 — 从各上游边进入和经各下游边离开的对话分布

深入查看对话

在节点检查器中,点击 查看对话,即可跳转至已筛选该节点的对话历史页面。这会应用 已进入节点 筛选条件——该历史筛选条件限定于特定智能体,会显示转录文本至少一次进入所选工作流节点的所有对话。

已进入节点 筛选条件也可直接在对话历史页面中使用。

将分析用于实验

分析是衡量实验结果的主要工具。建议工作流程:

1

按智能体筛选

选择运行实验的智能体。
2

按分支分组

按分支细分所有指标,查看各变体的表现。

3

比较关键指标

查看与假设相关的指标:成功评估结果、对话时长、成本、错误率。

4

决策并执行

当某个变体持续表现更好时,提高其流量占比或将其合并到主分支。

你可以在智能体配置页面中,点击流量部署设置旁的 查看分析 按钮直接进入此视图。系统会预先应用正确的智能体和分支筛选条件。

后续步骤