分析
エージェントのパフォーマンスを追跡し、実験を比較して、ワークスペース全体の最適化機会を特定します
概要
分析ダッシュボードでは、会話型エージェントの詳細なリアルタイム指標を確認できます。エージェント、ブランチ、期間、言語、通話タイプ、モデルなど、複数の軸でパフォーマンスを分析し、本番環境でのエージェントの動作を正確に把握できます。
分析データは高性能なカラム型データベースを基盤としており、大量の会話データに対しても、柔軟なフィルタリングやグループ化を使った高速なクエリを実行できます。
会話レベルのテーマを確認するには、Spotlight を使用してください。リアルタイムのインサイト、感情分析、トピックの発見、各トピックに関連する会話を確認できます。
分析へのアクセス
エージェントダッシュボードの 分析 タブに移動します。ワークスペース全体の指標を確認することも、特定のエージェントに絞り込むこともできます。
実験を実行する場合は、エージェント設定ページの 分析を表示 ボタンから、ブランチでフィルタリングされた分析画面に直接移動できます。エージェントとブランチのフィルターがあらかじめ適用されるため、バリアントのパフォーマンスをすぐに比較できます。
期間と粒度
ダッシュボード上部の日付ピッカーで、分析対象の期間を選択します。あらかじめ用意された期間を選ぶことも、カスタム期間を指定することもできます。
ダッシュボードは、選択した期間に応じて時系列グラフの粒度を自動調整します。短い期間では時間単位、長い期間では日単位または週単位で表示されます。
利用可能な指標
会話
- 通話数 — 選択した期間内の会話の合計数
- 合計時間 — 会話時間の合計
- 平均時間 — 会話時間の平均
- 合計コスト — すべての会話にかかった合計費用
- 平均コスト — 会話あたりの平均費用
パフォーマンス
- エージェント応答レイテンシー — エージェントが応答するまでの時間（中央値とパーセンタイル）
- エラー率 — エラーが発生した会話の割合
- エラー内訳 — タイプ別に分類されたエラー（ツールの失敗、LLMエラー、接続の問題）
成功評価
評価基準を設定している場合、ダッシュボードには各基準の成功率、失敗率、不明率が表示されます。これは実験全体のビジネス成果を測定する主な方法です。
データ収集
データ収集を設定している場合、収集した値をダッシュボードでフィルター可能なディメンションとして使用できます。
言語別の内訳
言語ごとの会話の分布を確認できます。多言語機能の利用状況を把握したり、言語間でエージェントのパフォーマンスを比較したりする際に役立ちます。
アクティブな通話
ダッシュボードには、現在アクティブな通話数がリアルタイムで表示されます。これはワークスペース全体で進行中のセッションを示し、APIからも利用できます。
フィルタリング
任意のディメンションを組み合わせてフィルターを適用し、分析ビューを絞り込めます。
グループ化
フィルタリング可能な任意のディメンションで指標をグループ化し、集計値の内訳を確認できます。
例：
- ブランチでグループ化 して実験バリアントを並べて比較
- 言語でグループ化 して言語ごとのエージェントのパフォーマンスを確認
- LLMモデルでグループ化 してモデルのパフォーマンスとコストを比較
- 通話タイプでグループ化 して着信通話と発信通話の違いを把握
複数のグループ化ディメンションを組み合わせることで、より詳細に分析できます。
ワークフロー分析
ワークフローを使用するエージェントでは、分析ダッシュボードの ワークフロー タブに利用指標がワークフローグラフ上へ直接表示されます。ワークフローを使用するエージェントを選択するとグラフビューが有効になり、会話フローとトラフィック量をワークフローキャンバス上で直接可視化できます。各ノードの詳細な流入と流出も確認できます。
ノード指標
ワークフローグラフの任意のノードをクリックすると、インスペクターが開き、次の項目を確認できます。
- エントリー — 選択した期間中にノードへ入った会話数
- 平均滞在時間 — それらのエントリーでノードがアクティブだった平均時間
- 終了 — ノードがアクティブな間に終了した会話数
- 流入と流出 — 上流の各エッジから入った会話と、下流の各エッジを通って出た会話の分布
会話の詳細確認
ノードインスペクターで 会話を表示 をクリックすると、そのノードでフィルタリングされた会話履歴ページに移動します。これにより ノードに到達 フィルターが適用されます。このフィルターは特定のエージェントに限定された履歴フィルターで、選択したワークフローノードに少なくとも一度到達した文字起こしを持つすべての会話を表示します。
ノードに到達 フィルターは、会話履歴ページから直接使用することもできます。
実験での分析の使用
分析は、実験の成果を測定するための主要なツールです。推奨されるワークフローは次のとおりです。
エージェント設定ページでトラフィックデプロイ設定の横にある 分析を表示 ボタンをクリックすると、このビューに直接移動できます。適切なエージェントとブランチのフィルターがあらかじめ適用されます。