分析
分析
ワークスペース全体でエージェントのパフォーマンスを追跡し、実験を比較して、最適化の機会を特定します
概要
分析ダッシュボードでは、会話型エージェントの詳細なリアルタイム指標を確認できます。エージェント、ブランチ、期間、言語、通話タイプ、モデルなど、複数の切り口でパフォーマンスを分析し、本番環境でのエージェントの動作を正確に把握できます。
分析データは高性能なカラム型データベースによって処理され、大量の会話データに対する高速なクエリ、柔軟なフィルタリング、グループ化を実現します。
会話レベルのテーマについては、Spotlightを使用して、リアルタイムのインサイト、感情分析、トピックの発見、各トピックに関連する会話を確認できます。
分析へのアクセス
エージェントダッシュボードの分析タブに移動します。ワークスペース全体の指標を確認することも、特定のエージェントに絞り込むこともできます。
実験を実行している場合は、エージェント設定ページの分析を表示ボタンから、ブランチでフィルタリング済みの分析画面に直接移動できます。エージェントとブランチのフィルターがあらかじめ適用されるため、バリアントのパフォーマンスをすぐに比較できます。
期間と粒度
ダッシュボード上部の日時ピッカーで、分析の期間を選択します。プリセットの期間を選ぶか、カスタム期間を指定できます。
ダッシュボードでは、選択した期間に応じて時系列グラフの粒度が自動的に調整されます。短い期間では時間単位、長い期間では日単位または週単位で集計されます。
利用可能な指標
会話
- 通話数 — 選択した期間の会話総数
- 合計時間 — 会話時間の合計
- 平均時間 — 会話時間の平均
- 合計コスト — すべての会話にかかった合計コスト
- 平均コスト — 会話あたりの平均コスト
パフォーマンス
- エージェント応答レイテンシー — エージェントが応答するまでの時間（中央値およびパーセンタイル）
- エラー率 — エラーが発生した会話の割合
- エラー内訳 — タイプ別に分類されたエラー（ツール障害、LLMエラー、接続の問題）
成功評価
評価基準を設定している場合、ダッシュボードには各基準の成功率、失敗率、不明率が表示されます。実験全体のビジネス成果を測定する主な方法です。
データ収集
データ収集を設定している場合、収集した値をダッシュボードでフィルタリング可能なディメンションとして使用できます。
言語別内訳
言語ごとの会話分布を確認できます。多言語での利用状況を把握し、言語ごとのエージェントパフォーマンスを比較する際に役立ちます。
アクティブな通話
ダッシュボードには、現在アクティブな通話数がリアルタイムで表示されます。これはワークスペース全体で進行中のセッションを示し、APIからも取得できます。
フィルタリング
任意のディメンションを組み合わせてフィルターを適用し、分析ビューを絞り込めます。
グループ化
フィルタリング可能な任意のディメンションで指標をグループ化し、集計値の内訳を確認できます。
例：
- ブランチでグループ化して、実験バリアントを並べて比較する
- 言語でグループ化して、言語ごとのエージェントパフォーマンスを確認する
- LLMモデルでグループ化して、モデルのパフォーマンスとコストを比較する
- 通話タイプでグループ化して、着信と発信の違いを把握する
複数のグループ化ディメンションを組み合わせて、さらに詳しく分析できます。
ワークフロー分析
ワークフローを持つエージェントでは、分析ダッシュボードのワークフロータブで、使用状況の指標をワークフローグラフ上に直接重ねて表示できます。ワークフローを使用するエージェントを選択するとグラフビューが有効になります。各ノードの詳細な流入・流出とともに、会話の流れとトラフィック量をワークフローキャンバス上で直接可視化できます。
ノード指標
ワークフローグラフ内のノードをクリックすると、インスペクターが開き、次の情報を確認できます。
- 流入数 — 選択した期間内にノードに入った会話数
- 平均滞在時間 — それらの流入においてノードがアクティブだった平均時間
- 終了数 — ノードがアクティブな間に終了した会話数
- 流入・流出フロー — 各上流エッジから流入し、各下流エッジから流出する会話の分布
会話を詳しく調べる
ノードインスペクターで会話を見るをクリックすると、そのノードでフィルタリングされた会話履歴ページに移動します。これによりノードに入ったフィルターが適用されます。これは特定のエージェントを対象とする履歴フィルターで、選択したワークフローノードに少なくとも1回入った記録があるすべての会話を表示します。
ノードに入ったフィルターは、会話履歴ページからも直接利用できます。
実験での分析の活用
分析は、実験の成果を測定するための主要なツールです。推奨するワークフローは次のとおりです。
エージェント設定ページで、トラフィックデプロイ設定の横にある分析を表示ボタンをクリックすると、このビューに直接移動できます。適切なエージェントとブランチのフィルターがあらかじめ適用されます。