会話型エージェントの有効性を分析する

Copilot Studio の 分析 ページは、分析セッション 全体のエージェントの全体的な有効性に関する集計分析情報を提供します。 このページは、さまざまなパフォーマンス コンテキストに重点を置くコア領域に分かれています。 また、このページには、エージェントの高レベルの主要業績評価指標 (KPI) メトリックを提供する [概要 ] 領域、エージェントまたはエージェントのツールに起因する時間とコストの節約を分析する [節約 ] 領域、およびエージェントのパフォーマンスに関する主要な分析情報を提供する [概要 ] 領域も表示されます。

詳細情報は、次のとおりです。

• [概要] 領域と [概要] 領域については、「分析の概要」を参照してください。
• 節約領域については、「エージェントの時間とコスト削減の分析」を参照してください。

会話エージェントの有効性を確認して改善する際に重点を置く 6 つの主要な領域があります。

• テーマ: テーマ は、ユーザーの質問を AI が提案するカテゴリにクラスタリングすることで、分析の分析情報を得るのに役立ちます。
• 会話の結果: 会話の最終的な結果を知ることで、エージェントが成功している場所と改善が必要な場所を特定し始めるのに役立ちます。
• エージェント: 子エージェントと接続されているエージェントの通話ボリューム メトリック、成功率、現在の状態を確認します。
• 生成された回答率と品質: エージェントがユーザーの質問に対する回答を提供するのに苦労する時期と、ナレッジ ソースを使用する方法を理解することは、エージェントの回答率と品質を向上させる方法を見つけるのに役立ちます。
• ツールの使用: ツールが使用される頻度と、ツールが成功する頻度を学習すると、それらのツールがユーザーにとって役立ち、成功しているかどうかを理解するのに役立ちます。
• 満足度: ユーザーのフィードバックを確認すると、新しいユーザー のシナリオと問題を特定し、ユーザーが求めている内容に基づいて直接改善を行うことができます。

過去 90 日間に発生したイベントの分析を表示できます。

会話の結果

[会話の結果] セクションには、エージェントとユーザーの間の各セッションの結果の種類を追跡するグラフが表示されます。

会話の結果データ (グラフに視覚化されたデータ) をダウンロードするには、メニュー アイコン を選択し、[ CSV のダウンロード] を選択します。

セッション 結果の円グラフ 内訳と、各結果につながった上位トピックを含むサイド パネルを開くには、グラフで 詳細の表示 を選択します。

セッション は、次の 2 つの状態のいずれかになります。

• 未従事: セッションは、ユーザーが エージェント と対話したとき、またはエージェントがユーザーにプロアクティブ メッセージを送信したときに開始されます。 セッションは 従事していない 状態で始まります。

• エンゲージ: ユーザーはエージェントとアクティブに対話します。 エージェントのオーケストレーション モードに基づく動作には違いがあります。

  • クラシック オーケストレーション: 次のいずれかのトピックがトリガーされると、セッションが関与します。

    • ユーザーが直接トリガーするカスタム トピック
    • トピックを優先事項にする
    • フォールバック トピック
    • 会話を促進するトピック

  • 生成型AIオーケストレーション: ユーザーがプランを直接トリガーし、次のいずれかの要素を含めると、セッションが開始されます。

    • 非システム トピック
    • トピックを優先事項にする
    • フォールバック トピック
    • 知識の源
    • ツール

関与したセッションには、次のいずれかの結果があります。

• エスカレート: セッションが終了し、エスカレート トピックがトリガーされるか、エージェントへの転送ノードが実行されたときにエスカレートされたと見なされます (会話がライブ エージェントに転送されるかどうかにかかわらず、現在の分析セッションが終了します)。

• 解決済み: セッションが正常に終了しました。 解決されたセッションには、解決済みの確認済みセッションと暗黙的な 解決 済みセッションの 2 種類 があります。

  • 解決済み確認済み: セッションは、[会話の終了] トピックがトリガーされ、ユーザーが操作が成功したことを確認したときに、解決済みと見なされます。

  • 暗黙の解決済み: セッションは、ユーザーの確認なしでセッションが完了したときに 暗黙的に解決 されますが、代わりにエージェントのロジックに基づいて解決されます。 解決済みの暗黙的な状態は、エージェントがクラシック AI オーケストレーションと Generative AI オーケストレーションのどちらを使用しているかによって異なります。

    • クラシック オーケストレーション: セッションは、[会話の終了] トピックがトリガーされたときに暗黙的に解決済みと見なされ、ユーザーは確認を提供せずにセッションをタイムアウトにします。
    • 生成 AI オーケストレーション: セッションがタイムアウトし、アクティブなプランが残っていない場合、セッションは 暗黙的に解決された と見なされます。 アクティブなプランは、ユーザーの入力を待機しているプランです。

• 破棄済み: セッションが終了し、30 分後にセッションがタイムアウトし、解決またはエスカレートされた状態に達しなかった場合、 破棄 されたと見なされます。

ツール コード エディターを使用して、 conversationOutcome パラメーターを使用してツールの結果を設定することもできます。 たとえば、確認された成功の場合は conversationOutcome: ResolvedConfirmed、暗黙の成功の場合は conversationOutcome: ResolvedImplied です。

エンゲージメントを測定および改善する方法に関する提案とベストプラクティスについては、ガイダンスドキュメント コパイロットエンゲージメントの測定 を参照してください。

Agents

[ エージェント] リストには、メイン エージェントの 接続済みエージェントと子エージェント の高レベルのボリューム、パフォーマンス、およびステータス メトリックが表示されます。 このリストは、リストされたエージェントがメインエージェントに対して持つ関係タイプを [ タイプ ] 列で識別します。 エージェントが子エージェントの場合、そのタイプは Child です。 接続エージェントには、作成された場所を反映するリストされたタイプがあります (たとえば、 Copilot Studio、 Azure AI Foundry)。 リストされている各エージェントの 通話 メトリックは、メインエージェントから接続されたエージェントまたは子エージェントへの通話量を表します。 成功率は 、正常に完了したコールの割合(すべてのコールの % として)を反映します。 ステータスは 、接続されている各エージェントと子エージェントの個々の管理ステータスを示します。

デフォルトでは、 エージェント リストには、メインエージェントの上位5人の接続エージェントと子エージェントが、質問の総数が多いものから少ないものの順にランク付けされます。 エージェントが 5 人を超える場合は、[ すべて表示 ] を選択してすべてのエージェントを表示します。

生成された回答率と品質 (プレビュー)

生成的な回答を使用すると、エージェントは AI を使用して、ナレッジ ソースと指定した手順を使用してユーザー クエリに対する回答を生成できます。 ただし、エージェントがすべてのユーザー クエリに応答できない場合があります。 [生成された回答率と品質] セクションでは、応答のないクエリと回答の品質を追跡、整理、分析して、エージェントの応答パフォーマンスを向上させるためのガイダンスを提供します。

回答率には、選択した期間内の回答および未回答の質問の数と、時間の経過に伴う変化率が表示されます。

回答の品質 は、AI を使用して回答の品質を測定します。 Copilot Studio は、回答された質問のサンプル セットを調べて、応答の完全性、関連性、根拠のレベルなど、さまざまな品質を分析します。 回答が一定の標準を満たしている場合、Copilot Studio は回答を 良い 品質としてラベル付けします。 Copilot Studio では、その標準を満たしていない回答に 品質の低い ラベルが付けられます。 低回答の場合、Copilot Studio は品質評価の理由を割り当て、各カテゴリに割り当てられた回答の割合を示します。

このセクションに関するフィードバックは、 [親指を立てる] アイコンと [親指を下げる] アイコンを使用して Microsoft に提供できます。 [ Microsoft へのフィードバックの送信] パネルを使用して、コメントを追加し、関連ファイルを共有します。 このような説明的なフィードバックを提供することで、私たちは協力して製品を継続的に改善することができます。

1. [ Microsoft にフィードバックを送信する] パネルで、パネルを開くために選択したアイコンに応じて、好きなものや嫌いなものを自然言語で説明します。
2. プロンプト、生成された応答、関連するコンテンツサンプル、および追加のログファイルを共有するかどうかを選択します。
3. 送信を選択します。

[ 詳細を表示] を選択すると、選択した期間の質問回答率、ナレッジ ソースの使用状況、エラー率を含むサイド パネルが開きます。 これらのグラフを使用して、どのナレッジ ソースがユーザーに役立つか、どのナレッジ ソースを改善の対象にするかを特定できます。

サイドパネルで、[ すべて ] を選択してメイン エージェントと子エージェントの両方のメトリックを表示し、[ メイン エージェント ] を選択してメイン エージェントのみに関するメトリックを表示し、[子エージェントのみ] のメトリックを表示する場合は [ 子エージェント ] を選択します。

• 未回答の質問は、 エージェントがユーザー クエリに応答しなかった理由を示しています。
• ナレッジソースの使用 エージェントがアクセスできる各ナレッジソースを使用したセッションの割合を示します。
• すべてのソース には、各ナレッジ ソースを使用した質問の割合が表示されます。
• エラー は、ナレッジ ソースの種類 (SharePoint など) ごとにナレッジ関連のエラーが発生したクエリの割合を示します。

分析情報 (プレビュー)

分析では AI を使用して、エージェントがユーザー クエリに応答する方法に関するカスタム分析情報を提供します。 Copilot Studio は、未回答のクエリを分析し、それらをテーマごとにグループにクラスター化した後、各グループのパフォーマンスを向上させるアクションに基づいてコンテキスト分析情報を生成します。 Copilot Studio は、過去 7 日間のすべての未回答のユーザー クエリを使用して、この分析情報の種類のクラスターを毎日生成します。 上位 5 つの分析情報を表示できます。

1. [回答率と品質] セクションで [分析情報] を選択します。

2. 分析情報を切り替えるには、 < 矢印と > 矢印を使用します。

3. 引用文献を選択すると、分析情報の詳細が表示されます。

[ 会話情報の取得 ] を選択して、未回答のユーザー クエリが表示される会話 ID の CSV リストをダウンロードすることもできます。

ツールの使用

[ ツールの使用 ] セクションには、ツールが時間の経過と同時に開始される頻度と、エージェントがそれらのツールを正常に使用した頻度を追跡するグラフとメトリックが表示されます。 また、エージェントが各ツールを使用する頻度と、呼び出されたツールが正常に使用された割合の傾向インジケーターも表示されます。

このグラフには、 Analytics ページの上部で定義された期間に使用された上位 5 つのツールが表示されます。

指定した期間に使用されたすべてのツールの一覧と傾向インジケーターを含むサイド パネルを開くには、[グラフの 詳細を表示 ] を選択します。 ツールの使用パネルでは、メインエージェントと子エージェントの両方(すべて)、メインエージェントのみ、または子エージェントのみについて、各ツールに使用される質問の割合の計算を表示できます。

満足度

[満足度] セクションには、セッションの反応からエージェントへの回答とアンケート結果に対して収集されたユーザー フィードバックが表示されます。 満足度は、2 つの小さなセクションに分割されます。[ Responses ]\(反応\) セクション (サムを上に表示するセクション)、特定のエージェントの応答に対するサムダウン フィードバック、およびセッション全体の顧客満足度 (CSAT) スコアを表示する [アンケート結果 ] セクションです。

フィードバック データは、Dataverse の会話トランスクリプト テーブルに格納されます。 この機能をサポートするチャネルの一覧については、「 機能の詳細」を参照してください。

反応

[ Reactions]\(反応\ ) セクションには、セッションの反応からエージェントの回答とアンケート結果に対して収集されたユーザー フィードバックが表示されます。 グラフでは、エージェントから受け取った各応答で、ユーザーがサムアップ (正) またはサムダウン (負の) ボタンを選択した回数がカウントされます。

ユーザーがリアクションを行った後、コメントを残すことができます。 コメントを表示するには、[ 詳細を表示] を選択します。 [ リアクション ] パネルで、[ すべて]、[ サムアップ]、または [サムダウン ] を選択してコメントをフィルター処理します。

各反応について、関連するユーザー クエリとエージェントの応答を表示するには、コメントの横にあるトグルを選択します。 [分析] ページには、ユーザー クエリとエージェントの応答が最大 28 日間保存されます。

ユーザーからのフィードバックは、既定で オン です。 必要に応じて、この機能をオフにすることができます。 また、フィードバックの使用方法に関するユーザー向けの免責事項を追加または編集することもできます。

1. エージェントを開いて、設定 に移動して ユーザー フィードバック セクションでバージョン番号を確認します。

2. このエージェントを使用する時にユーザーがフィードバックを与える を オン または オフ のいずれかにします。

3. 免責事項を追加または編集して、フィードバックがどのように使用されるかをユーザーが把握できるようにします。 また、プライバシー情報やヒントを提供することもできます。

アンケート結果

アンケート結果 セクションは、顧客がセッション終了時のアンケート依頼に応じたセッションの顧客満足度 (CSAT) の平均スコアを示します。

[ 詳細を表示] を選択して、レポートの構成された期間における満足度スコアの傾向を確認します。