会話型エージェントの有効性を分析する

[この記事はプレリリース ドキュメントであり、変更されることがあります。]

Copilot Studio の 分析 ページは、分析セッション 全体のエージェントの全体的な有効性に関する集計分析情報を提供します。

エージェントの有効性をレビューおよび改善する際に焦点を当てるべき4つの主要な領域があります。

• 会話の結果: 会話の最終的な結果を知ることで、エージェントが成功している場所と改善が必要な場所を特定し始めるのに役立ちます。
• 生成された回答率と品質: エージェントがユーザーの質問に対する回答を提供するのに苦労する時期と、ナレッジ ソースを使用する方法を理解することは、エージェントの回答率と品質を向上させる方法を見つけるのに役立ちます。
• ツールの使用: ツールが使用される頻度と、ツールが成功する頻度を学習すると、それらのツールがユーザーにとって役立ち、成功しているかどうかを理解するのに役立ちます。
• 満足度: ユーザー フィードバックを確認すると、新しいユーザー シナリオと問題を特定し、ユーザーが求めている内容に基づいて直接改善を行うことができます。

過去 90 日間に発生したイベントの分析を表示できます。

会話の結果

[会話の結果] セクションには、エージェントとユーザーの間の各セッションの結果の種類を追跡するグラフが表示されます。

セッション 結果の円グラフ 内訳と、各結果につながった上位トピックを含むサイド パネルを開くには、グラフで 詳細の表示 を選択します。

セッション は、次の 2 つの状態のいずれかになります。

• 未従事: セッションは、ユーザーが エージェント と対話したとき、またはエージェントがユーザーにプロアクティブ メッセージを送信したときに開始されます。 セッションは 従事していない 状態で始まります。
• 関与: セッションが 関与 になるのは、次のいずれかが発生した場合です。
  • 非システム トピックがトリガーされる
  • セッションはエスカレーション済みです
  • フォールバック トピック がトリガーされます
  • 会話ブースティング トピック がトリガーされます

セッション が従事の状態になると、その状態は継続されます。 関与したセッションには、次のいずれかの結果があります。

• エスカレート: エスカレート トピックがトリガーされたとき、または エージェントへの転送 ノードが実行されたとき (会話がライブ エージェントに転送されたかどうかに関係なく、現在の分析セッションが終了する) に、セッションが終了し、エスカレート されたと見なされます。

• 解決済み確認済み: セッションは、会話の終了トピックがトリガーされたときに解決済みと見なされ、ユーザーは対話が成功したことを確認します。

• 暗黙的な解決: セッションがユーザーの確認なしで完了したと見なされると、セッションは 暗黙的に解決 されます。 暗黙的に解決された状態の原因は、エージェントがクラシック オーケストレーションと生成オーケストレーションのどちらを使用しているかによって異なります。

  • クラシック オーケストレーション: セッションは、会話の終了トピックがトリガーされたときに暗黙的に解決されたと見なされ、ユーザーは確認を提供せずにセッションをタイムアウトにします。
  • 生成オーケストレーション: 非アクティブな状態が 15 分経過した後にセッションが終了し、アクティブなプランが残っていない場合、セッションは 暗黙的に解決 されたと見なされます。 アクティブなプランは、ユーザーの入力を待機しているプランです。

• 破棄済み: セッションが終了し、15 分後にセッションがタイムアウトし、解決またはエスカレートされた状態に達しなかった場合、 破棄 されたと見なされます。

ツール コード エディターを使用して、 conversationOutcome パラメーターを使用してツールの結果を設定することもできます。 たとえば、確認された成功の場合は conversationOutcome: ResolvedConfirmed、暗黙の成功の場合は conversationOutcome: ResolvedImplied です。

エンゲージメントを測定および改善する方法に関する提案とベストプラクティスについては、ガイダンスドキュメント コパイロットエンゲージメントの測定 を参照してください。

生成された回答率と品質 (プレビュー)

生成的な回答を使用すると、エージェントは AI を使用して、ナレッジ ソースと指定した手順を使用してユーザー クエリに対する回答を生成できます。 ただし、エージェントがすべてのユーザー クエリに応答できない場合があります。 [生成された回答率と品質] セクションでは、応答のないクエリと回答の品質を追跡、整理、分析して、エージェントの応答パフォーマンスを向上させるためのガイダンスを提供します。

回答率には、選択した期間内の回答および未回答の質問の数と、時間の経過に伴う割合の変化が表示されます。

回答の品質 は、AI を使用して回答の品質を測定します。 Copilot Studio は、回答された質問のサンプル セットを調べて、応答の完全性、関連性、根拠のレベルなど、さまざまな品質を分析します。 回答が一定の標準を満たしている場合、Copilot Studio は回答を 良い 品質としてラベル付けします。 Copilot Studio では、その標準を満たしていない回答に 品質の低い ラベルが付けられます。 低回答の場合、Copilot Studio は品質評価の理由を割り当て、各カテゴリに割り当てられた回答の割合を示します。

[ 詳細を表示] を選択すると、選択した期間の質問回答率、ナレッジ ソースの使用状況、エラー率を含むサイド パネルが開きます。 これらのグラフを使用して、どのナレッジ ソースがユーザーに役立つか、どのナレッジ ソースを改善の対象にするかを特定できます。

• 未回答の質問は、 エージェントがユーザー クエリに応答しなかった理由を示しています。
• ナレッジソースの使用 エージェントがアクセスできる各ナレッジソースを使用したセッションの割合を示します。
• すべてのソース には、各ナレッジ ソースを使用した質問の割合が表示されます。
• エラー は、ナレッジ ソースの種類 (SharePoint など) ごとにナレッジ関連のエラーが発生したクエリの割合を示します。

分析情報 (プレビュー)

分析では AI を使用して、エージェントがユーザー クエリに応答する方法に関するカスタム分析情報を提供します。 Copilot Studio は、未回答のクエリを分析し、それらをテーマごとにグループにクラスター化した後、各グループのパフォーマンスを向上させるアクションに基づいてコンテキスト分析情報を生成します。 Copilot Studio は、過去 7 日間のすべての未回答のユーザー クエリを使用して、この分析情報の種類のクラスターを毎日生成します。 上位 5 つの分析情報を表示できます。

1. [回答率と品質] セクションで [分析情報] を選択します。

2. 分析情報を切り替えるには、 < 矢印と > 矢印を使用します。

3. 引用文献を選択すると、分析情報の詳細が表示されます。

[ 会話情報の取得 ] を選択して、未回答のユーザー クエリが表示される会話 ID の CSV リストをダウンロードすることもできます。

ツールの使用

[ ツールの使用 ] セクションには、ツールが時間の経過と同時に開始される頻度と、エージェントがそれらのツールを正常に使用した頻度を追跡するグラフとメトリックが表示されます。 また、エージェントが各ツールを使用する頻度と、呼び出されたツールが正常に使用された割合の傾向インジケーターも表示されます。

このグラフには、 Analytics ページの上部で定義された期間に使用された上位 5 つのツールが表示されます。

指定した期間に使用されたすべてのツールの一覧と傾向インジケーターを含むサイド パネルを開くには、[グラフの 詳細を表示 ] を選択します。

満足度

[満足度] セクションには、セッションの反応からエージェントへの回答とアンケート結果に対して収集されたユーザー フィードバックが表示されます。 満足度は、2 つの小さなセクションに分割されます。[ Responses ]\(反応\) セクション (サムを上に表示するセクション)、特定のエージェントの応答に対するサムダウン フィードバック、およびセッション全体の顧客満足度 (CSAT) スコアを表示する [アンケート結果 ] セクションです。

フィードバック データは、Dataverse の会話トランスクリプト テーブルに格納されます。 この機能をサポートするチャネルの一覧については、「 機能の詳細」を参照してください。

反応

[ Reactions]\(反応\ ) セクションには、セッションの反応からエージェントの回答とアンケート結果に対して収集されたユーザー フィードバックが表示されます。 グラフでは、エージェントから受け取った各応答で、ユーザーがサムアップ (正) またはサムダウン (負の) ボタンを選択した回数がカウントされます。

ユーザーがリアクションを行った後、コメントを残すことができます。 コメントを表示するには、[ 詳細を表示] を選択します。 コメントをフィルター処理するには、[ すべて]、[ サムアップ]、または [サムダウン ] を選択します。

ユーザーからのフィードバックは、既定で オン です。 必要に応じて、この機能をオフにすることができます。 また、フィードバックの使用方法に関するユーザー向けの免責事項を追加または編集することもできます。

1. エージェントを開いて、設定 に移動して ユーザー フィードバック セクションでバージョン番号を確認します。

2. このエージェントを使用する時にユーザーがフィードバックを与える を オン または オフ のいずれかにします。

3. 免責事項を追加または編集して、フィードバックがどのように使用されるかをユーザーが把握できるようにします。 また、プライバシー情報やヒントを提供することもできます。

アンケート結果

アンケート結果 セクションは、顧客がセッション終了時のアンケート依頼に応じたセッションの顧客満足度 (CSAT) の平均スコアを示します。

[ 詳細を表示] を選択して、レポートの構成された期間における満足度スコアの傾向を確認します。