[この記事はプレリリース ドキュメントであり、変更されることがあります]
テーマは、生成的な回答をトリガーするユーザーの質問のプールから取得された質問のグループです。 テーマは、関連するユーザーの質問をインテリジェントに整理し、管理しやすいグループにクラスター化します。 テーマを使用すると、顧客の意図に関するカテゴリ レベルの分析情報を取得し、頻繁なトピックを特定し、改善が必要な領域に重点を置くことができます。 その後、テーマの個々の質問にドリルダウンし、このより詳細なレベルでパフォーマンスを監視して、テーマ レベルのメトリックをより深く理解できます。
Important
この記事には、Microsoft Copilot Studio のプレビュー ドキュメントが含まれており、変更される可能性があります。
プレビュー機能は運用環境向けではなく、機能が制限されている可能性があります。 これらの機能は公式リリースの前に利用できるため、早期にアクセスして フィードバックを提供できます。
運用対応エージェントを構築する場合は、 Microsoft Copilot Studio の概要を参照してください。
重要な価値提案
テーマ機能は、過去 1 週間に生成 AI 応答をトリガーしたすべての未分類の質問を自動的に分析し、この分析に基づいてテーマを提案します。 このプロセスは毎週実行されます。 毎週 のテーマ提案の 実行の間に、この機能は、生成的な AI 応答をトリガーする新しい質問の毎日の分類を実行し、このデータをテーマ メトリックに追加します。 提案された テーマ の一覧は定期的に更新されるため、テーマは関連性が維持され、最新のユーザー データが反映されます。 この自動更新では、次の方法で時間を節約できます。
- 新しいデータに対するテーマの関連性を継続的に評価する
- 個々の質問をテーマに自動的に分類する
- 各テーマの生メトリック データの取得を自動化する
- 各テーマの集計メトリック データの計算
[前提条件]
テーマ機能の価値を最適化するには、各テーマのコンポーネントの質問と回答にドリルダウンできることも含まれます。
リストとそのメトリックを表示するには、 Bot Transcript Viewer セキュリティ ロールが必要です。 管理者のみが、 エージェントの共有中に Bot Transcript Viewer セキュリティ ロールを割り当てることで、このロールを付与できます。
Dataverse に会話トランスクリプトを格納するための環境レベルの設定が有効になっています。
提案されたテーマと分類された質問
Copilot Studio は、最近の質問の記録に基づいてテーマを提案します。 組織の構造とカスタマー エクスペリエンス戦略に合わせて提案された各テーマを調整することで、テーマ固有の主要業績評価指標 (KPI) を通じてより良い分析情報を得ることができます。 この細分性が高いほど、エージェントのパフォーマンスが低い場所を簡単に見つけることができます。
テーマは、ユーザーがエージェントに質問している質問とエージェントの実行方法を理解するのに役立ちます。 テーマベースの分析の最初の実行では、Copilot Studio は過去 1 週間のすべての質問を確認し、類似点に基づいてユーザーの質問をグループ化する最大 10 個のテーマを提案します。 各テーマには、質問の合計数、回答率、ユーザーの反応などのメトリックが含まれます。 [テーマ] リストに表示されるデータは、選択した分析期間に基づいて調整されます。
最初の実行後、Copilot Studio は、継続的な毎日の既存のテーマに新しい質問を分類し、毎週提案されたテーマの新しいリストを生成します。
注
- Copilot Studio が提案されたテーマを生成する前に、過去 7 日間に記録された生成的回答を含む少なくとも 50 の質問が必要です。
- 生成 AI の回答をトリガーする質問を複数のテーマに分類する可能性があります。 このシナリオは、エージェントの回答が複数の異なるソースから取得される可能性がある生成 オーケストレーション モードでより一般的になる可能性があります。
- 未分類のままの質問は、未 分類 のテーマに置かれます。
- 週単位の提案の実行が完了するまでに数分かかる場合があります。 この間、[ テーマ ] セクションは使用できません。
テーマの一覧
デフォルトでは、 テーマリスト には上位5つのテーマが、各テーマに分類された質問の総数でランク付けされて表示されます。 [ すべて表示 ] を選択して一覧を展開し、すべてのテーマを表示します。
週単位の テーマ候補 の自動実行と毎日の質問分類により、テーマ機能は自動的に進化し、ユーザーの動作の変化に適応します。
![[分析] タブの [テーマ] リストのスクリーンショット。](media/analytics-themes/themes-list.png)
[ テーマ] リストには、リストされた各テーマのメトリックが表示されます。
| コラム | Description |
|---|---|
| 名前 | テーマの名前。 |
| 質問の合計数 | 構成された期間にこのテーマに分類された質問の合計数。 |
| 回答済みの質問 | ユーザーの 質問 に対する回答になった合計質問の割合。 |
| 反応 | 各テーマに分類された質問からの肯定的な (サムアップ) 反応と否定的な (サムダウン) 反応の未加工の件数。 |
注
分類されたすべての質問によって生成 AI の回答がトリガーされたときに、テーマに "未回答の質問" が含まれるのはなぜですか?
定義上、生成 AI の回答をトリガーした質問のみをテーマに分類できます。 ただし、生成応答の呼び出しをトリガーすることは、ユーザー クエリに対する回答を持つことと同じではありません。
たとえば、ナレッジソースに関連付けられた会話を活性化するためのトピックが存在することが一般的です。 この場合、意図が認識されない場合、そのナレッジ ソースに質問に対する回答がない場合でも、ナレッジ ソースを呼び出すこのトピックがトリガーされる可能性があります。
テーマを詳細に掘り下げる
1 つのテーマにグループ化された質問にドリルダウンするには、[ テーマ] リストでテーマを選択します。 ドリルダウンすると、選択したテーマに固有のパネルが開き、テーマと個々の質問の両方のレベルでメトリックが表示されます。
注
テーマリストには、次のものが含まれます。
- 各テーマに分類された最新の 100 の質問まで。
- 構成された期間に関係なく、過去 30 日間の質問。 構成された期間が過去 30 日間を完全に外している場合、Copilot Studio はリストが利用できないという通知を表示します。
テーマのドリルダウン パネルには、テーマ レベルのメトリックが最初に表示されます。
| テーマレベルのメトリック | Description |
|---|---|
| 質問の合計数 | 構成された期間の生成 AI 応答をトリガーした質問の合計数 (このテーマに分類)。 |
| 回答済みの質問 | このテーマの 合計質問のうち、ユーザーの質問 に対する回答が得られた割合。 |
| 未回答の質問 | ユーザーの質問に対する回答が得られなかった、このテーマの [Total questions ]\(合計質問\) の割合。 |
| 反応 | Learn Feedback メカニズムに記録されているように、このテーマに分類された質問からの肯定的 (サムアップ) と否定的 (サムダウン) の反応の生の件数。 |
回答された質問のサンプリングの回答品質の内訳と、このテーマで参照されているすべてのナレッジ ソースを表示するには、 [ さらに表示] を選択します。
[ テーマ指標] パネルで、テーマのレベルで 1 つの回答品質値に関する詳細情報を表示するには、[ 回答品質] で、個々のバーセグメントにカーソルを合わせます。 ツールヒントには、そのセグメントの相対的な重みの値と、その値に到達するためにサンプリングされた質問の数が含まれます。
一覧表示されているサポート情報ソースのいずれかのレベルで詳細情報を表示するには、 サポート情報ソースの使用 で、個々のサポート情報ソースを選択します。 ツールチップには次のものが含まれます。
- このナレッジソースを参照したこのテーマの質問の総数と、 親指を立て た反応と 反対 の反応の数。
- テーマ内のこのナレッジソースを参照する質問の回答の相対的な重み付けの質の内訳を示す積み上げ棒グラフ。 棒グラフの任意のセグメントにカーソルを合わせると、そのセグメントの相対的な重み付けの値と、その値に到達するためにサンプリングされた質問の数が表示されます。
個々のテーマのドリルダウン パネルの [ ユーザーの質問 ] セクションには、構成された期間に生成 AI の回答をトリガーし、このテーマに分類されたすべての質問が一覧表示され、 質問ごとに メトリックが表示されます。 質問レベルのメトリックは次のとおりです。
| 質問レベルのディメンションまたはメトリック | Description |
|---|---|
| 質問 (ディメンション) | このテーマに分類された質問 (生成 AI 応答をトリガーした質問)。 |
| 回答済み | ユーザー クエリが応答されたかどうかの質問に対する応答。 設定可能な値は Answered および Unanswered です。 |
| 応答品質1 | ユーザー クエリに対する応答の品質に関する質問に対する回答。 設定可能な値は Poor および Good です。 |
| 反応 | ブール サムアップ/サムダウン メトリックとテキストベースの Comment パラメーターの 2 つのパラメーター。 |
| ナレッジソース | このテーマのこの質問で参照されている知識ソースのコンマ区切りリスト。 |
1 応答品質は常に使用できるわけではありません。品質分析のために質問がサンプリングされた場合にのみ表示されます。
質問の 詳細 パネルに質問に関する詳細情報を表示するには、一覧から質問を選択します。 このパネルには、次のものが含まれます。
| 詳細な質問レベルのパラメーター | Description |
|---|---|
| タイム スタンプ | 質問が回答された最新のインスタンスのタイムスタンプ。 |
| ユーザー クエリ | 質問がされた。 |
| [応答] | 生成 AI 応答。 |
| 高評価/低評価の値 | Thumbs up/Thumbs down パラメーターに対するこの質問の最新のインスタンスの値。 |
| コメント | 親 指を上げる/親指を下げ る反応に加えて、ユーザーによって提供されるオプションの追加テキストベースのコメント。 |
| 応答品質1 | ユーザー クエリに対する応答の品質に関する質問に対する回答。 設定可能な値は Poor および Good です。 |
| 理由2 | 応答品質が Poor場合、このパラメーターはその理由を説明します。 |
1 応答品質は常に使用できるわけではありません。品質分析のために質問がサンプリングされた場合にのみ表示されます。
2 応答品質が Good の場合、または質問がサンプリングされなかった場合、Reason パラメーターには値が割り当てられません。
