コンピューターを使用して Web アプリとデスクトップ アプリを自動化する (プレビュー)

[この記事はプレリリース ドキュメントであり、変更されることがあります。]

コンピューターの使用は、エージェントが Windows コンピューター上のタスクを操作および自動化できるようにする Copilot Studio のツールです。 ボタンを選択し、メニューを選択し、画面上のフィールドにテキストを入力することで、Web サイトやデスクトップ アプリで動作します。 コンピューターで実行する操作を自然言語で記述し、仮想マウスとキーボードを使用してセットアップしたコンピューターでタスクを実行します。 コンピューターを使用すると、エージェントは、システムに直接接続する API がない場合でもタスクを完了できます。 ユーザーがアプリまたは Web サイトを使用できる場合は、コンピューターの使用も可能です。 自動データ入力、請求書処理、データ抽出などのタスクには、コンピューターの使用を使用できます。

コンピューターの使用には、視覚機能と高度な推論を組み合わせてグラフィカル ユーザー インターフェイス (GUI) と対話する AI モデルである Computer-Using Agents (CUA) が搭載されています。 AI を利用しているため、インターフェイスの変更に適応します。 たとえば、ボタンや画面が変わると、ツールはフローを中断することなく動作し続けます。 使い方は簡単です。 自然言語で必要なものを記述するだけです。 コードを記述する必要はありません。

このビデオでは、コンピューター使用ツールを使用してエージェントが Web アプリケーションと対話する方法について説明します。

要求事項

• この機能は、リージョンが米国に設定されている環境で使用できます。

• エージェントがコンピューターを使用するためには、生成オーケストレーターが有効になっていることを確認してください。

エージェントでコンピューターの使用を有効にする

Copilot Studio の新しいエージェントまたは既存のエージェントで、次の手順に従って、ツールとしてコンピューターの使用を追加します。

1. エージェントの [ツール ] セクションに移動し、[ ツールの追加] を選択します。

2. [ ツールの追加 ] ダイアログで、[ 新しいツール] を選択します。

3. [ コンピューターの使用] を選択します。

4. ツールがコンピューターで実行する必要があるタスクを説明する手順を指定します。 使用を開始するためのいくつかの命令テンプレートが表示されます。 コンピューターの使用に最適な手順を記述する方法の詳細については、コンピューターで使用 する手順のベスト プラクティスを確認してください。

5. コンピューターを使用する機械を選択します。 ホストされているブラウザー、一般向けの Web サイトでのタスクを自動化するためのすぐに使用できるコンピューター、またはコンピューターの使用に使用するように構成できる Windows マシンを選択できます。 詳細については、「 コンピューターの使用場所を構成する」を参照してください。

6. [ 追加と構成] を選択します。

7. [構成] ページで、次の 3 つのフィールドを構成します。

   • [名前]: コンピューター使用ツールの表示名を入力します。 この名前は、エージェントに追加する他のツールと区別するのに役立ちます。

   • 説明: このツールの機能と使用するタイミングの簡単な説明を入力します。 このテキストを使用すると、エージェントはこのツールを使用するタイミングを知らせます。

   • 手順: URL やアプリケーション名など、ツールで実行する必要がある手順を一覧表示します。 ヒントについては、 コンピューターの使用手順に関するベスト プラクティスを参照してください。

8. 関連する可能性があるその他のフィールドと設定を構成ページで確認します。

   • 入力: 入力を使用して、コンピューターが実行されるたびに変化する動的な値を定義します。 たとえば、実行ごとに異なる値でフォームに入力する場合は、そのフィールドの入力を作成します。 実行時に、コンピューターの使用により、命令と入力値が結合され、タスクが完了します。

   • 保存された資格情報: コンピューターが Web サイトやアプリケーションへのサインインに使用する資格情報を定義します。 実行中にサインイン プロンプトが表示された場合、コンピューターは、このセクションで定義した資格情報をそのサイトまたはアプリケーションに安全に使用します。 これらの資格情報のパスワード値は、指定した Azure Key Vault に格納されます。 Azure Portal を使用したキー コンテナーの作成に関するページで 、Azure Key Vault を作成する方法について説明します。

     ツールで資格情報を構成するには、まずサブスクリプション ID、リソース グループ名、および Key Vault 名を入力します。 この情報はすべて、Key Vault の [概要 ] ページから入手できます。

     Power Platform で Azure Key Vault シークレットを使用するには:

     • コンテナーを持つ Azure サブスクリプションには、"PowerPlatform リソース プロバイダー" が登録されている必要があります。
     • 環境変数を作成するユーザーは、Azure Key Vault リソースに対する適切なアクセス許可を持っている必要があります。

     まだ行っていない場合は、「 Azure Key Vault の構成」の手順に従います。 次に、次の詳細を指定します。

     • 名前: 資格情報の表示名。

     • ユーザー名: ターゲット Web サイトまたはアプリケーションへのサインインに使用するユーザー名。

     • ログイン ドメイン: 資格情報を入力する必要があるドメイン ( たとえば、login.microsoft.com)。 メイン サイトの URL とは異なる場合があるため、このドメインを確認してください。

     • Azure シークレット名: Web サイトまたはアプリケーションのパスワードを格納する Key Vault 内のシークレットの名前。

       注

       パスワード フィールドは、すべての Web サイトとほとんどの Windows アプリケーション (WinForms、WPF、UWP、WinUI、Win32) でサポートされており、ほとんどのお客様のシナリオに対応しています。 Electron、Java、Unity、ゲーム、コマンドライン インターフェイス、Citrix、その他の仮想化環境など、一部のアプリの種類はサポートされない場合があります。

   • アクセス制御: 既定では、コンピューターの使用は任意の Web サイトまたはアプリケーションで動作できます。 このアクセスを制限する場合は、アクセス制御を有効にして、コンピューターで使用する特定の URL とデスクトップ アプリケーションを定義します。 Web サイトとアプリケーションの両方を構成できます。

     • [Web サイト]: メイン Web サイトのアドレス (たとえば、example.com) を入力します。 その Web サイトのすべてのページが自動的に含まれます。 サブドメインにはワイルドカード (*) を使用することもできます。
       • 例: www.contoso.com、 *.contoso.com、 contoso.com
     • デスクトップ アプリケーション: アプリケーションの製品名またはプロセス名を入力します。 検索するには、Ctrl + Shift + Esc キーを押してタスク マネージャーを開きます。 次に、[ プロセス ] タブを確認します。
       • 例: Microsoft Edge、msedge、Notepad。

     注

     アクセス制御では、許可リストに含まれていない Web サイトまたはアプリケーションに対してモデルがアクションを実行できないようにするだけです。 モデルがそれらを開くのを防ぐことはありません。 たとえば、microsoft.com と Microsoft Edge のみが許可リストに含まれている場合、モデルでは引き続き Edge 検索バーを使用してBingを開くことができます。 ただし、Bingを開くと、許可リスト内にないため、操作しようとすると失敗します。

   • マシン: この値は、コンピューターを使用するマシンの名前です。 [ マシンの管理 ] を選択して、その他のコンピューター設定を表示します。

   • 接続: この値は、このツールの接続です。 接続を更新して、コンピューターで使用する資格情報とコンピューターを変更します。

   • 認証: 実行中のコンピューターの認証方法を指定します。

     • Copilot 作成者認証 (既定): このオプションでは、作成者の資格情報が使用され、自律エージェントに適しています。

       Warnung

       この設定でエージェントを 共有 する場合、エージェントを使用するすべてのユーザーは、構成されたコンピューターで元の作成者のアクセス権を使用して動作できます。

     • ユーザー認証: このオプションでは、エージェントと対話しているユーザーの資格情報が使用されます。 各ユーザーは、マシンへのアクセス資格情報を持っている必要があります。

9. 保存 を選択します。

コンピューターの実行場所を構成する

タスクを自動化するために、Webサイトやデスクトップアプリを操作するには、Windows マシン上でコンピューターを使用します。 エージェントにコンピューターの使用を追加する場合は、次のオプションがあります。

ホストされているブラウザー (Windows 365 を利用)

ホストされているブラウザーを使用すると、コンピューターのセットアップなしですぐに開始できます。 Microsoft Edge を使用した Web オートメーションと、組み込みの Windows アプリケーションへのアクセスの両方を提供します。

ホストされているブラウザーは、Microsoft が管理する環境で実行されます。 Microsoft Entra がテナントに参加しているわけでも、Intune ポリシーで管理されているわけでもありません。 これは、Web の迅速な自動化と初期の実験用に設計されていますが、エンタープライズ リソース アクセス、カスタム デスクトップ アプリ、または組織固有のデバイス管理はサポートされていません。

機械

このオプションを使用すると、所有および管理する Windows マシンを使用できます。 Power Automate でマシンを登録して管理します。

コンピューターを使用するための機器に関する主な要件を次に示します。

• Power Automate for desktop バージョン 2.59.169.25241 以降をインストールします。 Web ブラウザーの操作用の Power Automate Web 拡張機能のインストールを含めます。

• マシンを登録したら、コンピューターの設定でコンピューターの使用を 有効にします 。

詳細については、 前提条件と制限事項を参照してください。

新しいコンピューターを登録する

コンピューターの使用はコンピューター上で実行されるため、中断を回避するためにコンピューター専用のコンピューターを使用します。

新しいマシンを登録するには:

1. コンピューターに 最新バージョンの Power Automate をインストールします。 インストール時に、 Power Automate クラウド ポータルに接続するためのマシン ランタイム アプリのインストール オプションを オンにします。

2. Power Automate マシン ランタイム アプリを開き、サインインします。

3. 使用したい環境に機械をコンピュータを使って登録します。

マシンの登録方法について詳しくは、新しいマシンを登録するをご覧ください。

コンピューターの使用を有効にする

コンピューターを登録したら、コンピューターで使用できるように有効にします。

1. Power Automate にサインインします。
2. [マシン] に移動します。
3. 登録したマシンを選択します。
4. コンピューターの詳細ページで、[ 設定] を選択します。
5. コンピュータ使用の有効化をオンにします。
6. 保存 を選択します。

スケジューリングとキューイングの運用

マシンが使用中の場合、同じ マシン を対象とする実行要求が キューに登録 され、順番に実行されます。

1. 最初の実行はターゲット コンピューターで実行されます。
2. 後続の実行はキューに追加され、キュー済みとしてマークされます。
3. 実行が完了すると、次の実行が開始され、 次の実行としてマークされます。

実行キューを監視するには:

1. Power Automate にサインインします。
2. [マシン] に移動します。
3. マシンを選択します。
4. コンピューターの詳細ページで、[ キューの実行] を選択します。

コンピューターの使用をテストする

コンピューターの使用のテストは、作成の過程で重要な手順です。 名前、説明、および手順を入力し、ツールを保存したら、[ テスト ] を選択してテスト エクスペリエンスを開始します。

読み込み期間が短い場合、テスト エクスペリエンスが表示されます。

• 左側のパネルには、ツールの推論とアクションの手順と詳細なログが表示されます。
• 右側のパネルには、コンピューターで使用するために設定したコンピューター上のアクションのプレビューが表示されます。

タスクが完了すると、 テストが完了した というメッセージが表示されます。 テストの進行中は、[ テストの停止 ] を選択すると、コンピューター上のすべてのアクションをすぐに停止できます。

結果が期待できない場合は、構成ページに移動し、手順を絞り込みます。 精度を向上させるために、さらに詳細を追加します。 ガイダンスについては、 効果的な手順を記述するためのベスト プラクティスを参照してください。

コンピューターを使用してエージェントを発行する

コンピューターの使用を設定し、エージェントを発行します。 エージェントの実行方法は、シナリオによって異なります。 自律的または会話的な場合があります。

• 自律エージェントは自動的に実行され、バックグラウンドでタスクを実行します。

• 会話エージェントを使用すると、ユーザーはMicrosoft Teamsなどのチャネルを介して対話できます。

コンピューターの使用は、自律エージェントに最適で、ユーザーの操作なしでバックグラウンドでタスクを実行します。

会話エクスペリエンスでコンピューターの使用を適用することもできますが、次の考慮事項に留意してください。

1. 認証設定として [ユーザー認証 ] を選択した場合、会話でエージェントを操作する各ユーザーには、コンピューターで使用されるコンピューターの有効な資格情報が必要です。
2. ツールを実行すると、チャット内のコンピューターのアクティビティの推論メッセージとスクリーンショットが共有されます。

コンピューターの使用実行を監視する

実行中のコンピューター使用状況を確認するには:

1. エージェントの [アクティビティ ] セクションに移動し、実行を選択します。
2. 実行の詳細ページで、 アクティビティ マップ ビューと トランスクリプト ビューを切り替えます。

トランスクリプト ビューには、コンピューターの使用方法が指示に従って表示され、各アクションの推論メッセージとスクリーンショットを含む詳細なログが提供されます。

ベスト プラクティス

今日のデジタル環境で生産性と安全性を維持するには、コンピューターの使用に関するベスト プラクティスに従ってください。特に、明確な手順を記述し、コンピューターをセキュリティで保護する場合です。

マシンをセキュリティで保護するためのベスト プラクティス

AI が自然言語を使用してタスクを実行できるコンピューター用のマシンを設定する場合は、次のセキュリティに関する推奨事項を検討してください。

コンピューターの使用手順に関するベスト プラクティス

記述する手順によって、コンピューターの使用方法が決まります。 具体的で詳細な手順は、コンピューターが完全なタスクを正確に使用するのに役立ちます。 これは、仕事仲間にタスクを説明していると考えてください。 明確でステップ バイ ステップのガイダンスは、成功を確実にするのに役立ちます。

効果的な命令を記述するためのヒント:

• Web サイトとアプリケーションについて具体的に説明します。 すべての Web サイトの完全な URL と、ツールで使用するアプリケーションの正確な名前を常に含めます。 例: " https://www.microsoft.com を開き、'会社のニュース' に移動します。

• 関連するアクションを明確に示します。 何かを行う場合は、明示的に言います。特に、フォームの送信やメールの送信などのアクションです。 例: "フォームに入力したら、[ 送信] を選択します。 アクセス許可を要求する必要はありません。

• 複雑な相互作用を分解します。 UI の移動が複雑になる可能性がある領域については、各手順について詳しく説明します。 例: "右上隅にある [その他 ] アイコンを選択します。 ドロップダウンが表示されます。 開いたら、リスト内の最後の項目を選択します。

• 長いタスクには、ステップ バイ ステップの書式設定を使用します。 長い手順は、リストとして書式設定する場合に従う方が簡単です。

指示のサンプル

次のサンプル手順を調べて、コンピューターの使用を試すか、独自の記述のリファレンスとして使用します。

管理コントロール

管理者は、コンピューターの使用機能の可用性と使用状況を制御できます。 これらのコントロールは、組織がコンピューターの使用方法を展開する方法を管理し、セキュリティとコンプライアンスの要件に合わせて調整するのに役立ちます。

コンピューターの使用を無効にする

管理センターまたは Power Platform CLI を使用して、コンピューターの使用を無効にすることができます。

管理センターを使用する

管理センターを使用して環境でのコンピューターの使用を無効にするには:

1. Power Platform 管理センターに移動します。
2. ナビゲーション ウィンドウで [ 管理 ] を選択し、[ 環境] を選択します。 環境の一覧が表示されます。
3. 環境を選択して、更新します。 環境の詳細ページが開きます。
4. 上部のメニュー バーで、設定 を選択します。
5. 製品 を展開し、機能 を選択します。
6. [コンピューターの使用] までスクロールし、トグルをオフにします。

Power Platform CLI の使用

Power Platform CLI を使用して環境でのコンピューターの使用を無効にするには:

1. まだインストールしていない場合は、 Power Platform CLI をインストールします。

2. コマンド ラインを開き、次のコマンドを実行します。

     pac auth create
   

   プロンプトに従ってテナントに接続します。

3. 次のコマンドを実行して設定を無効にします。

   pac env update-settings --environment <envid> --name iscomputeruseinmcsenabled --value false
   

   <envid>は、環境設定ページの URL にある環境 ID に置き換えます。

ホストされているブラウザーを無効にする

テナントでホストされているブラウザーを無効にするには:

1. Power Platform 管理センターに移動します。
2. ナビゲーション ウィンドウで [ 管理 ] を選択し、[ テナント設定] を選択します。 設定の一覧が表示されます。
3. コンピューターを使用して [ホストされているブラウザー] を選択します。 ウィンドウが開きます。
4. トグルをオフにします。
5. 保存 を選択します。

ライセンス

コンピューターがプレビュー中に使用された場合は、エージェント アクション機能を使用して、5 Copilot Credit の請求レートで請求されます。 詳細については、 Microsoft Copilot Studio の請求率と管理に関するページを参照してください。

各コンピューターの実行では複数のアクションを実行でき、各アクションには 5 つの Copilot クレジットが必要です。

たとえば、Web ベースのタイムシート フォームに入力するためにコンピューターの使用を設定した場合、トリガーされるたびに次のアクションが実行されます。

1. ブラウザーを起動します。

2. タイムシート Web ポータルに移動します。

3. [ 新しいタイムシートの作成] を選択します。

4. [開始時刻] フォーム フィールドに入力します。

5. [終了時刻] フォーム フィールドに入力します。

6. [プロジェクト コード] フォーム フィールドに入力します。

7. [送信] ボタンを選択します。

この例では、コンピューターの使用によって 7 つのアクションが実行され、合計で 35 個のメッセージが使用されます。

制限事項

次の制限は、コンピューターの使用に影響します。

• ホストされているマシン グループはサポートされていません。
• マルチスクリーン デスクトップはサポートされていません。
• エージェントの [アクティビティ ] タブでは、エージェント セッションの状態が "進行中" と表示されることがありますが、セッションは完了している可能性があります。 特定のエージェント セッションを選択し、トランスクリプト モードに切り替えて、コンピューターの使用セッションが完了したことを検証します。

ホストされているブラウザーの制限事項

サービスは、必要に応じてホストされているブラウザーの使用量を調整する場合があります。 そのため、運用環境での使用はお勧めしません。

次のシナリオでは、スロットリングが発生する可能性があります。

トラブルシューティング

コンピューターの使用中に問題が発生した場合は、次の一般的な問題とその解決策を確認してください。

フィードバックを共有する

コンピューターの使用に関するフィードバックはありますか? computeruse-feedback@microsoft.comでお知らせください。

関連情報

コンピューター使用ツールに関する FAQ