コンピューター使用ツールに関する FAQ

コンピューター使用ツールとは

コンピューターの使用 は、Web サイトやアプリケーションのタスクを自動化するように設計された Copilot Studio エージェントに追加できるツールです。 ユーザーは自然言語でタスクの説明を提供し、それに応じてマウスクリックとキーボード操作を自動化します。 たとえば、PDF を開き、その内容を使用して Web フォームに入力するようにツールに指示できます。 ツールは画面を視覚的に解釈し、必要なクリックとキーストロークを実行し、人間の相互作用をエミュレートします。

コンピューターはツールを使用して何ができますか?

コンピューターの使用ツールは画面のピクセル データを処理して画面上のコンテンツを理解し、仮想マウス クリックとキーボード入力を使用してタスクを実行します。 このツールは、複数ステップのワークフローを管理し、予期しないシナリオを処理し、画面の変更に動的に適応できるため、Web サイトの移動やフォームへの入力など、さまざまなデジタル タスクを、特殊な API を必要とせずに実行できます。

コンピューター使用ツールは、次の 3 つの手順に基づいて反復ループに従います。

• 認識: スクリーンショットをキャプチャして、コンピューター画面の現在の状態を視覚的に把握します。

• 推論: 現在の状態、以前のアクション、およびスクリーンショットは、考え方の連鎖アプローチによって評価され、アクションを効果的に調整できます。

• アクション: タスクが完了するか、さらにユーザー入力が必要になるまで、クリック、入力、スクロールなどのアクションを実行します。

コンピューター使用ツールの目的は何ですか?

コンピューター使用ツールは、仮想マウスとキーボードを使用して Web サイトやアプリケーションとのユーザー操作を自動化することを目的としています。API が使用できないシナリオでは特に便利です。

コンピューターの使用ツールはどのように評価されましたか? パフォーマンスの測定にはどのようなメトリックが使用されますか?

コンピューター使用ツールは、設計、開発、展開の各フェーズを通じて、実際のシナリオを使用して厳密に評価されました。 評価方法には、精度、ユーザーの信頼、有用性を測定するために、さまざまなシナリオにわたる調査、影響調査、テストが含まれていました。 高パフォーマンスと肯定的なユーザー エクスペリエンスを維持するために、定性的メトリックと定量的メトリックの両方が定期的に監視されます。 また、確立された SLA に準拠することで、ツールの可用性も確保されます。

コンピューター使用ツールの制限事項は何ですか? システムを使用する場合、ユーザーはコンピューター使用ツールの制限の影響を最小限に抑えるにはどうすればよいですか?

コンピューターの使用は、既知のセキュリティ リスクと機能上の制限がある新しいテクノロジです。 Microsoft では、お客様が実験を行える力を与えています。 この初期段階の機能により、特定のコンピューター ベースのタスクの自動化が可能になりますが、そのパフォーマンスはユース ケースによって大きく異なります。 効果的かつ責任ある方法で使用するには、現在の制限事項を理解してください。

既知の制限事項

• 成功率はタスクによって異なります。このツールは、Web ベースのタスク (約 80% 成功) で最適に実行されますが、デスクトップ アプリでは大幅に低下します (約 35% 成功)。
• パフォーマンスに一貫性がない: ビジュアルまたはタイミングの変更に応じて、同じタスクによって異なる結果が得られる場合があります。
• 特定の UI コントロールの問題: コンピューターを使用すると、ドロップダウン、日付ピッカー、カスタム ウィジェットなどの非標準または動的インターフェイス要素との対話が困難になることがあります。
• ループとスタック状態: 場合によっては、エージェントがループに入ったり、画面が期待と一致しない場合や予期しない変更が発生した場合にスタックします。
• 複雑なタスクに対する課題: 単純なアクションに効果的ですが、ツールは詳細なグラフィカル インターフェイスや複雑なテキスト操作を含むタスクに苦労する可能性があります。
• 機密性の高いユース ケースやリスクの高いユース ケースには適していません:このツールは次の用途を想定していません。
  • 雇用、医療、財務など、機密性の高いドメインでの推奨またはスコア付け
  • 金融取引の作成
  • スパムや誤った情報など、有害なアクション
  • 適切な承認なしに組織外でデータを共有する

制限を最小限に抑える方法

信頼性を向上させるために、ユーザーはタスクを構成するときに明確で詳細な手順を提供する必要があります。 これにより、エラーを減らし、タスクの成功率を高めるのに役立ちます。

コンピューター使用ツールの効果的かつ責任ある使用を可能にする運用上の要因と設定は何ですか?

コンピューターの使用ツールは、明確で詳細なユーザー指示が提供されたときに最適に実行されます。 ユーザーは、タスクの実行中に信頼性と精度を向上させるために、Web サイトまたはアプリケーションの対話に関する正確なヒントを提供する必要があります。

コンピューター使用ツールに関するフィードバックを提供するにはどうすればよいですか?

コンピューター使用ツールに関するフィードバックをお持ちですか? 電子メール computeruse-feedback@microsoft.com。