Azure OpenAI Embedding スキル

Azure OpenAI Embedding スキルは、Azure OpenAI リソースまたは Azure AI Foundry プロジェクトにデプロイされた埋め込みモデルに接続して、インデックス作成中に埋め込みを生成します。 データは、モデルがデプロイされている geo で処理されます。

Azure portal の データのインポート (新しい) ウィザード では、Azure OpenAI Embedding スキルを使用してコンテンツをベクター化します。 ウィザードを実行し、生成されたスキルセットを確認して、モデルを埋め込むためのスキルがどのようにウィザードによって構築されるかを確認できます。

Prerequisites

• Azure AI Foundry Models リソースまたは Azure AI Foundry プロジェクトの Azure OpenAI。

  • Azure OpenAI リソースには、などのhttps://<resourcename>.openai.azure.comが必要です。 Azure portal でリソースを作成した場合、このサブドメインはリソースのセットアップ中に自動的に生成されました。

  • Azure AI Foundry プロジェクトには、 cognitiveservices.azure.com ドメインを持つ Azure AI サービス エンドポイントが必要です。 Azure OpenAI 埋め込みモデルをプロジェクトにデプロイした後、 openai.azure.com ドメインを使用するようにエンドポイントを変更する必要があります。 たとえば、エンドポイントを https://<resourcename>.cognitiveservices.azure.com から https://<resourcename>.openai.azure.com に変更します。 その後、このスキルの resourceUri プロパティに対して、この更新されたエンドポイントを使用できます。

• リソースまたはプロジェクトにデプロイされた Azure OpenAI 埋め込みモデル 。

@odata.type

Microsoft.Skills.Text.AzureOpenAIEmbeddingSkill

データ制限

テキスト入力のサイズは最大で 8,000 トークンにする必要があります。 入力が、許可される最大値を超える場合、モデルによって無効な要求エラーがスローされます。 詳細については、Azure OpenAI のドキュメントでトークンの主要な概念に関するページを参照してください。 データ チャンクが必要な場合は、テキスト分割スキルの使用を検討してください。

スキルのパラメーター

パラメーターの大文字と小文字は区別されます。

modelName でサポートされるディメンション

Azure OpenAI Embedding スキルでサポートされるディメンションは、構成されている modelName によって異なります。

スキルの入力

スキルの出力

定義例

次のフィールドを持つレコードを検討してみます。

{
    "content": "Microsoft released Windows 10."
}

スキル定義は次のようになります。

{
  "@odata.type": "#Microsoft.Skills.Text.AzureOpenAIEmbeddingSkill",
  "description": "Connects a deployed embedding model.",
  "resourceUri": "https://my-demo-openai-eastus.openai.azure.com/",
  "deploymentId": "my-text-embedding-ada-002-model",
  "modelName": "text-embedding-ada-002",
  "dimensions": 1536,
  "inputs": [
    {
      "name": "text",
      "source": "/document/content"
    }
  ],
  "outputs": [
    {
      "name": "embedding"
    }
  ]
}

サンプル出力

指定された入力テキストに対して、ベクター化された埋め込み出力が生成されます。

{
  "embedding": [
        0.018990106880664825,
        -0.0073809814639389515,
        .... 
        0.021276434883475304,
      ]
}

出力はメモリ内に存在します。 この出力を検索インデックスのフィールドに送信するには、ベクトル化された埋め込み出力 (配列) をベクトル フィールドにマップする outputFieldMapping を定義する必要があります。 スキルの出力がドキュメントの embedding ノードに存在し、content_vector が検索インデックス内のフィールドであると仮定すると、インデクサーの outputFieldMapping は次のようになります。

  "outputFieldMappings": [
    {
      "sourceFieldName": "/document/embedding/*",
      "targetFieldName": "content_vector"
    }
  ]

ベスト プラクティス

このスキルを使用する場合に考慮すべきベスト プラクティスを次に示します。

• Azure OpenAI TPM (1 分あたりのトークン数) の制限に達している場合は、クォータ制限に関するアドバイスを参照して、適切に対処できるようにします。 Azure OpenAI インスタンスのパフォーマンスの詳細については、Azure OpenAI 監視のドキュメントを参照してください。

• このスキルに使用する Azure OpenAI 埋め込みモデルのデプロイは、クエリのベクトル化などの他のユース ケースで使用されるデプロイとは理想的には別である必要があります。 これにより、各デプロイが特定のユース ケースに合わせて調整され、パフォーマンスが最適化され、インデクサーとインデックス埋め込みの呼び出しからのトラフィックを簡単に識別できます。

• Azure OpenAI インスタンスは、同じリージョン内にあるか、少なくとも AI 検索サービスがホストされているリージョンに地理的に近い場所にある必要があります。 これにより、待機時間が短縮され、サービス間のデータ転送速度が向上します。

• クォータと制限のドキュメントで公開されている既定の Azure OpenAI TPM (1 分あたりのトークン数) よりも大きい制限がある場合は、Azure AI 検索チームでサポート ケースを開いて、適切に調整できるようにします。 これにより、より高い制限が存在する場合に、ドキュメントに記載された既定の TPM 制限によって、インデックス付けプロセスが不要に遅延しなくなります。

• このスキルを使用した例と動作するコード サンプルについては、次のリンクを参照してください。

  • 垂直統合 (Python)
  • 垂直統合 (C#)
  • 垂直統合 (Java)

エラーと警告

こちらも参照ください

• 組み込みのスキル
• スキルセットの定義方法
• 出力フィールドのマッピングを定義する方法