Azure AI Foundry モデルにおける Azure OpenAI のクォータと制限

この記事には、Azure OpenAI のクォータと制限のクイック リファレンスと詳細な説明が含まれています。

クォータと制限のリファレンス

以降のセクションでは、Azure OpenAI に適用されるデフォルトのクォータと制限のクイック ガイドを提供します。

¹ 現在の API は最大 10 個のカスタム ヘッダーを許容しており、これらはパイプラインを通過して返されます。 現在、一部のお客様はこのヘッダー数を超えており、HTTP 431 エラーが発生しています。 ヘッダー ボリュームを減らす以外に、このエラーの解決策は存在しません。 今後の API バージョンでは、カスタム ヘッダーの通過を停止します。 今後のシステム アーキテクチャでは、カスタム ヘッダーに依存しないことをお勧めします。

バッチ制限

バッチ クォータ

次の表はバッチ処理のクォータ制限値を示しています。 グローバル バッチのクォータ値は、エンキューされたトークンの数で表されます。 バッチ処理用のファイルを送信すると、ファイル内に存在するトークンの数がカウントされます。 バッチジョブが最終状態に達するまで、これらのトークンは、エンキューされたトークンの総数制限に対してカウントされます。

グローバル バッチ

B = 10 億 | M = 100万 | K = 1,000

データ ゾーン バッチ

GPT-4 レート制限

GPT-4.5 preview グローバル標準

GPT-4.1 シリーズ

GPT-4 Turbo

gpt-4 (turbo-2024-04-09) には、特定の顧客の種類に対して高い制限を持つレート制限レベルがあります。

model-router のレート制限

computer-use-preview グローバル標準のレート制限

o-series レート制限

o シリーズのグローバル標準

Oシリーズデータ領域標準

o1-preview と o1-mini の標準

gpt-4o レート制限

gpt-4o と gpt-4o-mini には、特定の顧客の種類に対してより高い制限を持つレート制限レベルがあります。

gpt-4o グローバル標準

M = 100 万 | K = 1,000

gpt-4o データ ゾーン標準

M = 100 万 | K = 1,000

gpt-4o Standard

M = 100 万 | K = 1,000

gpt-4o audio

各 gpt-4o オーディオ モデルのデプロイのレート制限は、100 K TPM と 1 K RPM です。 プレビュー期間中、 Azure AI Foundry ポータル と API では、異なるレート制限が不正確に表示される可能性があります。 別のレート制限を設定しようとしても、実際のレート制限は 100 K TPM と 1 K RPM です。

M = 100 万 | K = 1,000

GPT-image-1 レート制限

GPT0-image-1 グローバル標準

使用量レベル

グローバル標準のデプロイでは、Azure のグローバル インフラストラクチャが使われて、お客様のトラフィックはお客様の推論要求に最適な可用性を持つデータ センターに動的にルーティングされます。 同様に、データ ゾーン標準デプロイでは、Azure グローバル インフラストラクチャを使用して、要求ごとに最適な可用性を持つ Microsoft 定義データ ゾーン内のデータ センターにトラフィックを動的にルーティングできます。 これにより、トラフィックのレベルが低から中程度のお客様に対して、より一貫した待機時間が可能になります。 使用量が持続して高いレベルにあるお客様は、応答の待機時間のばらつきが大きくなる可能性があります。

使用制限は、使用量が一定のレベルを超えた場合に、応答待ち時間の変動が大きくなる可能性のある水準を決定します。 顧客の使用量はモデルごとに定義され、この量は、特定のテナントのすべてのリージョンのすべてのサブスクリプションのすべてのデプロイで使用されるトークンの合計です。

GPT-4o のグローバル標準、データゾーン標準、および標準

GPT-4 標準

その他のプランの種類

Azure サブスクリプションが特定の オファーの種類にリンクされている場合、最大クォータ値は上記の表に示されている値より小さくなります。

^*これは、少数のレガシ CSP サンドボックス サブスクリプションにのみ適用されます。 サブスクリプションに関連付けられている quotaId を確認するには、次のクエリを使用します。

サブスクリプションに関連付けられているオファーの種類を確認するには、 quotaIdを確認します。 quotaIdがこの表に記載されていない場合、サブスクリプションは既定のクォータの対象となります。

az login
access_token=$(az account get-access-token --query accessToken -o tsv)

curl -X GET "https://management.azure.com/subscriptions/{subscriptionId}?api-version=2020-01-01" \
  -H "Authorization: Bearer $access_token" \
  -H "Content-Type: application/json"

az rest --method GET --uri "https://management.azure.com/subscriptions/{sub-id}?api-version=2020-01-01"

アウトプット

{
  "authorizationSource": "Legacy",
  "displayName": "Pay-As-You-Go",
  "id": "/subscriptions/aaaaaa-bbbbb-cccc-ddddd-eeeeee",
  "state": "Enabled",
  "subscriptionId": "aaaaaa-bbbbb-cccc-ddddd-eeeeee",
  "subscriptionPolicies": {
    "locationPlacementId": "Public_2014-09-01",
    "quotaId": "PayAsYouGo_2014-09-01",
    "spendingLimit": "Off"
  }
}

レート制限内に収まるようにするための一般的なベスト プラクティス

レート制限に関連する問題を最小限に抑えるには、次の手法を使用することをお勧めします。

• アプリケーションで再試行ロジックを実装します。
• ワークロードが急激に変化しないようにします。 ワークロードは徐々に増やします。
• さまざまな負荷増加パターンをテストします。
• デプロイに割り当てられているクォータを増やします。 必要に応じて、別のデプロイからクォータを移動します。

クォータの引き上げを要求する方法

クォータの引き上げ要求は、クォータ増加リクエスト フォームを使用して送信できます。 需要が高いため、クォータの引き上げ要求は受け入れられ、受け取った順序で入力されます。 既存のクォータ割り当てを消費するトラフィックを生成するお客様が優先され、この条件を満たしていない場合は要求が拒否される場合があります。

その他のレート制限については、サービス要求を送信してください。

リージョンのクォータ容量の制限

Azure AI Foundry ポータルでは、サブスクリプションのリージョン別のクォータの可用性を表示できます。

または、特定のモデル/バージョンのリージョン別にクォータ容量を表示するには、サブスクリプションの 容量 API に対してクエリを実行します。 subscriptionId、model_name、およびmodel_versionを指定すると、API は、サブスクリプションのすべてのリージョンとデプロイの種類にわたって、そのモデルで使用可能な容量を返します。

API リファレンス

import requests
import json
from azure.identity import DefaultAzureCredential

subscriptionId = "Replace with your subscription ID" #replace with your subscription ID
model_name = "gpt-4o"     # Example value, replace with model name
model_version = "2024-08-06"   # Example value, replace with model version

token_credential = DefaultAzureCredential()
token = token_credential.get_token('https://management.azure.com/.default')
headers = {'Authorization': 'Bearer ' + token.token}

url = f"https://management.azure.com/subscriptions/{subscriptionId}/providers/Microsoft.CognitiveServices/modelCapacities"
params = {
    "api-version": "2024-06-01-preview",
    "modelFormat": "OpenAI",
    "modelName": model_name,
    "modelVersion": model_version
}

response = requests.get(url, params=params, headers=headers)
model_capacity = response.json()

print(json.dumps(model_capacity, indent=2))

次のステップ

Azure OpenAI デプロイのクォータを管理する方法を確認してください。 Azure OpenAI をサポートする基となるモデルに関する記事を確認します。