Azure AI Foundry 모델 할당량에서 Azure OpenAI 관리

배치

PUT https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.CognitiveServices/accounts/{accountName}/deployments/{deploymentName}?api-version=2023-05-01

경로 매개 변수

지원되는 버전

• 2023-05-01Swagger 사양

요청 본문

이는 사용할 수 있는 요청 본문 매개 변수의 하위 집합일 뿐입니다. 매개 변수의 전체 목록을 보려면 REST API 참조 설명서를 참조하세요.

요청 예제

curl -X PUT https://management.azure.com/subscriptions/00000000-0000-0000-0000-000000000000/resourceGroups/resource-group-temp/providers/Microsoft.CognitiveServices/accounts/docs-openai-test-001/deployments/gpt-4o-test-deployment?api-version=2023-05-01 \
  -H "Content-Type: application/json" \
  -H 'Authorization: Bearer YOUR_AUTH_TOKEN' \
  -d '{"sku":{"name":"Standard","capacity":10},"properties": {"model": {"format": "OpenAI","name": "gpt-4o","version": "2024-11-20"}}}'

자세한 내용은 사용법 및 배포에 대한 REST API 참조 설명서를 참조하세요.

사용법

특정 구독에 대해 특정 지역의 할당량 사용량을 쿼리하려면

GET https://management.azure.com/subscriptions/{subscriptionId}/providers/Microsoft.CognitiveServices/locations/{___location}/usages?api-version=2023-05-01

경로 매개 변수

지원되는 버전

• 2023-05-01Swagger 사양

요청 예제

curl -X GET https://management.azure.com/subscriptions/00000000-0000-0000-0000-000000000000/providers/Microsoft.CognitiveServices/locations/eastus/usages?api-version=2023-05-01 \
  -H "Content-Type: application/json" \
  -H 'Authorization: Bearer YOUR_AUTH_TOKEN' 

Azure CLI를 설치합니다. 할당량에는 Azure CLI version 2.51.0이 필요합니다. 이미 Azure CLI를 로컬에 설치한 경우 az upgrade를 실행하여 최신 버전으로 업데이트합니다.

Azure CLI의 버전을 확인하려면 az version을(를) 사용하세요. Azure Cloud Shell은 현재 2.50.0을 계속 실행 중이므로 최신 Azure OpenAI 기능을 활용하려면 중간에 Azure CLI의 로컬 설치가 필요합니다.

배치

az cognitiveservices account deployment create --model-format
                                               --model-name
                                               --model-version
                                               --name
                                               --resource-group
                                               [--capacity]
                                               [--deployment-name]
                                               [--scale-capacity]
                                               [--scale-settings-scale-type {Manual, Standard}]
                                               [--sku]

CLI의 로컬 설치에 로그인하려면 az login 명령을 실행합니다.

az login

아래 명령에서 sku-capacity를 10으로 설정하면 이 배포는 10K TPM 제한으로 설정됩니다.

az cognitiveservices account deployment create -g test-resource-group -n test-resource-name --deployment-name test-deployment-name --model-name gpt-4o --model-version "2024-11-20" --model-format OpenAI --sku-capacity 10 --sku-name "Standard"

사용법

특정 지역에서 특정 구독에 대한 할당량 사용량을 쿼리하려면

az cognitiveservices usage list --___location

예시

az cognitiveservices usage list -l eastus

이 명령은 현재 활성화된 Azure CLI 구독의 컨텍스트에서 실행됩니다. az-account-set --subscription을 사용하여 활성 구독을 수정합니다.

자세한 내용은 Azure CLI 참조 설명서를 참조하세요.

최신 버전의 Az PowerShell 모듈을 설치합니다. Az PowerShell 모듈이 로컬에 이미 설치되어 있는 경우 Update-Module -Name Az를 실행하여 최신 버전으로 업데이트합니다.

Az PowerShell 모듈의 실행 중인 버전을 확인하려면 Get-InstalledModule -Name Az를 사용하세요. Azure Cloud Shell은 현재 최신 Azure OpenAI 기능을 활용할 수 있는 Azure PowerShell 버전을 실행하고 있습니다.

배치

New-AzCognitiveServicesAccountDeployment
   [-ResourceGroupName] <String>
   [-AccountName] <String>
   [-Name] <String>
   [-Properties] <DeploymentProperties>
   [-Sku] <Sku>
   [-DefaultProfile <IAzureContextContainer>]
   [-WhatIf]
   [-Confirm]
   [<CommonParameters>]

Azure PowerShell의 로컬 설치에 로그인하려면 Connect-AzAccount 명령을 실행합니다.

Connect-AzAccount

아래 명령에서 SKU 용량을 10으로 설정하면 이 배포는 10K TPM 제한으로 설정됩니다.

$cognitiveServicesDeploymentParams = @{
    ResourceGroupName = 'test-resource-group'
    AccountName = 'test-resource-name'
    Name = 'test-deployment-name'
    Properties = @{
        Model = @{
            Name = 'gpt-4o'
            Version = '2024-11-20'
            Format  = 'OpenAI'
        }
    }
    Sku = @{
        Name = 'Standard'
        Capacity = '10'
    }
}
New-AzCognitiveServicesAccountDeployment @cognitiveServicesDeploymentParams

사용법

특정 지역에서 특정 구독에 대한 할당량 사용량을 쿼리하려면:

Get-AzCognitiveServicesUsage -Location <___location>

예시

Get-AzCognitiveServicesUsage -Location eastus

이 명령은 Azure PowerShell의 현재 활성화된 구독 컨텍스트에서 실행됩니다. Set-AzContext을 사용하여 활성 구독을 수정합니다.

자세한 New-AzCognitiveServicesAccountDeploymentGet-AzCognitiveServicesUsage내용은 Azure PowerShell 참조 설명서를 참조하세요.

//
// This Azure Resource Manager template shows how to use the new schema introduced in the 2023-05-01 API version to 
// create deployments that set the model version and the TPM limits for standard deployments.
//
{
    "type": "Microsoft.CognitiveServices/accounts/deployments",
    "apiVersion": "2023-05-01",
    "name": "arm-je-aoai-test-resource/arm-je-std-deployment",    // Update reference to parent Azure OpenAI resource
    "dependsOn": [
        "[resourceId('Microsoft.CognitiveServices/accounts', 'arm-je-aoai-test-resource')]"  // Update reference to parent Azure OpenAI resource
    ],
    "sku": {
        "name": "Standard",      
        "capacity": 10            // The deployment will be created with a 10K TPM limit
    },
    "properties": {
        "model": {
            "format": "OpenAI",
            "name": "gpt-4o",
            "version": "2024-11-20"       
        }
    }
}

자세한 내용은 전체 Azure Resource Manager 참조 설명서를 참조하세요.

//
// This Bicep template shows how to use the new schema introduced in the 2023-05-01 API version to 
// create deployments that set the model version and the TPM limits for standard deployments.
//
resource arm_je_std_deployment 'Microsoft.CognitiveServices/accounts/deployments@2023-05-01' = {
  parent: arm_je_aoai_resource   // Replace this with a reference to the parent Azure OpenAI resource
  name: 'arm-je-std-deployment'
  sku: {
    name: 'Standard'            
    capacity: 10                 // The deployment will be created with a 10K TPM limit
  }
  properties: {
    model: {
      format: 'OpenAI'
      name: 'gpt-4o'
      version: '2024-11-20'          
    }
  }
}

자세한 내용은 전체 Bicep 참조 설명서를 참조하세요.

# This Terraform template shows how to use the new schema introduced in the 2023-05-01 API version to 
# create deployments that set the model version and the TPM limits for standard deployments.
# 
# The new schema is not yet available in the AzureRM provider (target v4.0), so this template uses the AzAPI
# provider, which provides a Terraform-compatible interface to the underlying ARM structures.
# 
# For more details on these providers:
#     AzureRM: https://registry.terraform.io/providers/hashicorp/azurerm/latest/docs
#     AzAPI: https://registry.terraform.io/providers/azure/azapi/latest/docs
#

# 
terraform {
  required_providers {
    azapi   = { source  = "Azure/azapi" }
    azurerm = { source  = "hashicorp/azurerm" }
  }
}

provider "azapi" {
  # Insert auth info here as necessary
}

provider "azurerm" {
    # Insert auth info here as necessary  
    features {
    }
}

# 
# To create a complete example, AzureRM is used to create a new resource group and Azure OpenAI Resource
# 
resource "azurerm_resource_group" "TERRAFORM-AOAI-TEST-GROUP" {
  name     = "TERRAFORM-AOAI-TEST-GROUP"
  ___location = "canadaeast"
}

resource "azurerm_cognitive_account" "TERRAFORM-AOAI-TEST-ACCOUNT" {
  name                  = "terraform-aoai-test-account"
  ___location              = "canadaeast"
  resource_group_name   = azurerm_resource_group.TERRAFORM-AOAI-TEST-GROUP.name
  kind                  = "OpenAI"
  sku_name              = "S0"
  custom_subdomain_name = "terraform-test-account-"
  }


# 
# AzAPI is used to create the deployment so that the TPM limit and model versions can be set
#
resource "azapi_resource" "TERRAFORM-AOAI-STD-DEPLOYMENT" {
  type      = "Microsoft.CognitiveServices/accounts/deployments@2023-05-01"
  name      = "TERRAFORM-AOAI-STD-DEPLOYMENT"
  parent_id = azurerm_cognitive_account.TERRAFORM-AOAI-TEST-ACCOUNT.id

  body = jsonencode({
    sku = {                            # The sku object specifies the deployment type and limit in 2023-05-01
        name = "Standard",             
        capacity = 10                  # This deployment will be set with a 10K TPM limit
    },
    properties = {
        model = {
            format = "OpenAI",
            name = "gpt-4o",
            version = "2024-11-20"           
        }
    }
  })
}

자세한 내용은 전체 Terraform 참조 설명서를 참조하세요.