Azure OpenAI: Modelos do Azure AI Foundry - cotas e limites

Este artigo contém uma referência rápida e uma descrição detalhada das cotas e limites do Azure OpenAI.

Âmbito de aplicação do contingente

As quotas e os limites não são aplicados ao nível do inquilino. Em vez disso, o nível mais alto de restrições de cota tem como escopo o nível de assinatura do Azure.

Atribuição de quotas regionais

Os limites de tokens por minuto (TPM) e solicitações por minuto (RPM) são definidos por região, por assinatura e por modelo ou tipo de implantação.

Por exemplo, se o modelo Padrão Global estiver listado com uma cota gpt-4.1 de 5 milhões de TPM e 5.000 RPM, cada região onde esse modelo ou tipo de implantação está disponível terá seu próprio pool de cotas dedicado desse valor para cada uma de suas assinaturas do Azure. Em uma única assinatura do Azure, é possível usar uma quantidade maior de cota total de TPM e RPM para um determinado modelo e tipo de implantação, desde que você tenha recursos e implantações de modelo espalhados por várias regiões.

Referência a quotas e limites

A seção a seguir fornece um guia rápido para as cotas e limites padrão que se aplicam ao Azure OpenAI:

¹ Nossas APIs atuais permitem até 10 cabeçalhos personalizados, que são passados pelo pipeline e retornados. Alguns clientes agora excedem essa contagem de cabeçalhos, o que resulta em erros HTTP 431. Não há solução para esse erro, a não ser reduzir o volume do cabeçalho. Em versões futuras da API, não passaremos por cabeçalhos personalizados. Recomendamos que os clientes não dependam de cabeçalhos personalizados em arquiteturas de sistema futuras.

Série GPT-5

Limites de lotes

Limite de lotes

A tabela mostra o limite de cota de lote. Os valores de cota para lote global são representados em tokens enfileirados. Quando você envia um arquivo para processamento em lote, o número de tokens no arquivo é contado. Até que o trabalho em lote atinja um estado terminal, esses tokens contam em relação ao seu limite total de tokens enfileirados.

Lote mundial

B = mil milhões | M = milhão | K = mil

Agrupamento de dados por zonas

GPT-OSS

Restrições de utilização do GPT-4

GPT-4.5 preview Padrão Global

Padrão Global da série GPT-4.1

Padrão de zona de dados da série GPT-4.1

GPT-4 Turbo

gpt-4 (turbo-2024-04-09) tem níveis de limite de taxa com limites mais elevados para determinados tipos de clientes.

Limitações de velocidade do roteador modelo

Limites de taxa padrão global de uso do computador

Limites de taxa da série O

Padrão Global da série O

série o Data Zone Standard

o1-preview e o1-mini Standard

Limites de taxa GPT-4O

gpt-4o e gpt-4o-mini têm níveis de limite de taxa com limites mais elevados para determinados tipos de clientes.

gpt-4o Padrão Global

gpt-4o Padrão de zona de dados

gpt-4o Padrão

Áudio GPT-4o

Durante a pré-visualização, os limites de taxa para cada gpt-4o implantação de modelo em tempo real são de pelo menos 100.000 tokens por minuto e 1.000 solicitações por minuto, mesmo que um limite inferior seja mostrado no portal do Azure AI Foundry.

Limitação de taxa GPT-image-1

Padrão Global GPT0-image-1

Níveis de utilização

As implantações do Padrão Global usam a infraestrutura global do Azure. Eles encaminham dinamicamente o tráfego do cliente para o data center com a melhor disponibilidade para as solicitações de inferência do cliente. Da mesma forma, as implantações do Data Zone Standard permitem que você use a infraestrutura global do Azure para rotear dinamicamente o tráfego para o data center dentro da zona de dados definida pela Microsoft com a melhor disponibilidade para cada solicitação. Essa prática permite uma latência mais consistente para clientes com níveis baixos a médios de tráfego. Clientes com altos níveis sustentados de uso podem ver maior variabilidade na latência de resposta.

O limite de uso determina o nível de uso acima do qual os clientes podem ver maior variabilidade na latência de resposta. O uso de um cliente é definido por modelo. É o número total de tokens consumidos em todas as implantações em todas as assinaturas em todas as regiões para um determinado locatário.

Padrão Global, Padrão de Zona de Dados e Padrão

Outros tipos de oferta

Se sua assinatura do Azure estiver vinculada a determinados tipos de oferta, seus valores máximos de cota serão inferiores aos valores indicados nas tabelas anteriores.

• A cota do modelo de raciocínio GPT-5 é de 20K TPM e 200 RPM para todos os tipos de oferta que não têm acesso à cota MCA-E ou padrão. GPT-5-chat é de 50K e 50 RPM.

• Alguns tipos de oferta são restritos apenas a implantações de Padrão Global nas regiões Leste dos EUA2 e Suécia Central.

^*Esse limite se aplica apenas a um pequeno número de assinaturas de área restrita CSP herdadas. Use a consulta a seguir para determinar qual quotaId valor está associado à sua assinatura.

Para determinar o tipo de oferta associado à sua subscrição, pode verificar o seu quotaId valor. Se o seu quotaId valor não estiver listado nesta tabela, a sua subscrição qualifica-se para a quota predefinida.

az login
access_token=$(az account get-access-token --query accessToken -o tsv)

curl -X GET "https://management.azure.com/subscriptions/{subscriptionId}?api-version=2020-01-01" \
  -H "Authorization: Bearer $access_token" \
  -H "Content-Type: application/json"

az rest --method GET --uri "https://management.azure.com/subscriptions/{sub-id}?api-version=2020-01-01"

Resultado

{
  "authorizationSource": "Legacy",
  "displayName": "Pay-As-You-Go",
  "id": "/subscriptions/aaaaaa-bbbbb-cccc-ddddd-eeeeee",
  "state": "Enabled",
  "subscriptionId": "aaaaaa-bbbbb-cccc-ddddd-eeeeee",
  "subscriptionPolicies": {
    "locationPlacementId": "Public_2014-09-01",
    "quotaId": "PayAsYouGo_2014-09-01",
    "spendingLimit": "Off"
  }
}

Melhores práticas gerais para se manter dentro dos limites das taxas

Para minimizar os problemas relacionados aos limites de taxa, é uma boa ideia usar as seguintes técnicas:

• Implemente a lógica de repetição na aplicação.
• Evite alterações acentuadas na carga de trabalho. Aumente a carga de trabalho gradualmente.
• Teste diferentes padrões de aumento de carga.
• Aumente a cota atribuída para a sua implantação. Mova a quota de outra implantação, se necessário.

Solicitar aumento de cota

Os pedidos de aumento de quota podem ser apresentados através do formulário de pedido de aumento de quota. Devido à alta demanda, os pedidos de aumento de cota são aceitos e preenchidos na ordem em que são recebidos. A prioridade é dada aos clientes que geram tráfego que consome a alocação de cota existente. Sua solicitação pode ser negada se essa condição não for atendida.

Você pode enviar uma solicitação de serviço para outros limites de tarifa.

Limites regionais de capacidade das quotas

Você pode exibir a disponibilidade de cota por região para sua assinatura no portal do Azure AI Foundry.

Para exibir a capacidade da cota por região para um modelo ou versão específica, você pode consultar a API de capacidade da sua assinatura. Forneça um subscriptionId, model_namee model_version e a API retorna a capacidade disponível para esse modelo em todas as regiões e tipos de implantação para sua assinatura.

Consulte a referência da API.

import requests
import json
from azure.identity import DefaultAzureCredential

subscriptionId = "Replace with your subscription ID" #replace with your subscription ID
model_name = "gpt-4o"     # Example value, replace with model name
model_version = "2024-08-06"   # Example value, replace with model version

token_credential = DefaultAzureCredential()
token = token_credential.get_token('https://management.azure.com/.default')
headers = {'Authorization': 'Bearer ' + token.token}

url = f"https://management.azure.com/subscriptions/{subscriptionId}/providers/Microsoft.CognitiveServices/modelCapacities"
params = {
    "api-version": "2024-06-01-preview",
    "modelFormat": "OpenAI",
    "modelName": model_name,
    "modelVersion": model_version
}

response = requests.get(url, params=params, headers=headers)
model_capacity = response.json()

print(json.dumps(model_capacity, indent=2))

Conteúdo relacionado

• Explore como gerenciar a cota para suas implantações do Azure OpenAI.
• Saiba mais sobre os modelos subjacentes que alimentam o Azure OpenAI.