Arbeiten mit Azure OpenAI-Modellen

Azure OpenAI in Azure AI Foundry Models wird von einer Vielzahl von Modellen mit unterschiedlichen Funktionen und Preispunkten unterstützt. Die Modellverfügbarkeit variiert je nach Region.

Sie können mit der Modelllisten-API eine Liste der Modelle abrufen, die sowohl für Rückschlüsse als auch für die Feinabstimmung durch Ihre Azure OpenAI-Ressource verfügbar sind.

Modellupdates

Azure OpenAI unterstützt jetzt automatische Updates für ausgewählte Modellimplementierungen. Bei Modellen, bei denen die unterstützung für automatische Updates verfügbar ist, wird eine Dropdownliste für Modellversionen im Azure AI Foundry-Portal unter Bereitstellungen und Bearbeiten angezeigt:

Weitere Informationen zu Azure OpenAI-Modellversionen und ihrer Funktionsweise finden Sie im Artikel zu Azure OpenAI-Modellversionen.

Automatisches Update auf die Standardeinstellung

Wenn Sie die Bereitstellung auf Automatisch aktualisieren auf Standard festlegen, wird die Modellbereitstellung innerhalb von zwei Wochen nach einer Änderung in der Standardversion automatisch aktualisiert. Bei einer Vorschauversion erfolgt die Aktualisierung automatisch, wenn eine neue Vorschauversion verfügbar ist, beginnend zwei Wochen nach der Veröffentlichung der neuen Vorschauversion.

Wenn Sie sich noch in den frühen Testphasen für Rückschlussmodelle befinden, empfiehlt es sich, Modelle mit Automatische Aktualisierung auf die Standardeinstellung zu implementieren, sofern verfügbar.

Bestimmte Modellversion

Da Sich Ihre Verwendung von Azure OpenAI weiterentwickelt und Sie mit der Erstellung und Integration in Anwendungen beginnen, sollten Sie Modellupdates manuell steuern. Sie können zuerst testen und überprüfen, ob Ihr Anwendungsverhalten für Ihren Anwendungsfall konsistent ist, bevor Sie ein Upgrade durchführen.

Wenn Sie eine bestimmte Modellversion für eine Bereitstellung auswählen, bleibt diese Version ausgewählt, bis Sie sie entweder selbst manuell aktualisieren oder das Einstellungsdatum für das Modell erreicht ist. Wenn das Einstellungsdatum erreicht ist, wird das Modell zum Zeitpunkt der Einstellung automatisch auf die Standardversion aktualisiert.

Anzeigen von Einstellungsterminen

Wählen Sie für derzeit bereitgestellte Modelle im Azure AI Foundry-PortalBereitstellungen aus:

Konfiguration von Upgrades der Modellimplementierung

Sie können im Azure AI Foundry-Portal nachsehen, welche Modellupgradeoptionen für zuvor bereitgestellte Modelle festgelegt wurden. Wählen Sie Bereitstellungen> Wählen Sie unter der Spalte „Bereitstellungsname“ einen der Bereitstellungsnamen aus, die blau hervorgehoben sind.

Wenn Sie einen Bereitstellungsnamen auswählen, werden die Eigenschaften für die Modellbereitstellung geöffnet. Sie können sehen, welche Upgradeoptionen für Ihre Bereitstellung unter Versionsupdaterichtlinie festgelegt sind:

Auf die entsprechende Eigenschaft kann auch über REST, Azure PowerShellund Azure CLI zugegriffen werden.

Es gibt drei verschiedene Modellbereitstellungsupgradeoptionen:

Beispiele

// Step 1: Get Deployment
$deployment = Get-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName} -Name {DeploymentName}
 
// Step 2: Show Deployment VersionUpgradeOption
$deployment.Properties.VersionUpgradeOption
 
// VersionUpgradeOption can be null - one way to check is
$null -eq $deployment.Properties.VersionUpgradeOption
 
// Step 3: Update Deployment VersionUpgradeOption
$deployment.Properties.VersionUpgradeOption = "NoAutoUpgrade"
New-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName} -Name {DeploymentName} -Properties $deployment.Properties -Sku $deployment.Sku
 
// repeat step 1 and 2 to confirm the change.
// If not sure about deployment name, use this command to show all deployments under an account
Get-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName}

// To update to a new model version

// Step 1: Get Deployment
$deployment = Get-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName} -Name {DeploymentName}

// Step 2: Show Deployment Model properties
$deployment.Properties.Model.Version

// Step 3: Update Deployed Model Version
$deployment.Properties.Model.Version = "0613"
New-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName} -Name {DeploymentName} -Properties $deployment.Properties -Sku $deployment.Sku

// repeat step 1 and 2 to confirm the change.

GET https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.CognitiveServices/accounts/{accountName}/deployments?api-version=2023-05-01

{
  "value": [
    {
      "id": "/subscriptions/aaaaaaaa-bbbb-cccc-dddd-eeeeeeeeeeeb/resourceGroups/az-test-openai/providers/Microsoft.CognitiveServices/accounts/aztestopenai001/deployments/gpt-35-turbo",
      "type": "Microsoft.CognitiveServices/accounts/deployments",
      "name": "gpt-35-turbo",
      "sku": {
        "name": "Standard",
        "capacity": 80
      },
      "properties": {
        "model": {
          "format": "OpenAI",
          "name": "gpt-35-turbo",
          "version": "0301"
        },
        "versionUpgradeOption": "OnceNewDefaultVersionAvailable",
        "capabilities": {
          "completion": "true",
          "chatCompletion": "true"
        },
        "raiPolicyName": "Microsoft.Default",
        "provisioningState": "Succeeded",
        "rateLimits": [
          {
            "key": "request",
            "renewalPeriod": 10,
            "count": 80
          },
          {
            "key": "token",
            "renewalPeriod": 60,
            "count": 80000
          }
        ]
      },
      "systemData": {
        "createdBy": "docs@contoso.com",
        "createdByType": "User",
        "createdAt": "2023-07-31T16:45:32.622404Z",
        "lastModifiedBy": "docs@contoso.com",
        "lastModifiedByType": "User",
        "lastModifiedAt": "2023-10-31T13:59:34.4978286Z"
      },
      "etag": "\"aaaaaaaa-bbbb-cccc-dddd-eeeeeeeeeeee\""
    }
  ]
}

Aktualisieren und Bereitstellen von Modellen über die API

PUT https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.CognitiveServices/accounts/{accountName}/deployments/{deploymentName}?api-version=2023-05-01

Pfadparameter

Unterstützte Versionen

• 2023-05-01 Swagger-Spezifikation

Anforderungstext

Dies ist nur eine Teilmenge der verfügbaren Anforderungstextparameter. Eine vollständige Liste der Parameter finden Sie in der REST-API-Referenzdokumentation.

Beispielanforderung

curl -X PUT https://management.azure.com/subscriptions/00000000-0000-0000-0000-000000000000/resourceGroups/resource-group-temp/providers/Microsoft.CognitiveServices/accounts/docs-openai-test-001/deployments/gpt-35-turbo?api-version=2023-05-01 \
  -H "Content-Type: application/json" \
  -H 'Authorization: Bearer YOUR_AUTH_TOKEN' \
  -d '{"sku":{"name":"Standard","capacity":120},"properties": {"model": {"format": "OpenAI","name": "gpt-35-turbo","version": "0613"},"versionUpgradeOption":"OnceCurrentVersionExpired"}}'

Beispielantwort

 {
  "id": "/subscriptions/{subscription-id}/resourceGroups/resource-group-temp/providers/Microsoft.CognitiveServices/accounts/docs-openai-test-001/deployments/gpt-35-turbo",
  "type": "Microsoft.CognitiveServices/accounts/deployments",
  "name": "gpt-35-turbo",
  "sku": {
    "name": "Standard",
    "capacity": 120
  },
  "properties": {
    "model": {
      "format": "OpenAI",
      "name": "gpt-35-turbo",
      "version": "0613"
    },
    "versionUpgradeOption": "OnceCurrentVersionExpired",
    "capabilities": {
      "chatCompletion": "true"
    },
    "provisioningState": "Succeeded",
    "rateLimits": [
      {
        "key": "request",
        "renewalPeriod": 10,
        "count": 120
      },
      {
        "key": "token",
        "renewalPeriod": 60,
        "count": 120000
      }
    ]
  },
  "systemData": {
    "createdBy": "docs@contoso.com",
    "createdByType": "User",
    "createdAt": "2023-02-28T02:57:15.8951706Z",
    "lastModifiedBy": "docs@contoso.com",
    "lastModifiedByType": "User",
    "lastModifiedAt": "2023-10-31T15:35:53.082912Z"
  },
  "etag": "\"GUID\""
}

Verwalten von Modellen für bereitgestellte Bereitstellungstypen

Bereitgestellte Bereitstellungen unterstützen unterschiedliche Modellverwaltungsmethoden. Die Methoden zum Verwalten von Modellen für bereitgestellte Bereitstellungstypen sollen Ihnen die größte Kontrolle darüber geben, wann und wie Sie zwischen Modellversionen und Modellfamilien migrieren. Derzeit stehen zwei Ansätze zum Verwalten von Modellen für bereitgestellte Bereitstellungen zur Verfügung: (1) direkte Migrationen und (2) Migrationen mehrerer Bereitstellungen.

Voraussetzungen

• Überprüfen Sie, ob die Zielmodellversion oder Modellfamilie für Ihren vorhandenen Bereitstellungstyp unterstützt wird. Migrationen können nur zwischen bereitgestellten Bereitstellungen desselben Bereitstellungstyps erfolgen. Weitere Informationen zu Bereitstellungstypen finden Sie in der Dokumentation zum Bereitstellungstyp.
• Überprüfen Sie die Kapazitätsverfügbarkeit für Ihre Zielmodellversion oder Modellfamilie, bevor Sie versuchen, eine Migration durchzuführen. Weitere Informationen zur Ermittlung der Kapazitätsverfügbarkeit finden Sie in der Dokumentation zur Kapazitätstransparenz.
• Überprüfen Sie bei Migrationen mehrerer Bereitstellungen, ob Sie über ein ausreichendes Kontingent verfügen, um mehrere Bereitstellungen gleichzeitig unterstützen zu können. Weitere Informationen zum Überprüfen des Kontingents für jeden bereitgestellten Bereitstellungstyp erfahren Sie in der Dokumentation zu den bereitgestellten Durchsatzkosten.

Direkte Migrationen für bereitgestellte Bereitstellungen

Bei direkten Migrationen können Sie den gleichen bereitgestellten Bereitstellungsnamen und die gleiche Größe beibehalten, während Sie die Modellversion oder Modellfamilie ändern, die dieser Bereitstellung zugewiesen ist. Bei direkten Migrationen kümmert sich Azure OpenAI während der Migration über ein Zeitfenster von 20-30 Minuten um die Migration des vorhandenen Datenverkehrs zwischen Modellversionen oder Modellfamilien. Im gesamten Migrationsfenster wird für die bereitgestellte Bereitstellung der Bereitstellungsstatus „Aktualisieren“ angezeigt. Sie können Ihre bereitgestellte Bereitstellung weiterhin wie gewohnt verwenden. Sobald die direkte Migration abgeschlossen ist, wird der Bereitstellungsstatus aktualisiert und in „erfolgreich“ geändert. Damit wird angezeigt, dass der gesamte Datenverkehr zur Zielmodellversion oder Modellfamilie migriert wurde.

Direkte Migration: Modellversionsupdate

Direkte Migrationen, die darauf abzielen, eine vorhandene bereitgestellte Bereitstellung auf eine neue Modellversion innerhalb derselben Modellfamilie zu aktualisieren, werden über Azure AI Foundry, REST-API und Azure CLI unterstützt. Um eine direkte Migration für ein Modellversionsupdate in Azure AI Foundry durchzuführen, wählen Sie Bereitstellungen> und unter der Spalte „Bereitstellungsname“n den Bereitstellungsnamen der bereitgestellten Bereitstellung aus, die Sie migrieren möchten.

Wenn Sie einen Bereitstellungsnamen auswählen, werden die Eigenschaften für die Modellbereitstellung geöffnet. Wählen Sie in dieser Ansicht die Schaltfläche Bearbeiten aus, damit das Dialogfeld Bereitstellung aktualisieren angezeigt wird. Wählen Sie die Dropdownliste „Modellversion“ aus, um eine neue Modellversion für die bereitgestellte Bereitstellung festzulegen. Wie bereits erwähnt, ändert sich der Bereitstellungsstatus während der Migration in „Aktualisieren“ und wird nach Abschluss der Migration auf „erfolgreich“ zurückgesetzt.

Direkte Migration: Änderung der Modellfamilie

Direkte Migrationen, die auf die Aktualisierung einer vorhandenen bereitgestellten Bereitstellung auf eine neue Modellfamilie abzielen, werden über REST-API und Azure CLI unterstützt. Um eine direkte Migration zur Änderung der Modellfamilie durchzuführen, können Sie sich an der folgenden Beispielanforderung orientieren. In der Anforderung müssen Sie den Modellnamen und die Modellversion für das Zielmodell aktualisieren, zu dem Sie migrieren.

curl -X PUT https://management.azure.com/subscriptions/00000000-0000-0000-0000-000000000000/resourceGroups/resource-group-temp/providers/Microsoft.CognitiveServices/accounts/docs-openai-test-001/deployments/gpt-4o-ptu-deployment?api-version=2024-10-01 \
  -H "Content-Type: application/json" \
  -H 'Authorization: Bearer YOUR_AUTH_TOKEN' \
  -d '{"sku":{"name":"GlobalProvisionedManaged","capacity":100},"properties": {"model": {"format": "OpenAI","name": "gpt-4o-mini","version": "2024-07-18"}}}'

Beispielantwort

 {
  "id": "/subscriptions/{subscription-id}/resourceGroups/resource-group-temp/providers/Microsoft.CognitiveServices/accounts/docs-openai-test-001/deployments/gpt-4o-ptu-deployment",
  "type": "Microsoft.CognitiveServices/accounts/deployments",
  "name": "gpt-4o-ptu-deployment",
  "sku": {
    "name": "GlobalProvisionedManaged",
    "capacity": 100
  },
  "properties": {
    "model": {
      "format": "OpenAI",
      "name": "gpt-4o-mini",
      "version": "2024-07-18"
    },
    "versionUpgradeOption": "OnceCurrentVersionExpired",
    "currentCapacity": 100
    "capabilities": {
      "area": "EUR",
      "chatCompletion": "true"
      "jsonObjectResponse": "true",
      "maxContextToken": "128000",
      "maxOutputToken": "16834",
      "assistants": "true"
    },
    "provisioningState": "Updating",
    "rateLimits": [
      {
        "key": "request",
        "renewalPeriod": 10,
        "count": 300
      }
    ]
  },
  "systemData": {
    "createdBy": "docs@contoso.com",
    "createdByType": "User",
    "createdAt": "2025-01-28T02:57:15.8951706Z",
    "lastModifiedBy": "docs@contoso.com",
    "lastModifiedByType": "User",
    "lastModifiedAt": "2025-01-29T15:35:53.082912Z"
  },
  "etag": "\"GUID\""
}

Migrationen mit mehreren Bereitstellungen für bereitgestellte Bereitstellungen

Migrationen mit mehreren Bereitstellungen ermöglichen eine stärkere Kontrolle über den Modellmigrationsprozess. Bei Migrationen mit mehreren Bereitstellungen können Sie festlegen, wie schnell Sie vorhandenen Datenverkehr zu der Zielmodellversion oder Modellfamilie für eine neue bereitgestellte Bereitstellung migrieren möchten. Der Prozess zur Migrieren zu einer neuen Modellversion oder Modellfamilie mithilfe des Ansatzes der Migration mit mehreren Bereitstellungen sieht wie folgt aus:

• Erstellen Sie eine neue bereitgestellte Bereitstellung. Für diese neue Bereitstellung können Sie den bereitgestellten Bereitstellungstyp von Ihrer vorhandenen Bereitstellung beibehalten oder bei Bedarf einen neuen Bereitstellungstyp auswählen.
• Leiten Sie den Datenverkehr von der vorhandenen bereitgestellten Bereitstellung auf die neu erstellte bereitgestellte Bereitstellung mit Ihrer Zielmodellversion oder -modellfamilie um, bis der gesamte Datenverkehr von der ursprünglichen Bereitstellung abgezogen ist.
• Nachdem der Datenverkehr zur neuen Bereitstellung migriert wurde, überprüfen Sie, ob keine Rückschlussanforderungen für die vorherige bereitgestellte Bereitstellung verarbeitet werden, indem sichergestellt wird, dass die Metrik "Azure OpenAI-Anforderungen" keine API-Aufrufe anzeigt, die innerhalb von 5 bis 10 Minuten nach der Migration zum neuen Bereitstellungsdatenverkehr getätigt wurden. Weitere Informationen zu dieser Metrik finden Sie in der Dokumentation zum Überwachen von Azure OpenAI.
• Nachdem Sie sich vergewissert haben, dass keine Rückschlussaufrufe getätigt wurden, löschen Sie die ursprüngliche bereitgestellte Bereitstellung.

Nächste Schritte

• Weitere Informationen zur regionalen Verfügbarkeit von Azure OpenAI-Modellen
• Weitere Informationen zu Azure OpenAI