リアルタイム推論のために新しいデプロイの安全なロールアウトを実行する

• Azure CLI と Azure CLI のml拡張機能(インストールおよび構成済み)。 詳細については、「 CLI のインストールと設定 (v2)」を参照してください。

• Bash シェルまたは互換性のあるシェル (Linux システム上のシェルや Linux 用 Windows サブシステムなど)。 この記事の Azure CLI の例では、この種類のシェルを使用することを前提としています。

• Azure Machine Learning ワークスペース。 ワークスペースを作成する手順については、「 設定」を参照してください。

• 次の Azure ロールベースのアクセス制御 (Azure RBAC) ロールの少なくとも 1 つを持つユーザー アカウント。

  • Azure Machine Learning ワークスペースの所有者ロール
  • Azure Machine Learning ワークスペースの共同作成者ロール
  • Microsoft.MachineLearningServices/workspaces/onlineEndpoints/*アクセス許可を持つカスタム ロール

  詳細については、「Azure Machine Learning ワークスペースへのアクセスの管理」を参照してください。

• 必要に応じて、 Docker エンジンがインストールされ、ローカルで実行されます。 この前提条件を強くお勧めします。 モデルをローカルにデプロイするために必要であり、デバッグに役立ちます。

適用対象: Python SDK azure-ai-ml v2 (現行)

• Azure Machine Learning ワークスペース。 ワークスペースを作成する手順については、「ワークスペースの 作成」を参照してください。

• Azure Machine Learning SDK for Python v2。 SDK をインストールするには、次のコマンドを使用します。

  pip install azure-ai-ml azure-identity
  

  SDK の既存のインストールを最新バージョンに更新するには、次のコマンドを使用します。

  pip install --upgrade azure-ai-ml azure-identity
  

  詳細については、「 Python 用 Azure Machine Learning パッケージ クライアント ライブラリ」を参照してください。

• 次の Azure ロールベースのアクセス制御 (Azure RBAC) ロールの少なくとも 1 つを持つユーザー アカウント。

  • Azure Machine Learning ワークスペースの所有者ロール
  • Azure Machine Learning ワークスペースの共同作成者ロール
  • Microsoft.MachineLearningServices/workspaces/onlineEndpoints/*アクセス許可を持つカスタム ロール

  詳細については、「Azure Machine Learning ワークスペースへのアクセスの管理」を参照してください。

• 必要に応じて、 Docker エンジンがインストールされ、ローカルで実行されます。 この前提条件を強くお勧めします。 モデルをローカルにデプロイするために必要であり、デバッグに役立ちます。

• Azure サブスクリプション。 Azure サブスクリプションをお持ちでない場合は、開始する前に 無料アカウント を作成してください。

• Azure Machine Learning ワークスペース。 ワークスペースを作成する手順については、「ワークスペースの 作成」を参照してください。

• 次の Azure ロールベースのアクセス制御 (Azure RBAC) ロールの少なくとも 1 つを持つユーザー アカウント。

  • Azure Machine Learning ワークスペースの所有者ロール
  • Azure Machine Learning ワークスペースの共同作成者ロール
  • Microsoft.MachineLearningServices/workspaces/onlineEndpoints/*アクセス許可を持つカスタム ロール

  詳細については、「Azure Machine Learning ワークスペースへのアクセスの管理」を参照してください。

環境変数の設定

Azure CLI で使用する既定値を構成できます。 サブスクリプション、ワークスペース、およびリソース グループの値が複数回渡されないようにするには、次のコードを実行します。

az account set --subscription <subscription-ID>
az configure --defaults workspace=<Azure-Machine-Learning-workspace-name> group=<resource-group-name>

examples リポジトリをクローンします

このアーティクルに従って、まずサンプル リポジトリ (azureml-examples) を複製します。 次に、リポジトリの cli/ ディレクトリに移動します。

git clone --depth 1 https://github.com/Azure/azureml-examples
cd azureml-examples
cd cli

このチュートリアルのコマンドは cli ディレクトリの deploy-safe-rollout-online-endpoints.sh ファイルにあり、YAML 構成ファイルは endpoints/online/managed/sample/ サブディレクトリにあります。

examples リポジトリをクローンします

トレーニング例を実行するには、最初に 例のリポジトリ (azureml-examples) を複製します。 次に、azureml-examples/sdk/python/endpoints/online/managed directory に移動します。

git clone --depth 1 https://github.com/Azure/azureml-examples
cd azureml-examples/sdk/python/endpoints/online/managed

このアーティクルの情報は、online-endpoints-safe-rollout.ipynb ノートブックに基づいています。 この記事にはノートブックと同じコンテンツが含まれていますが、コード ブロックの順序は 2 つのドキュメント間で若干異なります。

Azure Machine Learning ワークスペースへの接続

ワークスペースは、Azure Machine Learning の最上位のリソースです。 ワークスペースでは、Azure Machine Learning を使用するときに作成するすべての成果物を一元的に操作できます。 このセクションでは、デプロイ タスクを実行するワークスペースに接続します。 作業を進めるには、online-endpoints-safe-rollout.ipynb ノートブックを開きます。

1. 必要なライブラリをインポートします。

   # import required libraries
   from azure.ai.ml import MLClient
   from azure.ai.ml.entities import (
       ManagedOnlineEndpoint,
       ManagedOnlineDeployment,
       Model,
       Environment,
       CodeConfiguration,
   )
   from azure.identity import DefaultAzureCredential

   注意

   Kubernetes オンライン エンドポイントを使用している場合は、azure.ai.ml.entities ライブラリから KubernetesOnlineEndpoint クラスと KubernetesOnlineDeployment クラスをインポートします。

2. ワークスペース設定を構成し、ワークスペースへのハンドルを取得します。

   ワークスペースに接続するには、識別子パラメーター (サブスクリプション、リソース グループ、ワークスペース名) が必要です。 この情報は、azure.ai.ml モジュールの MLClient クラスで使用して、必要な Azure Machine Learning ワークスペースへのハンドルを取得します。 次の例では、既定の Azure 認証を使用しています。

   # enter details of your AML workspace
   subscription_id = "<SUBSCRIPTION_ID>"
   resource_group = "<RESOURCE_GROUP>"
   workspace = "<AML_WORKSPACE_NAME>"

   # get a handle to the workspace
   ml_client = MLClient(
       DefaultAzureCredential(), subscription_id, resource_group, workspace
   )

ローカル コンピューターに Git をインストール済みの場合は、手順に従ってサンプル リポジトリを複製できます。 それ以外の場合は、手順に従ってサンプル リポジトリからファイルをダウンロードします。

examples リポジトリをクローンします

この記事に従うには、 azureml-examples リポジトリを複製してから、azureml-examples/cli/endpoints/online/model-1 フォルダーに移動します。

git clone --depth 1 https://github.com/Azure/azureml-examples
cd azureml-examples/cli/endpoints/online/model-1

サンプル リポジトリからファイルをダウンロードする

サンプル リポジトリを複製する代わりに、リポジトリをローカル コンピューターにダウンロードできます。

1. https://github.com/Azure/azureml-examples/ にアクセスします。
2. [コード<>選択し、[ローカル] タブに移動し、[ZIP のダウンロード] を選択します。

オンライン エンドポイントの作成

最初にエンドポイント名を設定してから構成します。 この記事では、endpoints/online/managed/sample/endpoint.yml ファイルを使用してエンドポイントを構成します。 このファイルには、次の行が含まれています。

$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineEndpoint.schema.json
name: my-endpoint
auth_mode: key

次の表では、エンドポイント YAML 形式で使用されるキーについて説明します。 これらの属性を指定する方法については、 CLI (v2) オンライン エンドポイント YAML スキーマを参照してください。 マネージド オンライン エンドポイントに関連する制限については、 Azure Machine Learning オンライン エンドポイントとバッチ エンドポイントに関するページを参照してください。

オンライン エンドポイントを作成するには。

1. 次の Unix コマンドを実行して、エンドポイント名を設定します。 YOUR_ENDPOINT_NAME を一意の名前に置き換えます。

   export ENDPOINT_NAME="<YOUR_ENDPOINT_NAME>"
   

   重要

   エンドポイント名は Azure リージョン内で一意である必要があります。 たとえば、Azure westus2 リージョンでは、my-endpoint という名前のエンドポイントは 1 つしか使用できません。

2. 次のコードを実行して、クラウドにエンドポイントを作成します。 このコードでは、endpoint.yml ファイルを使用してエンドポイントを構成します。

   az ml online-endpoint create --name $ENDPOINT_NAME -f endpoints/online/managed/sample/endpoint.yml
   

青いデプロイを作成する

エンドポイント/オンライン/マネージド/サンプル/blue-deployment.yml ファイルを使用して、 blueという名前のデプロイの主要な側面を構成できます。 このファイルには、次の行が含まれています。

$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineDeployment.schema.json
name: blue
endpoint_name: my-endpoint
model:
  path: ../../model-1/model/
code_configuration:
  code: ../../model-1/onlinescoring/
  scoring_script: score.py
environment: 
  conda_file: ../../model-1/environment/conda.yaml
  image: mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu22.04:latest
instance_type: Standard_DS3_v2
instance_count: 1

blue-deployment.yml ファイルを使用してエンドポイントの blue デプロイを作成するには、次のコマンドを実行します。

az ml online-deployment create --name blue --endpoint-name $ENDPOINT_NAME -f endpoints/online/managed/sample/blue-deployment.yml --all-traffic

blue-deployment.yaml ファイルの path 行は、ファイルのアップロード先を指定します。 Azure Machine Learning CLI では、この情報を使用してファイルをアップロードし、モデルと環境を登録します。 運用環境のベスト プラクティスとして、モデルと環境を登録し、YAML コードで登録済みの名前とバージョンを個別に指定する必要があります。 model: azureml:my-model:1など、モデルの形式model: azureml:<model-name>:<model-version>を使用します。 環境では、environment: azureml:my-env:1などの形式environment: azureml:<environment-name>:<environment-version>を使用します。

登録するためには、model と environment の YAML 定義を別々の YAML ファイルに抽出し、az ml model create コマンドと az ml environment create コマンドを使用します。 これらのコマンドの詳細については、 az ml model create -h と az ml environment create -hを実行します。

モデルを資産として登録する方法の詳細については、「 Azure CLI または Python SDK を使用してモデルを登録する」を参照してください。 環境の作成の詳細については、「 カスタム環境の作成」を参照してください。

オンライン エンドポイントの作成

マネージド オンライン エンドポイントを作成するには、ManagedOnlineEndpointクラスを使用します。 このクラスは、エンドポイントの主要な側面を構成する方法を提供します。

1. エンドポイントを構成します。

   # Creating a unique endpoint name with current datetime to avoid conflicts
   import random
   
   online_endpoint_name = "endpt-moe-" + str(random.randint(0, 10000))
   
   # create an online endpoint
   endpoint = ManagedOnlineEndpoint(
       name=online_endpoint_name,
       description="this is a sample online endpoint",
       auth_mode="key",
       tags={"foo": "bar"},
   )

   注意

   Kubernetes オンライン エンドポイントを作成するには、 KubernetesOnlineEndpointクラスを使用します。

2. エンドポイントを作成します。

   ml_client.online_endpoints.begin_create_or_update(endpoint).result()

青いデプロイを作成する

マネージド オンライン エンドポイントのデプロイを作成するには、ManagedOnlineDeployment クラスを使用します。 このクラスは、デプロイの重要な側面を構成する方法を提供します。

1. blue展開を構成します。

   # create blue deployment
   model = Model(path="../model-1/model/sklearn_regression_model.pkl")
   env = Environment(
       conda_file="../model-1/environment/conda.yaml",
       image="mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu20.04",
   )
   
   blue_deployment = ManagedOnlineDeployment(
       name="blue",
       endpoint_name=online_endpoint_name,
       model=model,
       environment=env,
       code_configuration=CodeConfiguration(
           code="../model-1/onlinescoring", scoring_script="score.py"
       ),
       instance_type="Standard_DS3_v2",
       instance_count=1,
   )

   この例では、 path パラメーターで、ファイルのアップロード先を指定します。 Python SDK では、この情報を使用してファイルをアップロードし、モデルと環境を登録します。 運用環境のベスト プラクティスとして、モデルと環境を登録し、登録された名前とバージョンをコードで個別に指定する必要があります。

   モデルを資産として登録する方法の詳細については、「 Azure CLI または Python SDK を使用してモデルを登録する」を参照してください。

   環境の作成の詳細については、「 カスタム環境の作成」を参照してください。

   注意

   Kubernetes オンライン エンドポイントのデプロイを作成するには、KubernetesOnlineDeploymentクラスを使用します。

2. デプロイを作成します。

   ml_client.online_deployments.begin_create_or_update(blue_deployment).result()

   # blue deployment takes 100 traffic
   endpoint.traffic = {"blue": 100}
   ml_client.online_endpoints.begin_create_or_update(endpoint).result()

Azure Machine Learning Studio でマネージド オンライン エンドポイントを作成する場合は、エンドポイントの初期デプロイを定義する必要があります。 デプロイを定義する前に、ワークスペースにモデルが登録されている必要があります。 次のセクションでは、デプロイに使用するモデルを登録する方法を示します。

モデルを登録する

モデルの登録は、ワークスペース内の論理エンティティです。 このエンティティには、単一のモデル ファイル、または複数ファイルのディレクトリを含めることができます。 運用環境のベスト プラクティスとして、モデルと環境を登録する必要があります。

モデル例を登録するには、次のセクションの手順を実行します。

モデル ファイルをアップロードする

1. [Azure Machine Learning Studio] に移動します。

2. [ モデル] を選択します。

3. [ 登録] を選択し、[ ローカル ファイルから] を選択します。

4. [ モデルの種類] で、[ 未指定の型] を選択します。

5. [ 参照] を選択し、[ フォルダーの参照] を選択します。

   

6. 先ほど複製またはダウンロードしたリポジトリのローカル コピーに移動し、 \azureml-examples\cli\endpoints\online\model-1\model を選択します。 メッセージが表示されたら、[ アップロード ] を選択し、アップロードが完了するまで待ちます。

7. [次へ] を選択します。

モデルの構成と登録

1. [ モデルの設定 ] ページの [ 名前] に、モデルのフレンドリ名を入力します。 この記事の手順では、モデルの名前が model-1 であることを前提としています。

2. [ 次へ] を選択し、[ 登録 ] を選択して登録を完了します。

この記事の後の例では、リポジトリのローカル コピーの \azureml-examples\cli\endpoints\online\model-2\model フォルダーからモデルを登録する必要もあります。 そのモデルを登録するには、前の 2 つのセクションの手順を繰り返しますが、モデルに model-2名前を付けます。

登録済みモデルの操作の詳細については、「 Azure Machine Learning で登録済みモデルを操作する」を参照してください。

スタジオで環境を作成する方法については、「環境の 作成」を参照してください。

マネージド オンライン エンドポイントと青いデプロイを作成する

Azure Machine Learning Studio を使用して、ブラウザーで直接マネージド オンライン エンドポイントを作成できます。 スタジオでマネージド オンライン エンドポイントを作成する場合は、初期デプロイを定義する必要があります。 空のマネージド オンライン エンドポイントを作成することはできません。

スタジオでマネージド オンライン エンドポイントを作成する方法の 1 つは、[モデル] ページからの作成です。 この方法は、既存のマネージド オンライン デプロイにモデルを追加するための簡単な方法でもあります。 前に「モデルの登録」セクションで登録した model-1 という名前の モデルを デプロイするには、次のセクションの手順を実行します。

モデルの選択

1. Azure Machine Learning Studio に移動し、[モデル] を選択します。

2. 一覧で、 model-1 モデルを選択します。

3. [デプロイ]>[リアルタイム エンドポイント] を選択します。

   

   エンドポイントに関する詳細情報を指定するために使用できるウィンドウが開きます。

   

初期設定を構成する

1. [ エンドポイント名] に、エンドポイントの名前を入力します。

2. [ コンピューティングの種類] で、[ マネージド] の既定値をそのまま使用します。

3. [ 認証の種類] で、 キーベースの認証の既定値をそのまま使用します。

4. [ 次へ] を選択し、[ モデル ] ページで [ 次へ] を選択します。

残りの設定を構成し、デプロイを作成する

1. [ デプロイ ] ページで、次の手順を実行します。

   1. [ デプロイ名] に 「青」と入力します。
   2. 後でスタジオでエンドポイント アクティビティのグラフを表示する場合:
      1. [ 推論データの収集] で、トグルをオンにします。
      2. Application Insights の診断で、トグルをオンにします。
   3. [次へ] を選択します。

2. [ 推論のコードと環境] ページで 、次の手順を実行します。

   1. [ 推論用のスコアリング スクリプトの選択] で [ 参照] を選択し、先ほど複製またはダウンロードしたリポジトリから \azureml-examples\cli\endpoints\online\model-1\onlinescoring\score.py ファイルを選択します。
   2. 環境の一覧の上にある検索ボックスで 、sklearn の入力を開始し、 sklearn-1.5:19 キュレーションされた環境を選択します。
   3. [次へ] を選択します。

3. [ コンピューティング ] ページで、次の手順を実行します。

   1. [ 仮想マシン] で、既定値をそのまま使用します。
   2. [ インスタンス数] で、既定値を 1 に置き換えます。
   3. [次へ] を選択します。

4. [ ライブ トラフィック ] ページで、[ 次へ ] を選択して、既定のトラフィック割り当ての 100% を blue デプロイに受け入れます。

5. [ 確認 ] ページで、展開設定を確認し、[ 作成] を選択します。

   

[エンドポイント] ページからエンドポイントを作成する

あるいは、スタジオの [エンドポイント] ページでマネージド オンライン エンドポイントを作成することもできます。

1. [Azure Machine Learning Studio] に移動します。

2. [エンドポイント] を選択します。

3. を選択してを作成します。

   

   ウィンドウが開き、エンドポイントとデプロイに関する詳細情報を指定できます。

4. モデルを選んで、選択をクリックします。

5. 前の 2 つのセクションで説明したように、エンドポイントとデプロイの設定を入力します。 各手順で既定値を使用し、最後の手順で [ 作成 ] を選択してデプロイを作成します。

既存のエンドポイントとデプロイの状態を表示するには、次のコマンドを実行します。

az ml online-endpoint show --name $ENDPOINT_NAME 

az ml online-deployment show --name blue --endpoint $ENDPOINT_NAME 

出力には、 $ENDPOINT_NAME エンドポイントと blue デプロイに関する情報が一覧表示されます。

サンプル データを使用してエンドポイントをテストする

エンドポイントは、 invoke コマンドを使用して呼び出すことができます。 次のコマンドでは、 sample-request.json JSON ファイルを使用してサンプル要求を送信します。

az ml online-endpoint invoke --name $ENDPOINT_NAME --request-file endpoints/online/model-1/sample-request.json

次のコードを使用して、モデルデプロイの状態を確認します。

ml_client.online_endpoints.get(name=online_endpoint_name)

サンプル データを使用してエンドポイントをテストする

前に作成した MLClient のインスタンスを使用して、エンドポイントへのハンドルを取得できます。 エンドポイントを呼び出すには、次のパラメーターを指定して invoke コマンドを使用できます。

• endpoint_name: エンドポイントの名前
• request_file: 要求データを含むファイル
• deployment_name: エンドポイントでテストするデプロイの名前

次のコードでは、 sample-request.json JSON ファイルを使用してサンプル要求を送信します。

# test the blue deployment with some sample data
ml_client.online_endpoints.invoke(
    endpoint_name=online_endpoint_name,
    deployment_name="blue",
    request_file="../model-1/sample-request.json",
)

マネージド オンライン エンドポイントを表示する

スタジオ エンドポイント ページでは、すべてのマネージド オンライン エンドポイントを表示できます。 各エンドポイントのページの [詳細 ] タブには、エンドポイント URI、状態、テスト ツール、アクティビティ モニター、デプロイ ログ、サンプル消費コードなどの重要な情報が表示されます。 この情報を表示するには、次の手順を実行します。

1. スタジオで、[エンドポイント] を選択 します。 ワークスペース内のすべてのエンドポイントの一覧が表示されます。

2. 必要に応じて、マネージド型のみを表示するフィルターをコンピューティング インスタンスの種類に作成します。

3. エンドポイント名を選択して、エンドポイントの [詳細] ページを表示します。

サンプル データを使用してエンドポイントをテストする

エンドポイント ページで、[ テスト ] タブを使用して、マネージド オンラインデプロイをテストできます。 サンプル入力を入力して結果を表示するには、次の手順を実行します。

1. エンドポイント ページで、[ テスト ] タブに移動します。[ 展開 ] の一覧で、 blue 展開が既に選択されています。

2. sample-request.json ファイルに移動し、そのサンプル入力をコピーします。

3. スタジオで、サンプル入力を [入力 ] ボックスに貼り付けます。

4. [Test] を選択します。

オンライン エンドポイントを使用した機械学習モデルのデプロイとスコア付けで説明されているデプロイでは、デプロイ YAML ファイルで instance_count の値を 1 に設定します。 update コマンドを使用してスケールアウトできます。

az ml online-deployment update --name blue --endpoint-name $ENDPOINT_NAME --set instance_count=2

前に作成した MLClient のインスタンスを使用して、デプロイへのハンドルを取得できます。 デプロイをスケーリングするには、 instance_countの値を増減できます。

# scale the deployment
blue_deployment = ml_client.online_deployments.get(
    name="blue", endpoint_name=online_endpoint_name
)
blue_deployment.instance_count = 2
ml_client.online_deployments.begin_create_or_update(blue_deployment).result()

エンドポイントに関する詳細情報を取得する

# Get the details for online endpoint
endpoint = ml_client.online_endpoints.get(name=online_endpoint_name)

# existing traffic details
print(endpoint.traffic)

# Get the scoring URI
print(endpoint.scoring_uri)

インスタンスの数を調整してデプロイをスケールアップまたはスケールダウンするには、次の手順を実行します。

1. エンドポイント ページで、[ 詳細 ] タブに移動し、 blue 展開のカードを見つけます。

2. blue展開カードのヘッダーで、編集アイコンを選択します。

3. [ インスタンス数] に「 2」と入力します。

4. [更新] を選択します。

green という名前の新しいデプロイを作成します。

az ml online-deployment create --name green --endpoint-name $ENDPOINT_NAME -f endpoints/online/managed/sample/green-deployment.yml

greenデプロイにトラフィックを明示的に割り当てていないため、そこにはトラフィックがゼロに割り当てられています。 次のコマンドを使用して、その事実を確認できます。

az ml online-endpoint show -n $ENDPOINT_NAME --query traffic

新しいデプロイをテストする

greenデプロイには 0% のトラフィックが割り当てられていますが、--deployment オプションを使用して直接呼び出すことができます。

az ml online-endpoint invoke --name $ENDPOINT_NAME --deployment-name green --request-file endpoints/online/model-2/sample-request.json

トラフィック ルールを介さずに、REST クライアントを使用して直接デプロイを呼び出したい場合、azureml-model-deployment: <deployment-name> という HTTP ヘッダーを設定します。 次のコードでは、URL 用クライアント (cURL) を使用してデプロイを直接呼び出します。 Unix または Windows Subsystem for Linux (WSL) 環境でコードを実行できます。 $ENDPOINT_KEY値を取得する手順については、「データ プレーン操作のキーまたはトークンを取得する」を参照してください。

# get the scoring uri
SCORING_URI=$(az ml online-endpoint show -n $ENDPOINT_NAME -o tsv --query scoring_uri)
# use curl to invoke the endpoint
curl --request POST "$SCORING_URI" --header "Authorization: Bearer $ENDPOINT_KEY" --header 'Content-Type: application/json' --header "azureml-model-deployment: green" --data @endpoints/online/model-2/sample-request.json

マネージド オンライン エンドポイントの新しいデプロイを作成し、デプロイに greenという名前を付けます。

# create green deployment
model2 = Model(path="../model-2/model/sklearn_regression_model.pkl")
env2 = Environment(
    conda_file="../model-2/environment/conda.yaml",
    image="mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu20.04",
)

green_deployment = ManagedOnlineDeployment(
    name="green",
    endpoint_name=online_endpoint_name,
    model=model2,
    environment=env2,
    code_configuration=CodeConfiguration(
        code="../model-2/onlinescoring", scoring_script="score.py"
    ),
    instance_type="Standard_DS3_v2",
    instance_count=1,
)

# use MLClient to create green deployment
ml_client.online_deployments.begin_create_or_update(green_deployment).result()

新しいデプロイをテストする

greenデプロイには割り当てられたトラフィックの 0% が割り当てられていますが、エンドポイントとデプロイを引き続き呼び出すことができます。 次のコードでは、 sample-request.json JSON ファイルを使用してサンプル要求を送信します。

ml_client.online_endpoints.invoke(
    endpoint_name=online_endpoint_name,
    deployment_name="green",
    request_file="../model-2/sample-request.json",
)

新しいデプロイを作成して、マネージド オンライン エンドポイントに追加できます。 greenという名前のデプロイを作成するには、次のセクションの手順を実行します。

初期設定を構成する

1. エンドポイント ページで、[ 詳細 ] タブに移動し、[ デプロイの追加] を選択します。

2. [ モデルの選択 ] ページで、 モデル 2 を選択し、[選択] を 選択します。

3. [ エンドポイント ] ページと [ モデル ] ページで、[ 次へ] を選択します。

4. [ デプロイ ] ページで、次の手順を実行します。

   1. [ デプロイ名] に 「緑」と入力します。
   2. [ 推論データの収集] で、トグルをオンにします。
   3. Application Insights の診断で、トグルをオンにします。
   4. [次へ] を選択します。

5. [ 推論のコードと環境] ページで 、次の手順を実行します。

   1. [ 推論のスコアリング スクリプトの選択] で [ 参照] を選択し、先ほど複製またはダウンロードしたリポジトリから \azureml-examples\cli\endpoints\online\model-2\onlinescoring\score.py ファイルを選択します。
   2. 環境の一覧の上にある検索ボックスで 、sklearn の入力を開始し、 sklearn-1.5:19 キュレーションされた環境を選択します。
   3. [次へ] を選択します。

6. [ コンピューティング ] ページで、次の手順を実行します。

   1. [ 仮想マシン] で、既定値をそのまま使用します。
   2. [ インスタンス数] で、既定値を 1 に置き換えます。
   3. [次へ] を選択します。

残りの設定を構成し、デプロイを作成する

1. [ ライブ トラフィック ] ページで、[ 次へ ] を選択して、既定のトラフィック割り当てとして、 blue デプロイに 100%、 greenに 0% を受け入れます。

2. [ 確認 ] ページで、展開設定を確認し、[ 作成] を選択します。

   

[モデル] ページからデプロイを追加する

または、 [モデル] ページを使用してデプロイを追加することもできます。

1. スタジオで、[ モデル] を選択します。

2. 一覧からモデルを選択します。

3. [デプロイ]>[リアルタイム エンドポイント] を選択します。

4. [ エンドポイント] で [ 既存] を選択します。

5. エンドポイントの一覧で、モデルをデプロイするマネージド オンライン エンドポイントを選択し、[ 次へ] を選択します。

   

6. [ モデル ] ページで、[ 次へ] を選択します。

7. green展開の作成を完了するには、「初期設定の構成」セクションの手順 4 から 6、および「残りの設定を構成してデプロイ」セクションのすべての手順に従います。

新しいデプロイをテストする

トラフィックの 0% が green デプロイに送信される場合でも、エンドポイントとそのデプロイを呼び出すことができます。 エンドポイント ページで、[ テスト ] タブを使用して、マネージド オンラインデプロイをテストできます。 サンプル入力を入力して結果を表示するには、次の手順を実行します。

1. エンドポイント ページで、[ テスト ] タブに移動します。

2. デプロイ リストで、グリーンを選択します。

3. sample-request.json ファイルに移動し、そのサンプル入力をコピーします。

4. スタジオで、サンプル入力を [入力 ] ボックスに貼り付けます。

5. [Test] を選択します。

次のコマンドを使用して、トラフィックの 10% をミラーリングし、 green デプロイに送信します。

az ml online-endpoint update --name $ENDPOINT_NAME --mirror-traffic "green=10"

受信トラフィックを受信するデプロイを指定せずにエンドポイントを複数回呼び出すことで、ミラー化されたトラフィックをテストできます。

for i in {1..20} ; do
    az ml online-endpoint invoke --name $ENDPOINT_NAME --request-file endpoints/online/model-1/sample-request.json
done

指定した割合のトラフィックが green デプロイに送信されることを確認するには、デプロイのログを確認します。

az ml online-deployment get-logs --name green --endpoint $ENDPOINT_NAME

テスト後、ミラー トラフィックを 0 に設定して、ミラーリングを無効にすることができます。

az ml online-endpoint update --name $ENDPOINT_NAME --mirror-traffic "green=0"

トラフィックの 10% をミラー化し、 green デプロイに送信するには、次のコードを使用します。

endpoint.mirror_traffic = {"green": 10}
ml_client.begin_create_or_update(endpoint).result()

受信トラフィックを受信するデプロイを指定せずにエンドポイントを複数回呼び出すことで、ミラー化されたトラフィックをテストできます。

# You can test mirror traffic by invoking the endpoint several times
for i in range(20):
    ml_client.online_endpoints.invoke(
        endpoint_name=online_endpoint_name,
        request_file="../model-1/sample-request.json",
    )

指定した割合のトラフィックが green デプロイに送信されることを確認するには、デプロイのログを確認します。

ml_client.online_deployments.get_logs(
    name="green", endpoint_name=online_endpoint_name, lines=50
)

テスト後、ミラー トラフィックを 0 に設定して、ミラーリングを無効にすることができます。

endpoint.mirror_traffic = {"green": 0}
ml_client.begin_create_or_update(endpoint).result()

トラフィックの 10% をミラーリングし、 green デプロイに送信するには、次の手順を実行します。

1. エンドポイント ページで、[ 詳細 ] タブに移動し、[ トラフィックの更新] を選択します。

2. ミラー化されたトラフィックを有効にする トグルをオンにします。

3. [ デプロイ名 ] の一覧 で、緑色を選択します。

4. [ トラフィック割り当て %] で、既定値の 10% のままにします。

5. [更新] を選択します。

エンドポイントの詳細ページに、 green デプロイに対する 10% のミラー化されたトラフィック割り当てが表示されるようになりました。

ミラーリングされたトラフィックをテストするには、Azure CLI または Python のタブを参照してエンドポイントを複数回呼び出します。 デプロイからのログを確認して、指定した割合のトラフィックが green デプロイに送信されることを確認します。 [ログ] タブに移動して、エンドポイント ページのデプロイ ログ にアクセスできます。

メトリックとログを使用して、ミラー化されたトラフィックのパフォーマンスを監視することもできます。 詳しくは、「オンライン エンドポイントを監視する」をご覧ください。

テスト後、次の手順を実行してミラーリングを無効にすることができます。

1. エンドポイント ページで、[ 詳細 ] タブに移動し、[ トラフィックの更新] を選択します。

2. ミラー化されたトラフィックを有効にするトグルをオフにします。

3. [更新] を選択します。

az ml online-endpoint update --name $ENDPOINT_NAME --traffic "blue=90 green=10"

endpoint.traffic = {"blue": 90, "green": 10}
ml_client.begin_create_or_update(endpoint).result()

1. エンドポイント ページで、[ 詳細 ] タブに移動し、[ トラフィックの更新] を選択します。

2. greenデプロイに 10%、blueデプロイに 90% を割り当てることで、デプロイ トラフィックを調整します。

3. [更新] を選択します。

az ml online-endpoint update --name $ENDPOINT_NAME --traffic "blue=0 green=100"

endpoint.traffic = {"blue": 0, "green": 100}
ml_client.begin_create_or_update(endpoint).result()

1. エンドポイント ページで、[ 詳細 ] タブに移動し、[ トラフィックの更新] を選択します。

2. greenデプロイに 100%、blueデプロイに 0% を割り当てることで、デプロイ トラフィックを調整します。

3. [更新] を選択します。

az ml online-deployment delete --name blue --endpoint $ENDPOINT_NAME --yes --no-wait

ml_client.online_deployments.begin_delete(
    name="blue", endpoint_name=online_endpoint_name
).wait()

1. エンドポイント ページで、[ 詳細 ] タブに移動し、 blue 展開カードに移動します。

2. デプロイ名の横にある削除アイコンを選択します。

az ml online-endpoint delete --name $ENDPOINT_NAME --yes --no-wait

ml_client.online_endpoints.begin_delete(name=online_endpoint_name)

1. [Azure Machine Learning Studio] に移動します。

2. [エンドポイント] を選択します。

3. 一覧からエンドポイントを選択します。

4. [削除] を選択します。

または、[ 詳細 ] タブに移動し、削除アイコンを選択して、エンドポイント ページでマネージド オンライン エンドポイントを直接削除することもできます。