ネットワークの着信トラフィックおよび送信トラフィックを構成する

Azure Machine Learning では、パブリック インターネット上のサーバーとサービスへのアクセスが必要となります。 ネットワークの分離を実装する場合は、必要なアクセスとその有効化方法を理解する必要があります。

一般的な用語と情報

この記事では、次の用語と情報が使用されています。

• Azure サービス タグ: サービス タグは、Azure サービスで使用される IP 範囲を簡単に指定する方法です。 たとえば、AzureMachineLearning タグは、Azure Machine Learning service によって使用される IP アドレスを表します。

  重要

  Azure サービス タグは、一部の Azure サービスでのみサポートされています。 ネットワーク セキュリティ グループと Azure Firewall でサポートされるサービス タグの一覧については、 仮想ネットワーク サービス タグ に関する記事を参照してください。

  サード パーティのファイアウォールなどの Azure 以外のソリューションを使用している場合は、 Azure IP 範囲とサービス タグの一覧をダウンロードします。 ファイルを抽出し、ファイル内のサービス タグを検索します。 IP アドレスは定期的に変更される可能性があります。

• リージョン: 一部のサービス タグでは、Azure リージョンを指定できます。 これにより、特定のリージョン (通常はサービスが存在する) 内のサービス IP アドレスへのアクセスが制限されます。 この記事で <region> が表示されたら、代わりにご利用の Azure リージョンに置き換えてください。 たとえば、Azure Machine Learning ワークスペースが米国西部リージョンにある場合、BatchNodeManagement.<region> は BatchNodeManagement.uswest です。

• Azure Batch: Azure Machine Learning コンピューティング クラスターとコンピューティング インスタンスは、バックエンドの Azure Batch インスタンスに依存します。 このバックエンド サービスは、Microsoft サブスクリプションでホストされています。

• ポート: この記事では、次のポートを使用します。 この表にポート範囲が一覧表示されていない場合は、サービスに固有であり、その使用目的に関する公開情報がない可能性があります。

  港 / ポート	説明
  80	セキュリティで保護されていない Web トラフィック (HTTP)
  443	セキュリティで保護されている Web トラフィック (HTTPS)
  445	Azure File Storage のファイル共有へのアクセスに使用される SMB トラフィック
  8787	コンピューティング インスタンスで RStudio に接続するときに使用されます
  18881	コンピューティング インスタンス上のノートブックに対して IntelliSense を有効にするために、言語サーバーに接続するために使用されます。

• プロトコル: 特に明記されていない限り、この記事で説明されているすべてのネットワーク トラフィックは TCP を使用 します。

基本構成

この構成では以下を前提としています。

• 指定したコンテナー レジストリによって提供される Docker イメージを使用しており、Microsoft が提供するイメージは使用しません。
• プライベート Python パッケージ リポジトリを使用しており、 pypi.org、 *.anaconda.com、 *.anaconda.orgなどのパブリック パッケージ リポジトリにはアクセスしません。
• プライベート エンドポイントは、VNet 内で相互に直接通信できます。 たとえば次のように、すべてのサービスに同じ VNet 内のプライベート エンドポイントがあります。
  • Azure Machine Learning ワークスペース
  • Azure ストレージ アカウント (BLOB、ファイル、テーブル、キュー)

受信トラフィック

アウトバウンドトラフィック

モデルのトレーニングとデプロイに推奨される構成

アウトバウンドトラフィック

トレーニングとデプロイのための Python パッケージのインストールを許可するには、次のホスト名への 送信 トラフィックを許可します。

シナリオ: コンピューティング インスタンスに RStudio をインストールする

コンピューティング インスタンスへの RStudio のインストールを許可するには、ファイアウォールで、Docker イメージをプルするサイトへのアウトバウンド アクセスを許可する必要があります。 Azure Firewall ポリシーに次のアプリケーション規則を追加します。

• 名前: AllowRStudioInstall
• 送信元の種類: IP アドレス
• ソース IP アドレス: コンピューティング インスタンスを作成するサブネットの IP アドレス範囲。 たとえば、172.16.0.0/24 のようにします。
• 宛先の種類: FQDN
• ターゲット FQDN: ghcr.io、 pkg-containers.githubusercontent.com
• プロトコル: Https:443

R パッケージのインストールを許可するには、へのcloud.r-project.orgトラフィックを許可します。 このホストは、CRAN パッケージのインストールに使用されます。

シナリオ: パブリック IP でのコンピューティング クラスターまたはコンピューティング インスタンスの使用

Azure Machine Learning コンピューティング インスタンス または コンピューティング クラスター (パブリック IP アドレスを使用) を使用する場合は、Azure Machine Learning サービスからの受信トラフィックを許可します。 パブリック IP のないコンピューティング インスタンスまたはコンピューティング クラスターでは、この受信通信は必要ありません。 このトラフィックを許可するネットワーク セキュリティ グループは自動的に動的に作成されますが、ファイアウォールがある場合は、ユーザー定義ルート (UDR) の作成も必要な場合があります。 このトラフィックの UDR を作成するときは、 IP アドレス または サービス タグ を使用してトラフィックをルーティングできます。

az network route-table route create -g MyResourceGroup --route-table-name MyRouteTable -n AzureMLRoute --address-prefix AzureMachineLearning --next-hop-type Internet

UDR の構成については、 ルーティング テーブルを使用したネットワーク トラフィックのルーティングに関するページを参照してください。

シナリオ: Azure Machine Learning と Azure Storage のエンドポイント間のファイアウォール

ポート 445 でStorage.<region>への送信アクセスも許可する必要があります。

シナリオ: hbi_workspace フラグを有効にして作成されたワークスペース

へのKeyvault.<region>アクセスも許可する必要があります。 このアウトバウンド トラフィックは、バックエンドの Azure Batch サービスのキー コンテナー インスタンスにアクセスするために使用されます。

hbi_workspace フラグの詳細については、データ暗号化に関する記事を参照してください。

シナリオ: Kubernetes コンピューティングを使用する

送信プロキシ サーバーまたはファイアウォールの背後で実行されている Kubernetes クラスターには、追加のエグレス ネットワーク構成が必要です。

• Azure Arc 接続を使用する Kubernetes の場合は、Azure Arc エージェントに必要な Azure Arc ネットワーク要件 を構成します。
• Azure Arc 接続のない AKS クラスターの場合は、 AKS 拡張機能のネットワーク要件を構成します。

上記の要件に加えて、Azure Machine Learning には次のアウトバウンド URL も必要です。

クラスター内通信の要件

Kubernetes コンピューティングに Azure Machine Learning 拡張機能をインストールするために、すべての Azure Machine Learning 関連コンポーネントが名前空間に azureml デプロイされます。 ML ワークロードが AKS クラスター内で適切に動作するには、次のクラスター内通信が必要です。

• azureml 名前空間内のコンポーネントは、Kubernetes API サーバーと通信できる必要があります。
• azureml 名前空間内のコンポーネントは、相互に通信できる必要があります。
• azureml 名前空間内のコンポーネントは、kube-dns 名前空間の konnectivity-agent および kube-system と通信できる必要があります。
• クラスターがリアルタイム推論に使用される場合は、azureml-fe-xxx POD が、他の名前空間の 5001 ポートで、デプロイされたモデル POD と通信できる必要があります。 azureml-fe-xxx POD は、内部通信用に、11001、12001、12101、12201、20000、8000、8001、9001 のポートを開く必要があります。
• クラスターがリアルタイム推論に使用される場合は、デプロイされたモデル POD が 9999 ポートで amlarc-identity-proxy-xxx POD と通信できる必要があります。

シナリオ: Visual Studio Code

Visual Studio Code は、リモート接続を確立するために特定のホストとポートに依存します。

ホスト

このセクションのホストは、Visual Studio Code のパッケージをインストールして、Visual Studio Code と Azure Machine Learning ワークスペースのコンピューティング インスタンス間のリモート通信を確立するために使用されます。

ポート

ポート 8704 から 8710 へのネットワーク トラフィックを許可する必要があります。 VS Code サーバーは、この範囲内の最初の使用可能なポートを動的に選択します。

シナリオ: サービス タグを使用しないサード パーティのファイアウォールまたは Azure Firewall

このセクションのガイダンスは一般的なもので、各ファイアウォールには独自の用語や特定の構成があります。 ご質問がある場合は、お使いのファイアウォールのドキュメントを確認してください。

正しく構成しないと、ワークスペースを使用したときにファイアウォールが原因で問題が発生する可能性があります。 いずれも Azure Machine Learning ワークスペースで使用されるさまざまなホスト名があります。 次のセクションでは、Azure Machine Learning に必要なホストの一覧を示します。

依存関係 API

また、Azure Machine Learning REST API を使用して、 送信 トラフィックを許可する必要があるホストとポートの一覧を取得することもできます。 この API を使用するには、次の手順を実行します。

1. 認証トークンを取得します。 次のコマンドは、 Azure CLI を使用して認証トークンとサブスクリプション ID を取得する方法を示しています。

   TOKEN=$(az account get-access-token --query accessToken -o tsv)
   SUBSCRIPTION=$(az account show --query id -o tsv)
   

2. API を呼び出します。 次のコマンドで、次の値を置き換えます。

   • <region> は、ワークスペースがある Azure リージョンに置き換えます。 たとえば、westus2 のようにします。
   • <resource-group> は、ワークスペースが含まれているリソース グループに置き換えます。
   • <workspace-name> は、ワークスペースの名前に置き換えます。

   az rest --method GET \
       --url "https://<region>.api.azureml.ms/rp/workspaces/subscriptions/$SUBSCRIPTION/resourceGroups/<resource-group>/providers/Microsoft.MachineLearningServices/workspaces/<workspace-name>/outboundNetworkDependenciesEndpoints?api-version=2018-03-01-preview" \
       --header Authorization="Bearer $TOKEN"
   

API 呼び出しの結果は JSON ドキュメントです。 次のスニペットは、このドキュメントの一部です。

{
  "value": [
    {
      "properties": {
        "category": "Azure Active Directory",
        "endpoints": [
          {
            "domainName": "login.microsoftonline.com",
            "endpointDetails": [
              {
                "port": 80
              },
              {
                "port": 443
              }
            ]
          }
        ]
      }
    },
    {
      "properties": {
        "category": "Azure portal",
        "endpoints": [
          {
            "domainName": "management.azure.com",
            "endpointDetails": [
              {
                "port": 443
              }
            ]
          }
        ]
      }
    },
...

Microsoft のホスト

次の表のホストは Microsoft によって所有されており、ワークスペースが適切に機能するために必要なサービスが提供されます。 表には、Azure Public、Azure Government、21Vianet が運営する Microsoft Azure リージョンのホストが一覧表示されています。

一般的な Azure ホスト

Azure Machine Learning ホスト

Azure Machine Learning コンピューティング インスタンスとコンピューティング クラスター ホスト

Azure Machine Learning によって管理される Docker イメージ

また、 コンピューティングとパブリック IP セクションの情報を使用して、 BatchNodeManagement と AzureMachineLearningの IP アドレスを追加します。

AKS にデプロイされたモデルへのアクセスを制限する方法については、「 Azure Kubernetes Service でのエグレス トラフィックの制限」を参照してください。

監視、メトリック、診断

• dc.applicationinsights.azure.com
• dc.applicationinsights.microsoft.com
• dc.services.visualstudio.com
• *.in.applicationinsights.azure.com

これらのホストの IP アドレスの一覧については、 Azure Monitor で使用される IP アドレスに関するページを参照してください。

次の手順

この記事は、Azure Machine Learning ワークフローのセキュリティ保護に関するシリーズの一部です。 このシリーズの他の記事は次のとおりです。

• 仮想ネットワークの概要

• スタジオ機能を有効にする
• カスタム DNS を使用する

Azure Firewall の構成の詳細については、「 チュートリアル: Azure portal を使用して Azure Firewall をデプロイして構成する」を参照してください。