다음을 통해 공유

네트워크 격리를 사용하여 관리형 온라인 엔드포인트 보호

적용 대상:Azure CLI ml 확장 v2(현재)Python SDK azure-ai-ml v2(현재)

이 문서에서는 네트워크 격리를 사용하여 Azure Machine Learning 관리형 온라인 엔드포인트의 보안을 개선하는 방법을 보여 줍니다. 네트워크 격리는 엔드포인트 간 인바운드 및 아웃바운드 통신을 보호하는 데 도움이 됩니다.

인바운드 통신을 보호하기 위해 Azure Machine Learning 작업 영역의 프라이빗 엔드포인트를 사용하는 관리형 온라인 엔드포인트를 만들 수 있습니다. 배포에 대해 승인된 아웃바운드 통신만 허용하려면 관리형 가상 네트워크를 사용하여 작업 영역을 구성할 수 있습니다. 이 문서에서는 엔드포인트 보안을 개선하기 위해 이러한 단계를 수행하는 방법을 보여줍니다. 또한 아웃바운드 통신을 위해 작업 영역 관리 가상 네트워크의 프라이빗 엔드포인트를 사용하는 배포를 만드는 방법도 보여 줍니다.

네트워크 격리에 레거시 메서드를 사용하려는 경우 azureml-examples GitHub 리포지토리에서 다음 배포 파일 예제를 참조하세요.

필수 조건

  • Azure 구독. Azure 구독이 없는 경우, 시작하기 전에 무료 계정을 만드십시오.

  • 설치 및 구성된 Azure CLI 및 Azure CLI ml 확장 자세한 내용은 CLI 설치 및 설정(v2)을 참조하세요.

    팁

    Azure Machine Learning 관리형 가상 네트워크 기능은 2023년 5월 23일에 도입되었습니다. 이전 버전의 확장이 ml 있는 경우 이 문서의 예제가 작동하려면 확장을 업데이트해야 할 수 있습니다. 확장을 업데이트하려면 다음 Azure CLI 명령을 사용합니다.

    az extension update -n ml

  • Bash 셸 또는 호환되는 셸(예: Linux 시스템의 셸 또는 Linux용 Windows 하위 시스템). 이 문서의 Azure CLI 예제에서는 이 유형의 셸을 사용한다고 가정합니다.

  • 사용자 또는 사용하는 서비스 주체가 기여자 액세스 권한이 있는 Azure 리소스 그룹입니다. 리소스 그룹을 만드는 방법에 대한 지침은 설정을 참조하세요.

  • 관리 ID를 사용하여 온라인 엔드포인트 및 온라인 배포를 만들고 관리하려는 경우 적절한 권한이 있는 사용자 할당 관리 ID입니다. 필요한 권한에 대한 자세한 내용은 Azure Machine Learning과 다른 서비스 간의 인증 설정을 참조하세요. 예를 들어 Azure Key Vault에 대한 관리 ID 특정 Azure RBAC(역할 기반 액세스 제어) 권한을 부여해야 합니다.

레거시 네트워크 격리 방법에서 작업 영역 관리형 가상 네트워크로 마이그레이션

관리되는 온라인 엔드포인트의 네트워크 격리에 레거시 방법을 사용하고 관리형 가상 네트워크로 마이그레이션하여 엔드포인트를 보호하려는 경우 다음 단계를 수행합니다.

  1. 새 작업 영역을 만들고 관리되는 가상 네트워크를 사용하도록 설정합니다. 작업 영역에 대한 관리형 네트워크를 구성하는 방법에 대한 자세한 내용은 작업 영역 관리 가상 네트워크 격리를 참조하세요.
  2. (선택 사항) 배포가 Azure Storage, Key Vault 및 Azure Container Registry 이외의 프라이빗 리소스에 액세스하는 경우 작업 영역의 네트워크 설정에 아웃바운드 규칙을 추가합니다. 특히 네트워크는 기본적으로 Azure Storage, Key Vault 및 Container Registry에 대한 규칙으로 구성됩니다. 사용하는 다른 프라이빗 리소스에 대한 프라이빗 엔드포인트가 있는 규칙을 추가합니다.
  3. (선택 사항) Azure Machine Learning 레지스트리를 사용하려는 경우 레지스트리, 해당 스토리지 계정 및 Container Registry 인스턴스에 대한 아웃바운드 통신을 위한 프라이빗 엔드포인트를 구성합니다.
  4. 새 작업 영역에서 온라인 엔드포인트 및 배포를 만듭니다. Azure Machine Learning 레지스트리를 사용하는 경우 구성 요소를 직접 배포할 수 있습니다. 자세한 내용은 작업 영역의 레지스트리에서 온라인 엔드포인트로 모델 배포를 참조하세요.
  5. 애플리케이션이 새 온라인 엔드포인트의 점수 매기기 URI를 사용하도록 엔드포인트를 호출하는 애플리케이션을 업데이트합니다.
  6. 새 엔드포인트의 유효성을 검사한 후 이전 작업 영역에서 온라인 엔드포인트를 삭제합니다.

마이그레이션 중에 가동 중지 시간을 방지할 필요가 없는 경우 보다 간단한 방법을 사용할 수 있습니다. 이전 작업 영역에서 컴퓨팅 인스턴스, 온라인 엔드포인트 및 배포를 유지 관리할 필요가 없는 경우 컴퓨팅 인스턴스를 삭제한 다음 작업 영역을 업데이트하여 관리형 가상 네트워크를 사용하도록 설정할 수 있습니다.

제한 사항

  • v1_legacy_mode Azure Machine Learning 작업 영역에서 v1 레거시 모드를 해제하려면 false 플래그를 설정해야 합니다. 이 설정이 켜져 있으면 관리되는 온라인 엔드포인트를 만들 수 없습니다. 자세한 내용은 Azure Resource Manager의 새 API 플랫폼을 사용하여 네트워크 격리 변경을 참조하세요.

  • Azure Machine Learning 작업 영역에 2022년 5월 24일 이전에 만들어진 프라이빗 엔드포인트가 있는 경우 프라이빗 엔드포인트를 사용하도록 온라인 엔드포인트를 구성하기 전에 해당 프라이빗 엔드포인트를 다시 만들어야 합니다. 작업 영역에 대한 프라이빗 엔드포인트를 만드는 방법에 대한 자세한 내용은 Azure Machine Learning 작업 영역에 대한 프라이빗 엔드포인트 구성을 참조하세요.

    팁

    작업 영역의 생성 날짜를 보려면 작업 영역 속성을 확인할 수 있습니다.

    1. Azure Machine Learning 스튜디오에서 오른쪽 위 모서리로 이동하여 작업 영역의 이름을 선택합니다.
    2. 디렉터리 + 구독 + 작업 영역 창에서 Azure Portal의 모든 속성 보기를 선택합니다.
    3. Azure Portal 개요 페이지에서 오른쪽 위 모서리로 이동하여 JSON 보기를 선택합니다.
    4. 리소스 JSON 창의 API 버전에서 최신 API 버전을 선택합니다.
    5. JSON 코드의 properties 섹션에서 creationTime 값을 확인합니다.

    또는 다음 방법 중 하나를 사용합니다.

    • Python SDK: Workspace.get(name=<workspace-name>, subscription_id=<subscription-ID>, resource_group=<resource-group-name>).get_details()
    • REST API: curl https://management.azure.com/subscriptions/<subscription-ID>/resourceGroups/<resource-group-name>/providers/Microsoft.MachineLearningServices/workspaces/?api-version=2023-10-01 -H "Authorization:Bearer <access-token>"
    • PowerShell: Get-AzMLWorkspace -Name <workspace-name> -ResourceGroupName <resource-group-name>

  • 네트워크 격리를 사용하여 온라인 엔드포인트를 보호하는 경우 작업 영역 리소스 그룹과 다른 리소스 그룹의 작업 영역 관련 리소스를 사용할 수 있습니다. 그러나 이러한 리소스는 작업 영역과 동일한 구독 및 테넌트에 속해야 합니다. 작업 영역과 연결된 리소스에는 Azure Container Registry, Azure Storage, Azure Key Vault 및 Application Insights가 포함됩니다.

참고 항목

이 문서에서는 데이터 평면 작업에 적용되는 네트워크 격리에 대해 설명합니다. 이러한 작업은 점수 매기기 요청 또는 모델 제공으로 인해 발생합니다. 인증 키를 생성, 업데이트, 삭제 또는 검색하는 요청과 같은 제어 평면 작업은 공용 네트워크를 통해 Azure Resource Manager로 전송됩니다.

시스템 준비

  1. 다음 명령을 실행하여 환경 변수를 만듭니다. 작업 영역의 리소스 그룹으로 <resource-group-name>을 바꾸십시오. <workspace-name>을 작업 영역 이름으로 바꿉니다.

    export RESOURCEGROUP_NAME="<resource-group-name>"
export WORKSPACE_NAME="<workspace-name>"

  2. 작업 영역을 만듭니다. -m allow_only_approved_outbound 매개 변수는 작업 영역에 대해 관리되는 가상 네트워크를 구성하고 승인된 대상을 제외한 아웃바운드 트래픽을 차단합니다.

    az ml workspace create -g $RESOURCEGROUP_NAME -n $WORKSPACE_NAME -m allow_only_approved_outbound

    또는 배포에서 아웃바운드 트래픽을 인터넷으로 보내도록 허용하려면 다음 코드의 주석 처리를 해제하고 대신 실행합니다.

    # az ml workspace create -g $RESOURCEGROUP_NAME -n $WORKSPACE_NAME -m allow_internet_outbound

    새 작업 영역을 만들거나 기존 작업 영역을 업그레이드하여 관리되는 가상 네트워크를 사용하는 방법에 대한 자세한 내용은 인터넷 아웃바운드를 허용하도록 관리되는 가상 네트워크 구성을 참조하세요.

  3. 관리되는 가상 네트워크를 프로비전합니다. 지침 및 자세한 내용은 관리되는 VNet 수동 프로비저닝을 참조하세요.

    중요합니다

    작업 영역에 대해 관리형 가상 네트워크를 처음으로 설정하면 네트워크가 프로비전되지 않습니다. 관리되는 네트워크를 프로비전할 때까지 온라인 배포를 만들 수 없습니다.

  4. 프리미엄 가격 책정 계획을 사용하도록 작업 영역과 연결된 컨테이너 레지스트리를 구성합니다. 이 설정은 프라이빗 엔드포인트를 통해 레지스트리에 대한 액세스를 제공하는 데 필요합니다. 자세한 내용은 Azure Container Registry 서비스 계층을 참조하세요.

  5. 컴퓨팅 클러스터 또는 컴퓨팅 인스턴스를 사용하여 이미지를 빌드하도록 작업 영역을 구성합니다. 이 용도로 image_build_compute 속성을 사용할 수 있습니다. 자세한 내용 및 지침은 이미지 빌드 구성을 참조하세요.

  6. 작업 영역 및 리소스 그룹에 대한 값을 여러 번 전달하지 않도록 Azure CLI에 대한 기본값을 구성합니다.

    az configure --defaults workspace=$WORKSPACE_NAME group=$RESOURCEGROUP_NAME

  7. 예제 리포지토리를 복제하여 엔드포인트 및 배포에 대한 예제 파일을 가져와 리포지토리의 cli 디렉터리로 이동합니다.

    git clone --depth 1 https://github.com/Azure/azureml-examples
cd azureml-examples/cli

이 문서의 명령은 cli 디렉터리의 deploy-managed-online-endpoint-workspacevnet.sh 파일에 있습니다. YAML 구성 파일은 엔드포인트/온라인/관리/샘플/하위 디렉터리에 있습니다.

보안 관리 온라인 엔드포인트 만들기

보안 관리형 온라인 엔드포인트를 만들려면 작업 영역에서 엔드포인트를 만듭니다. 그런 다음 엔드포인트의 public_network_access 값을 설정하여 disabled 인바운드 통신을 제어합니다.

이 설정은 온라인 엔드포인트가 인바운드 통신에 작업 영역의 프라이빗 엔드포인트를 사용하도록 강제합니다. 온라인 엔드포인트를 호출하는 유일한 방법은 가상 네트워크의 작업 영역에 액세스할 수 있는 프라이빗 엔드포인트를 사용하는 것입니다. 자세한 내용은 보안 인바운드 점수 매기기 요청 및 Azure Machine Learning 작업 영역에 대한 프라이빗 엔드포인트 구성을 참조하세요.

작업 영역에 관리형 가상 네트워크가 있도록 구성되므로 모든 엔드포인트 배포는 아웃바운드 통신에 관리되는 가상 네트워크의 프라이빗 엔드포인트를 사용합니다.

  1. 엔드포인트의 이름을 설정합니다.

    export ENDPOINT_NAME="<YOUR_ENDPOINT_NAME>"

  2. public_network_access 엔드포인트를 생성하여 disabled 설정으로 인바운드 트래픽을 차단합니다.

    az ml online-endpoint create --name $ENDPOINT_NAME -f endpoints/online/managed/sample/endpoint.yml --set public_network_access=disabled

    또는 엔드포인트가 인터넷에서 점수 매기기 요청을 수신하도록 허용하려면 다음 코드의 주석 처리를 제거하고 대신 실행합니다.

    # az ml online-endpoint create --name $ENDPOINT_NAME -f endpoints/online/managed/sample/endpoint.yml

엔드포인트 테스트

  1. 작업 영역의 관리되는 가상 네트워크에 배포를 만듭니다.

    az ml online-deployment create --name blue --endpoint $ENDPOINT_NAME -f endpoints/online/managed/sample/blue-deployment.yml --all-traffic

    권한 부여 실패에 대한 오류가 발생하는 경우 작업 영역 스토리지 계정에 대한 네트워킹 구성을 확인합니다. 스토리지 계정에 대한 작업 영역 액세스 권한을 부여하려면 공용 네트워크 액세스 설정을 조정해야 할 수 있습니다.

  2. 배포 상태를 가져옵니다.

    az ml online-endpoint show -n $ENDPOINT_NAME

  3. 점수 매기기 요청을 실행하여 엔드포인트를 테스트합니다.

    az ml online-endpoint invoke --name $ENDPOINT_NAME --request-file endpoints/online/model-1/sample-request.json

  4. 배포 로그를 가져옵니다.

    az ml online-deployment get-logs --name blue --endpoint $ENDPOINT_NAME

자원을 정리하세요

  1. 엔드포인트가 더 이상 필요하지 않은 경우 다음 명령을 실행하여 삭제합니다.

    az ml online-endpoint delete --name $ENDPOINT_NAME --yes --no-wait

  2. 작업 영역, 연결된 리소스 및 리소스 그룹의 다른 리소스가 더 이상 필요하지 않은 경우 삭제합니다. 작업 영역을 포함하는 리소스 그룹의 이름으로 <resource-group-name>를 바꾸세요.

    az group delete --resource-group <resource-group-name>

문제 해결

v1 레거시 모드에 대한 메시지와 함께 온라인 엔드포인트 만들기 실패

관리형 온라인 엔드포인트는 Azure Machine Learning v2 API 플랫폼의 기능입니다. Azure Machine Learning 작업 영역이 v1 레거시 모드로 구성된 경우 관리되는 온라인 엔드포인트가 작동하지 않습니다. 특히 v1_legacy_mode 작업 영역 설정이 true로 설정된 경우, v1 레거시 모드가 켜지고 v2 API가 지원되지 않습니다.

v1 레거시 모드를 해제하는 방법을 보려면 Azure Resource Manager의 새 API 플랫폼을 사용하여 네트워크 격리 변경을 참조하세요.

중요합니다

v1_legacy_mode를 false로 설정하기 전에 네트워크 보안 팀에 문의하세요. v1 레거시 모드는 이유가 있어 켜져 있을 수 있습니다.

키 기반 인증을 사용한 온라인 엔드포인트 만들기 실패

다음 명령을 사용하여 작업 영역에 대한 Azure Key Vault의 네트워크 규칙을 나열합니다. <key-vault-name>을 키 볼트의 이름으로 교체합니다.

az keyvault network-rule list -n <key-vault-name>

이 명령에 대한 응답은 다음 JSON 코드와 유사합니다.

{
    "bypass": "AzureServices",
    "defaultAction": "Deny",
    "ipRules": [],
    "virtualNetworkRules": []
}

bypass의 값이 AzureServices이 아닌 경우, Azure Key Vault 네트워킹 설정 구성의 지침을 사용하여 값을 AzureServices으로 설정합니다.

이미지 다운로드 오류와 함께 온라인 배포 실패

참고 항목

이 문제는 관리되는 온라인 엔드포인트에 레거시 네트워크 격리 방법을 사용하는 경우에 적용됩니다. 이 방법에서 Azure Machine Learning은 엔드포인트 아래에 각 배포에 대한 관리형 가상 네트워크를 만듭니다.

  1. 배포를 위해 egress-public-network-access 플래그의 값이 disabled 인지 확인합니다. 이 플래그가 사용하도록 설정되고 컨테이너 레지스트리의 표시 유형이 프라이빗인 경우 이 실패가 예상됩니다.

  2. 다음 명령을 사용하여 프라이빗 엔드포인트 연결 상태를 확인합니다. <registry-name>을 작업 영역의 Azure Container Registry 이름으로 바꿉니다.

    az acr private-endpoint-connection list -r <registry-name> --query "[?privateLinkServiceConnectionState.description=='Egress for Microsoft.MachineLearningServices/workspaces/onlineEndpoints'].{ID:id, status:privateLinkServiceConnectionState.status}"

    응답 코드에서 status 필드가 Approved로 설정되어 있는지 확인합니다. 값이 아닌 Approved경우 다음 명령을 사용하여 연결을 승인합니다. 이전 명령이 반환하는 ID로 <private-endpoint-connection-ID>를 바꿉니다.

    az network private-endpoint-connection approve --id <private-endpoint-connection-ID> --description "Approved"

점수 엔드포인트를 확인할 수 없습니다.

  1. 채점 요청을 실행하는 클라이언트가 Azure Machine Learning 작업 영역에 액세스할 수 있는 가상 네트워크인지 확인합니다.

  2. nslookup 엔드포인트 호스트 이름의 명령을 사용하여 IP 주소 정보를 검색합니다.

    nslookup <endpoint-name>.<endpoint-region>.inference.ml.azure.com

    예를 들어 명령은 다음 명령과 유사할 수 있습니다.

    nslookup endpointname.westcentralus.inference.ml.azure.com

    응답에는 가상 네트워크에서 제공하는 범위에 있어야 하는 주소가 포함됩니다.

    참고 항목

    • Kubernetes 온라인 엔드포인트의 경우 엔드포인트 호스트 이름은 Kubernetes 클러스터에 지정된 CName (도메인 이름)이어야 합니다.
    • 엔드포인트에서 HTTP를 사용하는 경우 IP 주소는 스튜디오 UI에서 가져올 수 있는 엔드포인트 URI에 포함됩니다.
    • 엔드포인트의 IP 주소를 가져오는 더 많은 방법은 FQDN으로 DNS 업데이트를 참조하세요.

  3. 명령이 nslookup 호스트 이름을 확인하지 않는 경우 다음 섹션 중 하나에서 작업을 수행합니다.

관리형 온라인 엔드포인트

  1. 다음 명령을 사용하여 가상 네트워크의 프라이빗 DNS(도메인 이름 시스템) 영역에 A 레코드가 있는지 확인합니다.

    az network private-dns record-set list -z privatelink.api.azureml.ms -o tsv --query [].name

    결과에는 *.<GUID>.inference.<region>과 유사한 항목이 포함되어야 합니다.

  2. 유추 값이 반환되지 않으면 작업 영역에 대한 프라이빗 엔드포인트를 삭제한 다음 다시 만듭니다. 자세한 내용은 프라이빗 엔드포인트를 구성하는 방법을 참조하세요.

  3. 프라이빗 엔드포인트가 있는 작업 영역에서 사용자 지정 DNS 서버를 사용하는 경우, 다음 명령어를 실행하여 사용자 지정 DNS 서버의 해석이 올바르게 작동하는지 확인합니다.

    dig <endpoint-name>.<endpoint-region>.inference.ml.azure.com

Kubernetes 온라인 엔드포인트

  1. Kubernetes 클러스터에서 DNS 구성을 확인합니다.

  2. Azure Machine Learning 유추 라우터azureml-fe가 예상대로 작동하는지 확인합니다. 이 검사를 수행하려면 다음 단계를 수행합니다.

    1. Pod에서 azureml-fe 다음 명령을 실행하세요:

      kubectl exec -it deploy/azureml-fe -- /bin/bash

    2. 다음 명령 중 하나를 실행합니다.

      curl -vi -k https://localhost:<port>/api/v1/endpoint/<endpoint-name>/swagger.json
"Swagger not found"

      HTTP의 경우 다음 명령을 사용합니다.

      curl https://localhost:<port>/api/v1/endpoint/<endpoint-name>/swagger.json
"Swagger not found"

  3. curl HTTPS 명령이 실패하거나 시간이 초과되었지만 HTTP 명령이 작동하는 경우 인증서가 유효한지 확인합니다.

  4. 이전 프로세스가 A 레코드로 확인되지 않으면 다음 명령을 사용하여 Azure DNS 가상 공용 IP 주소 168.63.129.16에서 확인이 작동하는지 확인합니다.

    dig @168.63.129.16 <endpoint-name>.<endpoint-region>.inference.ml.azure.com

  5. 이전 명령이 성공하면 사용자 지정 DNS에서 Azure Private Link에 대한 조건부 전달자 문제를 해결합니다.

온라인 배포는 점수를 매길 수 없습니다.

  1. 다음 명령을 실행하여 채점할 수 없는 배포의 상태를 확인합니다.

    az ml online-deployment show -e <endpoint-name> -n <deployment-name> --query '{name:name,state:provisioning_state}'

    Succeeded 필드의 state 값은 성공적인 배포를 나타냅니다.

  2. 성공적인 배포를 위해 다음 명령을 사용하여 트래픽이 배포에 할당되었는지 확인합니다.

    az ml online-endpoint show -n <endpoint-name>  --query traffic

    이 명령의 응답은 각 배포에 할당된 트래픽의 비율을 나열해야 합니다.

    팁

    이 배포를 대상으로 하기 위해 요청에서 azureml-model-deployment 헤더를 사용하는 경우 이 단계가 필요하지 않습니다.

  3. 트래픽 할당 또는 배포 헤더가 올바르게 설정된 경우 다음 명령을 사용하여 엔드포인트에 대한 로그를 가져옵니다.

    az ml online-deployment get-logs  -e <endpoint-name> -n <deployment-name>

  4. 로그를 검토하여 배포에 요청을 제출할 때 점수 매기기 코드를 실행하는 데 문제가 있는지 확인합니다.

관련 콘텐츠