이 문서에서는 Azure Arc 리소스 브리지를 배포, 사용 또는 제거하려고 할 때 발생할 수 있는 문제를 해결하는 방법을 설명합니다. 리소스 브리지는 관리 Kubernetes 클러스터를 호스트하는 패키지 가상 머신입니다. 일반적인 정보는 Azure Arc 리소스 브리지 개요를 참조하세요.
참고
- Arc 지원 System Center Virtual Machine Manager의 경우 Arc 지원 SCVMM 문제 해결 가이드를 참조하세요.
- Azure Local의 경우 Azure 로컬에 대한 Azure Arc VM 관리 문제 해결을 참조하거나 Microsoft 지원에 문의하세요. Arc 리소스 브리지는 Azure Local의 중요한 구성 요소이며 Microsoft 지원의 지침 없이 삭제해서는 안 됩니다.
일반적인 문제
로그 컬렉션
Azure Arc 리소스 브리지에서 문제가 발생한 경우 Azure CLI az arcappliance logs
명령을 사용하여 추가 조사를 위한 로그를 수집할 수 있습니다. 이 명령은 Arc 리소스 브리지를 배포하는 데 사용되는 관리 컴퓨터에서 실행해야 합니다. 다른 컴퓨터를 사용하는 경우 해당 컴퓨터는 관리 컴퓨터 요구 사항을 충족해야 합니다.
로그 수집에 문제가 있는 경우 관리 머신에서 어플라이언스 VM에 도달하지 못할 가능성이 높습니다. 관리 머신에서 TCP 포트 22의 어플라이언스 VM으로의 SSH 통신을 허용하려면 네트워크 관리자에 문의합니다.
로그 명령에서 어플라이언스 VM IP 또는 kubeconfig를 전달하여 Arc 리소스 브리지 로그를 수집할 수 있습니다.
어플라이언스 VM IP 주소를 사용하여 VMware에서 Arc 리소스 브리지 로그를 수집하려면 다음을 수행합니다.
az arcappliance logs vmware --ip <appliance VM IP> --username <vSphere username> --password <vSphere password> --address <vCenter address> --out-dir <path to output directory>
Azure Local에 대한 Arc Resource Bridge 로그를 수집하려면 로그 수집을 참조 하세요.
어플라이언스 VM IP가 확실하지 않은 경우 kubeconfig를 사용하는 옵션도 있습니다. get-credentials 명령을 실행하여 kubeconfig를 검색한 다음, 로그 명령을 실행할 수 있습니다.
kubeconfig 및 로그 키를 검색한 다음, Arc 지원 VMware용 Arc 리소스 브리지를 배포하는 데 사용되는 머신과는 다른 머신에서 Arc 지원 VMware에 대한 로그를 수집하려면 다음을 수행합니다.
az account set -s <subscription id>
az arcappliance get-credentials -n <Arc resource bridge name> -g <resource group name>
az arcappliance logs vmware --kubeconfig kubeconfig --out-dir <path to specified output directory>
Azure CLI v2.70.0에서 로그인 자격 증명 오류 가져오기
다음과 같은 az arcappliance 명령을 실행할 때 오류가 발생할 수 있습니다.
파일 "C:\Program Files\Common Files\AzureCliExtensionDirectory\arcappliance\azext_arcappliance\helpers.py", 103번째 줄, get_tenant_id_and_cloud에서
_, _, tenant = profile.get_login_credentials(resource=cmd.cli_ctx.cloud.endpoints.active_directory_graph_resource_id)
```TypeError: get_login_credentials() got an unexpected keyword argument 'resource'`
Azure CLI v2.70.0 released a breaking change which triggers this error in arcappliance CLI extension v1.4.0 and below. A fix is available in arcappliance CLI extension 1.4.1 for compatibility with Azure CLI v2.70.0. You can get the latest arcappliance CLI extension by running the following command:
```azurecli
az extension add --upgrade --name arcappliance
az arcappliance 확장이 1.4.0 이하인 경우 Azure CLI를 v2.69.0으로 다운그레이드해야 합니다.
Azure CLI 설치 관리자를 사용한 경우, 현재 버전을 제거하고 Azure CLI installation page
에서 Azure CLI v2.69.0을 설치할 수 있습니다. pip 설치 관리자를 사용한 경우 다음 명령을 실행하여 다운그레이드 pip install azure-cli==2.69.0
할 수 있습니다.
또한 Arc 지원 VMware 온보딩 스크립트의 경우 AZ CLI를 최신 버전으로 업데이트하지 않으려면 스크립트에서 아래 코드를 주석으로 처리해야 할 수 있습니다.
if (shouldInstallAzCli) {
installAzCli64Bit
}
릴리스 파일 정보를 다운로드하는 동안 오류가 발생했습니다.
경고
Azure Local의 경우 기본 제공 LCM 도구를 사용하여 Arc 리소스 브리지를 업그레이드해야 합니다. Azure CLI 명령을 사용하여 수동 업그레이드를 시도하면 환경이 중단되고 복구할 수 없게 됩니다. Arc 리소스 브리지 업그레이드에 대한 지원이 필요한 경우 Microsoft 지원에 문의하세요.
Azure CLI를 사용하여 Arc 리소스 브리지를 업그레이드할 때 다음 오류가 발생할 수 있습니다.
az arcappliance upgrade vmware' failed: (DownloadError) "{\n\"message\": \"Error downloading file release information.: Unable to find file release: ^mariner-2-0-(.*)-vhdx-rpm-(.*)$ with version: in product release: arc-appliance-stable-releases\"\n}
1.4.0 미만의 az arcappliance Azure CLI 확장 버전을 사용하고 어플라이언스 버전 1.4.0으로 업그레이드하려는 경우 Azure CLI 확장을 최신 버전으로 업데이트해야 합니다.
az extension add --upgrade --name arcappliance
az arcappliance 확장이 1.4.0이 되면 어플라이언스 버전 1.4.0으로 업그레이드를 다시 시도합니다. Arc 리소스 브리지를 업그레이드할 때 업그레이드는 최신 버전이 아닐 수 있는 다음 버전으로 업그레이드됩니다. Arc 리소스 브리지 릴리스 정보를 참조하세요.
다운로드/업로드 연결에 실패함
네트워크 속도가 느린 경우 Arc 리소스 브리지 VM 이미지를 성공적으로 다운로드하지 못할 수 있으며, 이로 인해 다음 오류가 발생할 수 있습니다. ErrorCode: ValidateKvaError, Error: Pre-deployment validation of your download/upload connectivity was not successful. Timeout error occurred during download and preparation of appliance image to the on-premises fabric storage. Common causes of this timeout error are slow network download/upload speeds, a proxy limiting the network speed or slow storage performance.
이 문제를 해결하려면 온-프레미스 프라이빗 클라우드에 직접 VM을 만든 다음 해당 VM에서 Arc 리소스 브리지 배포 스크립트를 실행해보세요. 이렇게 하면 이미지를 데이터 저장소에 더 빨리 업로드할 수 있습니다.
ApplyingKvaImageOperator
단계에서 컨텍스트 시간이 초과됨
Arc 리소스 브리지를 배포하면 다음 오류가 표시될 수 있습니다. Deployment of the Arc resource bridge appliance VM timed out. Collect logs with _az arcappliance logs_ and create a support ticket for help. To troubleshoot the error, refer to aka.ms/arc-rb-error { _errorCode_: _ContextError_, _errorResponse_: _{\n\_message\_: \_Context timed out during phase _ApplyingKvaImageOperator_\_\n}_ }
이 오류는 일반적으로 연결이 느리거나 일시적으로 발생하는 네트워크를 통해 KVAIO
이미지(압축 400MB)를 다운로드하려고 할 때 발생합니다.
KVAIO
컨트롤러 관리자는 이미지 다운로드가 완료될 때까지 기다리다가 시간 초과가 발생합니다.
Arc 리소스 브리지 VM과 Microsoft Container Registry(mcr.microsoft.com
) 간의 네트워크 속도가 안정적이고 최소 2Mbps인지 확인합니다. 네트워크 연결과 속도가 안정적임에도 불구하고 이 오류가 계속 발생하는 경우 최소 30분 정도 기다렸다가 다시 시도해 보세요. Microsoft Container Registry가 많은 양의 트래픽을 수신하고 있기 때문일 수 있습니다.
WaitingForAPIServer
단계에서 컨텍스트 시간이 초과됨
Arc 리소스 브리지를 배포하면 다음 오류가 표시될 수 있습니다. Deployment of the Arc resource bridge appliance VM timed out. Collect logs with _az arcappliance logs_ and create a support ticket for help. To troubleshoot the error, refer to aka.ms/arc-rb-error { _errorCode_: _ContextError_, _errorResponse_: _{\n\_message\_: \_Context timed out during phase _WaitingForAPIServer
이 오류는 배포 컴퓨터가 제한 시간 내에 Arc 리소스 브리지의 컨트롤 플레인 IP에 연결할 수 없음을 나타냅니다. 이 오류의 일반적인 원인은 배포 컴퓨터와 프록시를 통해 라우팅되는 컨트롤 플레인 IP 간의 통신과 같은 네트워킹과 관련된 경우가 많습니다. 배포 컴퓨터에서 컨트롤 플레인 및 어플라이언스 VM IP로의 트래픽은 프록시를 통과해서는 안 됩니다. 트래픽이 프록시되는 경우 배포 컴퓨터와 컨트롤 플레인 IP 및 어플라이언스 VM IP 사이의 트래픽을 프록시하지 않도록 네트워크 또는 배포 컴퓨터의 프록시 설정을 구성합니다. 이 오류는 방화벽이 배포 컴퓨터와 컨트롤 플레인 IP 또는 배포 컴퓨터와 어플라이언스 VM IP 사이의 포트 6443 및 포트 22에 대한 액세스를 닫고 있는 경우에도 발생합니다.
WaitingForAdditionalComponents
단계에서 컨텍스트 시간이 초과됨
Arc Resource Bridge를 배포할 때 다음 오류가 발생할 수 있습니다. Deployment of the Arc resource bridge appliance VM timed out. Please collect logs with _az arcappliance logs_ and create a support ticket for help. To troubleshoot the error, refer to aka.ms/arc-rb-error { _errorCode_: _ContextError_, _errorResponse_: _{\n\_message\_: \_Context timed out during phase _WaitingForAdditionalComponents_\_\n}_
이 오류는 일반적으로 clusterconnect-agent 또는 Helm 차트와 같은 중요한 구성 요소가 초기화될 때까지 기다리는 동안 배포 프로세스가 중단되었음을 나타냅니다. 다음은 가장 일반적인 원인 및 권장 작업입니다.
네트워크 대역폭 제한 사항: 느리거나 불안정한 네트워크 연결은 특히 주요 구성 요소의 경우 컨테이너 이미지 다운로드를 지연시킬 수 있습니다. 어플라이언스 VM이 필요한 엔드포인트에 안정적으로 연결되어 있는지 확인합니다. Arc 리소스 브리지 배포에 대해 유효성이 검사된 가장 낮은 네트워크 대역폭은 100mbps입니다. 속도가 낮을 경우 배포 오류가 발생할 수 있습니다.
네트워크 구성 오류: 프록시 간섭 또는 방화벽 제한은 필요한 엔드포인트(예: mcr.microsoft.com, time.windows.com 또는 Azure API)에 대한 액세스를 차단할 수 있습니다. 잘못된 형식의 no_proxy 목록(예: 이중 쉼표 ,,)과 같은 잘못된 프록시 설정은 Helm 차트 구문 분석을 중단시키고 오해의 소지가 있는 오류를 일으킬 수 있습니다. 프록시 설정을 검토하고, 구문 오류에 대한 no_proxy 항목의 유효성을 검사하고, 중요한 엔드포인트가 프록시 라우팅에서 제외되는지 확인할 수 있습니다.
스토리지 성능: 어플라이언스 VM의 최적이 아닌 스토리지 구성이 구성 요소의 성공적인 압축 해제 및 초기화를 방해할 수 있습니다. 여기에는 디스크 공간 부족, 메모리 부족 또는 느린 IOPS가 포함됩니다. 이를 완화하려면 어플라이언스 VM이 하이브리드 스토리지(플래시 및 HDD) 또는 모든 플래시 스토리지(SSD 또는 NVMe)를 통해 지원되는 200GB의 디스크 공간, 4개 vCPU 및 8GB 메모리의 최소 권장 기준을 충족하는지 확인합니다. 특정 환경 및 워크로드에 따라 더 높은 사양이 필요할 수 있습니다.
WaitingForProviderSpecifics
단계에서 컨텍스트 시간이 초과됨
Arc 리소스 브리지를 배포하면 다음 오류가 표시될 수 있습니다. Deployment of the Arc resource bridge appliance VM timed out. Please collect logs with _az arcappliance logs_ and create a support ticket for help. To troubleshoot the error, refer to aka.ms/arc-rb-error { _errorCode_: _ContextError_, _errorResponse_: _{\n\_message\_: \_Context timed out during phase _WaitingForProviderSpecifics_\_\n}_, _errorMetadata_: { _errorCategory_: __, _errorAdditionalInfos_: null } }
이 오류는 공급자별 Pod(예: vSphere)가 준비되고 결국 시간이 초과될 때까지 기다리는 동안 배포 프로세스가 중단되었음을 나타냅니다. 이 문제는 종종 환경 또는 네트워크/스토리지 구성의 변수와 관련이 있습니다. 대부분의 경우 필요한 연결이 닫히고 컨테이너 이미지 다운로드를 진행할 수 없습니다.
이 오류는 느린 네트워크 속도로 인해 컨테이너 다운로드 중에 시간 초과가 발생할 수도 있습니다. 어플라이언스 VM이 필요한 엔드포인트에 안정적으로 연결되어 있는지 확인합니다. Arc 리소스 브리지 배포에 대해 유효성이 검사된 가장 낮은 네트워크 대역폭은 100mbps입니다. 속도가 낮을 경우 배포 오류가 발생할 수 있습니다. 느린 속도가 간헐적으로 발생하는 경우 재시도를 시도할 수 있습니다.
WaitingForCluster
단계에서 컨텍스트 시간이 초과됨
Arc 리소스 브리지를 배포하면 다음 오류가 표시될 수 있습니다. Context timed out during phase 'WaitingForCluster'
이 오류는 Kubernetes 클러스터 구성 요소가 초기화될 때까지 기다리는 동안 배포 프로세스가 중단되었음을 나타냅니다. 일반적으로 어플라이언스 설정의 초기 단계에서 발생하며 종종 환경 또는 구성 문제와 연결됩니다.
가장 빈번한 원인은 어플라이언스 VM이 vSphere 또는 vCenter 서버와 같은 프라이빗 클라우드 엔드포인트에 도달하지 못하기 때문에 발생합니다. 모든 네트워킹 요구 사항이 충족되는지 확인하고 배포를 다시 시도합니다.
403 사용할 수 없음 또는 404 사이트를 찾을 수 없음
Arc 리소스 브리지를 배포하면 다음 오류가 표시될 수 있습니다. { _errorCode_: _UploadError_, _errorResponse_: _{\n\_message\_: \_Pre-deployment validation of your download/upload connectivity was not successful. {\\n \\\_code\\\_: \\\_ImageProvisionError\\\_,\\n \\\_message\\\_: \\\_403 Forbidden
또는 { _errorCode_: _UploadError_, _errorResponse_: _{\n\_message\_: \_Pre-deployment validation of your download/upload connectivity was not successful. {\\n \\\_code\\\_: \\\_ImageProvisionError\\\_,\\n \\\_message\\\_: \\\_404 Site Not Found
이 오류는 이미지를 Microsoft 레지스트리에서 배포 컴퓨터로 다운로드해야 하지만 프록시나 방화벽이 다운로드를 차단하는 경우 발생합니다. 네트워크 요구 사항을 검토하고 모든 필수 URL에 연결할 수 있는지 확인합니다. 배포 컴퓨터에서 Microsoft 필수 URL로의 트래픽이 프록시를 통과하지 않도록 프록시 없음 설정을 업데이트해야 할 수도 있습니다.
SSH 폴더 액세스가 거부됨
CLI에는 폴더 내의 파일에 액세스하는 작업이나 배포 중에 SSH 폴더에 액세스할 수 있는 권한이 필요합니다. 이 폴더에는 어플라이언스 VM에 대한 kubeconfig 및 로그 키와 같은 필수 파일이 포함되어 있습니다. 예를 들어, CLI는 어플라이언스 VM에서 로그를 수집하려면 SSH 폴더에 저장된 로그 키에 액세스해야 합니다.
다음 오류가 표시될 수 있습니다. Access to the file in the SSH folder was denied. This may occur if the CLI doesn't have permission to the SSH folder or if another CLI instance is using the file
이 문제의 일반적인 원인은 다음과 같이 두 가지입니다.
- 권한 부족: CLI에 SSH 폴더에 액세스하는 데 필요한 권한이 부족합니다. CLI를 실행하는 사용자 계정에 SSH 폴더에 액세스할 수 있는 적절한 권한이 있는지 확인합니다.
- 동시 파일 액세스: CLI의 다른 인스턴스가 SSH 폴더의 파일을 사용 중일 수 있습니다. 이는 공유 프로필이 있는 워크스테이션에서 자주 발생합니다. 계속하기 전에 다른 CLI 인스턴스가 해당 작업을 완료하거나 종료하는지 확인합니다.
Arc 리소스 브리지가 오프라인 상태입니다.
Arc 리소스 브리지가 오프라인 상태일 수 있는 여러 가지 이유가 있습니다. 일반적으로 Arc 리소스 브리지가 Azure와 통신할 수 없는 경우 어플라이언스 VM이 오프라인 상태가 됩니다. Arc 지원 VMware 및 SCVMM의 경우 Arc 리소스 브리지 내에 저장된 자격 증명을 업데이트해야 할 수 있습니다. Azure에 대한 통신은 인프라, 환경 또는 클러스터의 네트워킹 변경으로 인해 영향을 받았을 수 있습니다. 변경된 내용을 확인할 수 없는 경우 어플라이언스 VM을 다시 부팅하고, 로그를 수집하고, 조사를 위한 지원 티켓을 제출할 수 있습니다. Arc 리소스 브리지를 사용할 수 없게 되면 정보를 유지하기 위해 리소스 상태 경고를 만드는 것이 가장 좋습니다. Arc 리소스 브리지는 45일 이상 오프라인 상태일 수 없습니다. 45일이 지나면 어플라이언스 VM 내의 보안 키가 더 이상 유효하지 않을 수 있으며 새로 고칠 수 없습니다. Arc 리소스 브리지를 다시 온라인으로 가져올 수 없는 경우 Microsoft 지원에 문의하세요.
원격 PowerShell은 지원되지 않음
원격 PowerShell을 통해 Arc 리소스 브리지에 대한 az arcappliance
CLI 명령을 실행하는 경우 Azure 로컬 인스턴스에 리소스 브리지를 설치하려고 할 때 인증 핸드셰이크 실패 오류 또는 다른 형식의 오류가 표시될 수 있습니다.
원격 PowerShell에서 az arcappliance
명령을 사용하는 것은 현재 지원되지 않습니다. 대신 RDP(원격 데스크톱 프로토콜)를 통해 노드에 로그인하거나 콘솔 세션을 사용하세요.
어플라이언스 네트워크를 사용할 수 없음
Arc 리소스 브리지에 네트워크 문제가 발생하면 Appliance Network Unavailable
오류가 표시될 수 있습니다. 일반적으로 어플라이언스 VM에 대한 네트워크 또는 인프라 연결 문제로 인해 이 오류가 발생할 수 있습니다. 이 오류는 Error while dialing dial tcp xx.xx.xxx.xx:55000: connect: no route to host
(으)로 표시될 수도 있습니다. 문제는 네트워크 관리자의 도움을 받아 호스트에서 Arc 리소스 브리지 VM으로의 통신을 TCP 포트 22를 통해 열어야 하는 것일 수 있습니다. 일시적인 네트워크 문제로 인해 호스트가 Arc 리소스 브리지 VM에 연결하지 못할 수 있습니다. 네트워크 문제가 해결되면 작업을 다시 시도할 수 있습니다. Arc 리소스 브리지용 어플라이언스 VM이 중지되거나 오프라인이 아닌지 확인해야 할 수도 있습니다. Azure Local을 사용하면 호스트 스토리지가 가득 찼을 때 이 오류가 발생할 수 있습니다.
토큰 새로 고침 오류
Azure CLI 명령을 실행하면 다음 오류가 표시될 수 있습니다. The refresh token has expired or is invalid due to sign-in frequency checks by conditional access.
이 오류는 Azure에 로그인할 때 토큰의 최대 수명이 있기 때문에 발생합니다. 이 수명을 초과하면 az login
명령을 사용하여 Azure에 다시 로그인해야 합니다.
배포에 기본 호스트 리소스 풀을 사용할 수 없음
az arcappliance createconfig
또는 az arcappliance run
명령을 사용하면 상호 작용 환경에서 가상 어플라이언스를 배포하기 위해 선택할 수 있는 VMware 엔터티 목록이 표시됩니다. 이 목록에는 기본 클러스터 리소스 풀과 함께 사용자가 만든 모든 리소스 풀이 표시되지만 기본 호스트 리소스 풀은 표시되지 않습니다. 어플라이언스가 호스트 리소스 풀에 배포되는 경우 호스트 하드웨어 오류가 발생할 때 고가용성이 보장되지 않습니다. 호스트 리소스 풀에 어플라이언스를 배포하지 않는 것이 좋습니다.
어플라이언스 VM에서 만료된 자격 증명
Arc 리소스 브리지는 온-프레미스 인프라에 배포되는 어플라이언스 VM으로 구성됩니다. 어플라이언스 VM은 로컬로 저장된 자격 증명을 사용하여 온-프레미스 인프라의 관리 엔드포인트(예: VMware vCenter)에 대한 연결을 유지 관리합니다. 이러한 자격 증명이 업데이트되지 않으면 리소스 브리지에서 더 이상 관리 엔드포인트와 통신할 수 없습니다. 이로 인해 리소스 브리지를 업그레이드하거나 Azure를 통해 VM을 관리하려고 할 때 문제가 발생할 수 있습니다.
이 문제를 해결하려면 어플라이언스 VM의 자격 증명을 업데이트해야 합니다. 자세한 내용은 어플라이언스 VM의 자격 증명 업데이트를 참조하세요.
Private Link가 지원되지 않음
Arc 리소스 브리지는 프라이빗 링크를 지원하지 않습니다. 어플라이언스 VM에서 들어오는 호출은 프라이빗 링크 설정을 거치면 안됩니다. 프라이빗 링크 IP는 리소스 브리지에서 구성할 수 없는 어플라이언스 IP 풀 범위와 충돌할 수 있습니다. Arc 리소스 브리지는 프라이빗 링크 연결을 통과해서는 안 되는 필수 URL에 도달합니다. 프라이빗 링크 설정과 관련이 없는 별도의 네트워크 세그먼트에 Arc 리소스 브리지를 배포해야 합니다.
승인되지 않은 확장 설치
Arc 리소스 브리지는 승인된 Azure Arc 지원 프라이빗 클라우드 확장만 호스트하도록 빌드된 잠긴 가상 어플라이언스입니다. 리소스 브리지에 다른 확장을 설치하려고 하면 다음 오류가 발생합니다.
Extension installation failed. The specified extension is not permitted on Azure Arc Resource Bridge. Only Azure Arc resource bridge approved extensions can be installed.
파일 릴리스 정보를 다운로드하는 동안 오류가 발생했습니다.
Arc 리소스 브리지를 업그레이드하려고 하면 다음 오류가 발생할 수 있습니다.
'az arcappliance upgrade hci' failed: (DownloadError) "{\n\"message\": \"Error downloading file release information.: Unable to find file release: ^mariner-2-0-(.*)-vhdx-rpm-(.*)$ with version: in product release: arc-appliance-stable-releases\"\n}",
이 오류는 업그레이드된 버전의 Arc 리소스 브리지와 호환되지 않는 이전 버전의 Azure CLI arcappliance
확장을 사용하여 발생합니다. 업그레이드하기 전에 다음 Azure CLI 명령을 실행하여 arcappliance
에 대한 Azure CLI 확장을 업데이트하세요.
az extension add --upgrade --name arcappliance
GLIBC 버전을 찾을 수 없음
Arc 리소스 브리지를 배포할 때 다음 오류가 발생할 수 있습니다.
"error_message": /lib64/libc.so.6: version `GLIBC_2.34_ not found (required by /root/.azure/cliextensions/arcappliance/azext_arcappliance/pkg/providers/kva//../../binaries/arcsdk.so)
이 오류 메시지는 Arc Resource Bridge CLI 확장(arcappliance)이 glibc 2.34에 대해 컴파일된 공유 라이브러리(arcsdk.so)를 로드하려고 하지만 Linux 시스템에 이전 버전의 glibc가 있거나 필요한 glibc 버전이 없음을 나타냅니다. 이 오류는 이전 버전의 Linux를 실행하는 경우에 발생할 수 있습니다. 를 사용하여 - ldd --version
현재 glibc 버전을 확인할 수 있습니다. 필요한 glibc 버전이 포함된 지원되는 Linux 배포판을 사용하거나 glibc 요구 사항을 충족하는 Jumpbox 또는 클라이언트 VM에서 온보딩을 사용하는 것이 좋습니다.
네트워킹 문제
이미지 끌어오기 백오프 오류
Arc 리소스 브리지를 배포하려고 할 때 back-off pulling image \\\"url"\\\: FailFastPodCondition
이 포함된 오류가 표시될 수 있습니다. 이 오류는 어플라이언스 VM에서 오류에 지정된 URL에 연결할 수 없는 경우에 발생합니다. 이 문제를 해결하려면 어플라이언스 VM이 필수 허용 목록 URL에 대한 인터넷 액세스 연결을 포함하여 시스템 요구 사항을 충족하는지 확인합니다.
관리 컴퓨터가 어플라이언스에 연결할 수 없음
Arc 리소스 브리지를 배포하려고 하면 다음과 유사한 오류 메시지가 표시될 수 있습니다.
{ _errorCode_: _PostOperationsError_, _errorResponse_: _{\n\_message\_: \_Timeout occurred due to management machine being unable to reach the appliance VM IP, 10.2.196.170. Ensure that the requirements are met: https://aka.ms/arb-machine-reqs: dial tcp 10.2.196.170:22: connectex: A connection attempt failed because the connected party did not properly respond after a period of time, or established connection failed because connected host has failed to respond.\_\n}_, _errorMetadata_: { _errorCategory_: __ }
이 오류는 관리 컴퓨터가 SSH(포트 22) 또는 API 서버(포트 6443)를 통해 Arc 리소스 브리지 VM IP에 도달할 수 없을 때 발생합니다. 이는 Arc 리소스 브리지 API 서버가 프록시되는 경우에도 발생할 수 있습니다. Arc 리소스 브리지 API 서버를 noproxy 설정에 추가해야 합니다. 자세한 내용은 Azure Arc 리소스 브리지 네트워크 요구 사항을 참조하세요.
URL에 연결할 수 없음
Not able to connect to https://example.url.com
이 포함된 오류를 수신하는 경우 네트워크 관리자에게 문의하여 Arc 리소스 브리지를 배포하는 데 필요한 모든 방화벽 및 프록시 URL을 네트워크에서 허용하는지 확인합니다. 자세한 내용은 Azure Arc 리소스 브리지 네트워크 요구 사항을 참조하세요.
연결할 수 없음 - 네트워크 및 인터넷 연결 유효성 검사 실패
Arc 리소스 브리지를 배포할 때 errorCode
가 PostOperationsError
로, errorResponse
가 코드 GuestInternetConnectivityError
로 지정되고 URL에 포트 53(DNS)이 지정되는 오류가 발생할 수 있습니다. 이 오류는 어플라이언스 VM IP가 DNS 서버에 도달할 수 없어 오류에 지정된 엔드포인트를 확인할 수 없기 때문에 발생할 수 있습니다.
오류 예:
{ _errorCode_: _PostOperationsError_, _errorResponse_: _{\n\_message\_: \_{\\n \\\_code\\\_:\\\_GuestInternetConnectivityError\\\_,\\n\\\_message\\\_:\\\_Not able to connect to http://aszhcitest01.company.org:55000. Error returned: action failed after 5 attempts: Get \\\\\\\_http://aszhcitest01.company.org:55000\\\\\\\_: dial tcp: lookup aszhcitest01.company.org on 127.0.0.53:53: read udp 127.0.0.1:32975-\\u003e127.0.0.53:53: i/o timeout. Arc Resource Bridge network and internet connectivity validation failed: cloud-agent-connectivity-test. 1. check your networking setup and ensure the URLs mentioned in : https://aka.ms/AAla73m are reachable from the Appliance VM. 2. Check firewall/proxy settings\\\_\\n }\_\n}_ }
{ _errorCode_: _PostOperationsError_, _errorResponse_: _{\n\_message\_: \_{\\n \\\_code\\\_: \\\_GuestInternetConnectivityError\\\_,\\n \\\_message\\\_: \\\_Not able to connect to https://linuxgeneva-microsoft.azurecr.io. Error returned: action failed after 5 attempts: Get \\\\\\\_https://linuxgeneva-microsoft.azurecr.io\\\\\\\_: dial tcp: lookup linuxgeneva-microsoft.azurecr.io on 127.0.0.53:53: server misbehaving. Arc Resource Bridge network and internet connectivity validation failed: http-connectivity-test-arc. 1. Please check your networking setup and ensure the URLs mentioned in : https://aka.ms/AAla73m are reachable from the Appliance VM. 2. Check firewall/proxy settings\\\_\\n }\_\n}_ }
이러한 오류를 해결하려면 네트워크 관리자와 협력하여 어플라이언스 VM IP가 DNS 서버에 도달할 수 있도록 허용합니다. 자세한 내용은 Azure Arc 리소스 브리지 네트워크 요구 사항을 참조하세요.
Http2 서버가 GOAWAY를 전송했습니다.
Arc 리소스 브리지를 배포하려고 하면 아래와 유사한 오류 메시지가 표시될 수 있습니다.
"errorResponse": "{\n\"message\": \"Post \\\"https://region.dp.kubernetesconfiguration.azure.com/azure-arc-appliance-k8sagents/GetLatestHelmPackagePath?api-version=2019-11-01-preview\\u0026releaseTrain=stable\\\": http2: server sent GOAWAY and closed the connection; LastStreamID=1, ErrCode=NO_ERROR, debug=\\\"\\\"\"\n}"
또는
Post \_https://canadacentral.dp.kubernetesconfiguration.azure.com/azure-arc-appliance-k8sagents/GetLatestHelmPackagePath?api-version=2019-11-01-preview\u0026releaseTrain=stable\_: read tcp 10.128.131.173:52425-\u003e52.228.84.81:443: wsarecv: An existing connection was forcibly closed by the remote host.
이러한 오류는 방화벽 또는 프록시가 SSL/TLS 검사를 사용하도록 설정하고 리소스 브리지를 배포하는 데 사용되는 컴퓨터에서 http2 호출을 차단하는 경우에 발생할 수 있습니다. 문제를 확인하려면 다음 PowerShell cmdlet을 실행하여 http2(PowerShell 버전 7 이상 필요)로 웹 요청을 호출하고 URL의 지역과 api-version
(예: 2019-11-01
)을 오류의 값으로 바꿉니다.
Invoke-WebRequest -HttpVersion 2.0 -UseBasicParsing -Uri https://region.dp.kubernetesconfiguration.azure.com/azure-arc-appliance-k8sagents/GetLatestHelmPackagePath?api-version=2019-11-01-preview"&"releaseTrain=stable -Method Post -Verbose
결과가 The response ended prematurely while waiting for the next frame from the server
인 경우 http2 호출이 차단되고 있으므로 허용되어야 합니다. 네트워크 관리자와 협력하여 SSL/TLS 검사를 사용하지 않도록 설정하여 브리지를 배포하는 데 사용되는 머신에서 http2 호출을 허용합니다.
해당 호스트가 없음 - .local
은 지원되지 않음
Arc 리소스 브리지에 대한 구성을 설정하려고 하면 다음과 유사한 오류 메시지가 표시될 수 있습니다.
"message": "Post \"https://esx.lab.local/52c-acac707ce02c/disk-0.vmdk\": dial tcp: lookup esx.lab.local: no such host"
이 오류는 프록시, DNS, 데이터 저장소 또는 관리 엔드포인트(예: vCenter)와 같은 구성 설정에 대해 .local
경로가 제공될 때 발생합니다. Arc 리소스 브리지 어플라이언스 VM은 기본적으로 .local
을 지원하지 않는 Azure Linux OS를 사용합니다. 해결 방법은 해당하는 경우 IP 주소를 제공하는 것입니다.
Azure Arc 리소스 브리지에 연결할 수 없음
Azure Arc 리소스 브리지는 Kubernetes 클러스터를 실행하며, 해당 컨트롤 플레인에는 고정 IP 주소가 필요합니다. IP 주소는 infra.yaml
파일에서 지정합니다. IP 주소가 DHCP 서버에서 할당된 경우 예약되지 않으면 주소가 변경될 수 있습니다. Azure Arc 리소스 브리지 또는 VM을 다시 부팅하면 IP 주소 변경이 트리거되어 서비스가 실패할 수 있습니다.
Arc 리소스 브리지에서 예약된 IP 구성이 일시적으로 손실될 수 있습니다. 이러한 손실은 systemd-networkd
다시 시작 시 VIP 손실에 설명된 동작으로 인해 발생합니다. IP 주소가 Azure Arc 리소스 브리지 VM에 할당되지 않으면 리소스 브리지 API 서버에 대한 호출이 실패합니다. 새 리소스 만들기, Azure에서 프라이빗 클라우드에 연결, 사용자 지정 위치 만들기 등의 Core 작업이 예상대로 작동하지 않습니다.
이 문제를 해결하려면 리소스 브리지 VM을 다시 부팅해야 합니다. 그러면 IP 주소가 복구됩니다. 주소가 DHCP 서버에서 할당된 경우 리소스 브리지와 연결된 IP 주소를 예약합니다.
디스크 액세스가 느리기 때문에 Arc 리소스 브리지에 도달하지 못할 수도 있습니다. Azure Arc 리소스 브리지는 10ms 이하의 대기 시간이 필요한 Kubernetes ETCD(확장 구성 트리)를 사용합니다. 기본 디스크의 성능이 낮으면 작업이 영향을 받고 오류가 발생할 수 있습니다.
SSL 프록시 구성 문제
관리 컴퓨터의 프록시 서버에서 SSL 프록시에 대한 SSL 인증서와 Microsoft 다운로드 서버의 SSL 인증서를 모두 신뢰하는지 확인합니다. 자세한 내용은 SSL 프록시 구성을 참조하세요.
이러한 호스트 없음 - dp.kubernetesconfiguration.azure.com
Arc 리소스 브리지를 배포할 때 다음과 유사한 오류 메시지가 표시될 수 있습니다.
{ _message_: _Post \_https://eastus.dp.kubernetesconfiguration.azure.com/azure-arc-appliance-k8sagents/GetLatestHelmPackagePath?api-version=2019-11-01-preview\u0026releaseTrain=stable\_: dial tcp: lookup eastus.dp.kubernetesconfiguration.azure.com: no such host_ }
오류는 오류 메시지에 표시된 URL(이 경우 eastus.dp.kubernetesconfiguration.azure.com
)에 도달하는 문제를 나타냅니다. 이는 다음과 같은 이유로 인해 발생할 수 있습니다.
- 지정된 지역에서 구성 데이터 평면을 일시적으로 사용할 수 없습니다.
- *.dp.kubernetesconfiguration.azure.com 엔드포인트에 대한 DNS 확인 문제입니다.
- *.dp.kubernetesconfiguration.azure.com 엔드포인트에 대한 네트워크 연결 가능성 오류입니다.
권장 작업:
- 서비스를 사용할 수 있을 때까지 기다린 후 배포를 다시 시도합니다.
- 호스트에서 DNS 서버 설정을 확인합니다.
- 엔드포인트에 대한 아웃바운드 인터넷 액세스가 방화벽 또는 프록시에 의해 차단되지 않는지 확인합니다.
알 수 없는 기관에서 서명한 인증서
Arc 리소스 브리지를 배포할 때 다음 오류가 발생할 수 있습니다.
"errorResponse": "{\n\"message\": \"{\\n \\\"code\\\": \\\"GuestInternetConnectivityError\\\",\\n \\\"message\\\": \\\"Name: http-connectivity-test-arc. Message: Not able to connect to https://msk8s.api.cdp.microsoft.com. Error returned: action failed after 5 attempts: Get \\\\\\\"https://msk8s.api.cdp.microsoft.com\\\\\\\": **tls: failed to verify certificate: x509: certificate signed by unknown authority.** Arc Resource Bridge network and internet connectivity validation failed: http-connectivity-test-arc. 1. Please check your networking setup and ensure the URLs mentioned in : https://aka.ms/AAla73m are reachable from the Appliance VM. 2. Check firewall/proxy settings\\\",\\n \\\"category\\\": \\\"\\\"\\n }\"\n}",
이 오류는 네트워크 내에서 SSL 검사가 발생하고 오류에서 참조된 엔드포인트를 사용하여 HTTPS/SSL 트러스트가 설정되지 않도록 하는 경우에 발생합니다. 이 오류는 SSL 검사/종료를 수행하고 엔드포인트에 대한 연결을 가로채 연결을 중단하는 SSL 프록시 서버에서 가장 일반적으로 표시됩니다. 배포하는 동안 프록시 서버를 구성하지 않은 경우 네트워크에 이 연결을 방해하는 투명한 프록시 또는 네트워크 보안 디바이스가 있을 수 있습니다. 네트워킹 팀과 협력하여 프록시/방화벽/보안 디바이스 로그를 사용하여 원인을 디버그하는 것이 좋습니다.
프록시 연결 tcp - Arc 리소스 브리지 필수 URL에 대한 호스트가 없음
proxyconnect tcp: dial tcp: lookup http: no such host
메시지와 함께 Arc 리소스 브리지 필수 URL이 포함된 오류는 DNS가 URL을 확인할 수 없음을 나타냅니다. 이 오류는 필수 URL이 https://msk8s.api.cdp.microsoft.com
인 이 예와 유사할 수 있습니다.
Error: { _errorCode_: _InvalidEntityError_, _errorResponse_: _{\n\_message\_: \_Post \\\_https://msk8s.api.cdp.microsoft.com/api/v1.1/contents/default/namespaces/default/names/arc-appliance-stable-catalogs-ext/versions/latest?action=select\\\_: POST https://msk8s.api.cdp.microsoft.com/api/v1.1/contents/default/namespaces/default/names/arc-appliance-stable-catalogs-ext/versions/latest?action=select giving up after 6 attempt(s): Post \\\_https://msk8s.api.cdp.microsoft.com/api/v1.1/contents/default/namespaces/default/names/arc-appliance-stable-catalogs-ext/versions/latest?action=select\\\_: proxyconnect tcp: dial tcp: lookup http: no such host\_\n}_ }
이 오류는 배포 중에 제공된 DNS 설정이 올바르지 않거나 DNS 서버에 문제가 있는 경우 발생할 수 있습니다. 관리 컴퓨터이나 DNS 서버에 액세스할 수 있는 컴퓨터에서 다음 명령을 실행하여 DNS 서버가 URL을 확인할 수 있는지 체크할 수 있습니다.
nslookup
> set debug
> <hostname> <DNS server IP>
이 오류를 해결하려면 DNS 서버를 구성하여 Arc 리소스 브리지에 필요한 모든 URL을 확인합니다. Arc 리소스 브리지를 배포하는 경우 DNS 서버를 올바르게 제공해야 합니다.
KVA 시간 초과 오류
KVA 시간 제한 오류는 관리 컴퓨터와 관련된 다양한 네트워크 구성 오류로 인해 발생하는 일반적인 오류입니다. 예를 들어, 어플라이언스 VM이나 컨트롤 플레인 IP가 서로 통신하지 못하거나 인터넷이나 필요한 URL에 연결되지 않을 수 있습니다. 이러한 통신 실패는 대개 DNS 확인, 프록시 설정, 네트워크 구성 또는 인터넷 액세스 문제로 인해 발생합니다.
명확히 설명하면 관리 컴퓨터는 배포 CLI 명령이 실행되는 컴퓨터입니다. 어플라이언스 VM은 Arc 리소스 브리지를 호스트하는 VM입니다. 컨트롤 플레인 IP는 어플라이언스 VM의 Kubernetes 관리 클러스터에 대한 컨트롤 플레인의 IP입니다.
KVA 시간 제한 오류의 주요 원인
- 관리 컴퓨터에서 컨트롤 플레인 IP 및 어플라이언스 VM IP와 통신할 수 없습니다.
- 어플라이언스 VM은 관리 머신, vCenter 엔드포인트(VMware용) 또는 MOC 클라우드 에이전트 엔드포인트(Azure 로컬)와 통신할 수 없습니다.
- 어플라이언스 VM이 인터넷에 액세스할 수 없습니다.
- 어플라이언스 VM이 인터넷에 액세스할 수 있지만, 프록시 또는 방화벽으로 인해 하나 이상의 필수 URL에 대한 연결이 차단되고 있습니다.
- 어플라이언스 VM은 vSphere용 vCenter 엔드포인트 또는 Azure Local용 클라우드 에이전트 엔드포인트와 같은 내부 이름을 확인할 수 있는 DNS 서버에 연결할 수 없습니다. 또한 DNS 서버는 Azure 서비스 주소 및 컨테이너 레지스트리 이름과 같은 외부 주소를 확인할 수 있어야 합니다.
- 관리 컴퓨터 또는 Arc 리소스 브리지 구성 파일의 프록시 서버 구성이 잘못되었습니다. 이는 관리 컴퓨터와 어플라이언스 VM 모두에 영향을 줄 수 있습니다.
az arcappliance prepare
명령을 실행하고 호스트 프록시가 올바르게 구성되지 않은 경우 관리 컴퓨터는 연결하여 OS 이미지를 다운로드할 수 없습니다. 잘못되었거나 누락된 프록시 구성으로 인해 어플라이언스 VM에서 인터넷에 액세스할 수 없게 될 수 있으며, 이는 컨테이너 이미지를 끌어오는 VM의 기능에 영향을 줍니다.
KVA 시간 제한 오류 문제 해결
이 오류를 해결하려면 하나 이상의 네트워크 구성 오류를 해결해야 할 수도 있습니다.
첫 번째 단계는 어플라이언스 VM IP별로 로그를 수집하는 것입니다(kubeconfig가 아닌, 배포 명령이 완료되지 않으면 kubeconfig가 비어 있을 수 있음). 로그 수집 문제는 대부분 관리 컴퓨터에서 어플라이언스 VM에 연결할 수 없기 때문에 발생합니다.
로그가 수집되면 폴더를 추출하고
kva.log
를 엽니다. KVA 시간 제한 오류의 원인을 정확히 파악하는 데 도움이 될 수 있는 정보를 보려면 로그를 검토합니다.관리 컴퓨터에서 어플라이언스 VM IP 및 컨트롤 플레인 IP와 통신할 수 있어야 합니다. 관리 컴퓨터에서 컨트롤 플레인 IP 및 어플라이언스 VM IP를 ping하고 두 IP 모두에서 응답하는지 확인합니다.
요청 시간이 초과되면 관리 컴퓨터에서 IP와 통신할 수 없습니다. 이 문제는 포트 닫힘, 네트워크 오류 또는 방화벽 차단으로 인해 발생할 수 있습니다. 네트워크 관리자와 협력하여 관리 컴퓨터와 컨트롤 플레인 IP 및 어플라이언스 VM IP 간의 통신을 허용합니다.
어플라이언스 VM IP 및 컨트롤 플레인 IP는 관리 머신 및 vCenter 엔드포인트(VMware용) 또는 MOC 클라우드 에이전트 엔드포인트(Azure Local의 경우)와 통신할 수 있어야 합니다. 네트워크 관리자와 협력하여 네트워크가 이 통신을 허용하도록 구성되어 있는지 확인합니다. 어플라이언스 VM IP 및 컨트롤 플레인 IP에서 vCenter로 포트 443을 열거나 Azure 로컬 MOC 클라우드 에이전트에 대한 포트 65000 및 55000을 열려면 방화벽 규칙을 추가해야 할 수 있습니다. Arc 리소스 브리지용 Azure 로컬 및 VMware에 대한 네트워크 요구 사항을 검토합니다.
어플라이언스 VM IP 및 컨트롤 플레인 IP는 인터넷을 통해 이러한 필수 URL에 액세스할 수 있어야 합니다. Azure 로컬에는 추가 URL이 필요합니다. 네트워크 관리자와 협력하여 IP가 필요한 URL에 액세스할 수 있는지 확인하세요.
비 프록시 환경에서 관리 컴퓨터에는 외부 및 내부 DNS 확인이 있어야 합니다. 관리 컴퓨터는 vSphere용 vCenter 엔드포인트 또는 Azure Local용 클라우드 에이전트 엔드포인트와 같은 내부 이름을 확인할 수 있는 DNS 서버에 연결할 수 있어야 합니다. 또한 DNS 서버가 Azure URL 및 OS 이미지 다운로드 URL과 같은 외부 주소를 확인할 수 있어야 합니다. 시스템 관리자와 협력하여 관리 컴퓨터에 내부 및 외부 DNS 확인이 있는지 확인합니다. 프록시 환경에서 프록시 서버의 DNS 확인은 내부 엔드포인트 및 필요한 외부 주소를 확인해야 합니다.
비 프록시 시나리오에서 관리 컴퓨터의 내부 주소에 대한 DNS 확인을 테스트하려면 명령 프롬프트를 열고
nslookup <vCenter endpoint or HCI MOC cloud agent IP>
를 실행합니다. 프록시가 아닌 시나리오에서 관리 시스템에 내부 DNS 해상도가 있는 경우, 응답을 받아야 합니다.
어플라이언스 VM은 vSphere용 vCenter 엔드포인트 또는 Azure Local용 클라우드 에이전트 엔드포인트와 같은 내부 이름을 확인할 수 있는 DNS 서버에 연결할 수 있어야 합니다. 또한 DNS 서버가 클라우드에서 Arc 리소스 브리지 컨테이너 이미지를 다운로드하려면 Azure 서비스 주소 및 컨테이너 레지스트리 이름과 같은 외부/내부 주소를 확인할 수 있어야 합니다.
구성 파일을 만드는 데 사용되는 DNS 서버 IP에 내부 및 외부 주소 확인 기능이 있는지 확인합니다.
Arc Resource Bridge VM 이동은 지원되지 않습니다.
Arc 리소스 브리지 및 기본 계층은 원래 배포 경로를 참조합니다. 구성 YAML 파일을 업데이트하거나 관리 콘솔에서 VM을 수동으로 재배치해도 이러한 내부 참조는 업데이트되지 않습니다. 따라서 이러한 변경으로 인해 업그레이드 실패 또는 리소스를 검색할 수 없는 등의 오류가 발생할 수 있습니다.
리소스 브리지 VM의 위치를 변경해야 하는 경우 지원되는 옵션은 리소스 브리지를 원하는 위치에 다시 배포하는 것입니다. 사용자 환경에 대한 복구 지침을 따릅니다.
- Arc 지원 VMware의 경우 Arc VMware 복구 가이드를 따릅니다.
- Arc 지원 SCVMM의 경우 Arc SCVMM 복구 가이드를 따릅니다.
Azure 로컬 문제에서 Azure Arc 지원 VM
Azure Local에서 Azure Arc 지원 VM과 관련된 문제를 해결하는 일반적인 도움말은 Azure Local에 대한 Azure Arc VM 관리 문제를 참조하세요.
Azure Local 버전 23H2 이상을 실행하고 Arc Resource Bridge가 오프라인 상태인 경우 Arc Resource Bridge VM을 다시 시작하여 다시 온라인 상태로 전환해 보세요. 문제가 지속되면 Microsoft 지원에 문의하여 도움을 받으세요. Microsoft 지원의 지침 없이 Arc Resource Bridge VM을 삭제하면 안 됩니다.
작업 실패 - 해당 호스트 없음
Arc 리소스 브리지를 배포할 때 errorCode
가 PostOperationsError
로, errorResponse
가 코드 GuestInternetConnectivityError
로, no such host
에서 오류가 발생하는 경우, 어플라이언스 VM IP가 오류에 지정된 엔드포인트에 도달하지 못할 가능성이 있습니다.
오류 예:
{ _errorCode_: _PostOperationsError_, _errorResponse_: _{\n\_message\_: \_{\\n \\\_code\\\_: \\\_GuestInternetConnectivityError\\\_,\\n \\\_message\\\_: \\\_Not able to connect to http://aszhcitest01.company.org:55000. Error returned: action failed after 5 attempts: Get \\\\\\\_http://aszhcitest01.company.org:55000\\\\\\\_: dial tcp: lookup aszhcitest01.company.org: on 127.0.0.53:53: no such host. Arc Resource Bridge network and internet connectivity validation failed: cloud-agent-connectivity-test. 1. check your networking setup and ensure the URLs mentioned in : https://aka.ms/AAla73m are reachable from the Appliance VM. 2. Check firewall/proxy settings
이 예에서 어플라이언스 VM IP는 MOC 엔드포인트인 http://aszhcitest01.company.org:55000
에 액세스할 수 없습니다. 네트워크 관리자와 협력하여 DNS 서버가 필요한 URL을 확인할 수 있는지 확인하세요.
DNS 서버에 대한 연결을 테스트하려면 다음을 수행합니다.
ping <dns-server.com>
DNS 서버가 주소를 확인할 수 있는지 체크하려면 DNS 서버에 연결할 수 있는 컴퓨터에서 다음 명령을 실행합니다.
Resolve-DnsName -Name "http://aszhcitest01.company.org:55000" -Server "<dns-server.com>"
인증 필요
Arc 리소스 브리지를 배포할 때 다음 오류가 발생할 수 있습니다.
{ _message_: _Post \_https://westeurope.dp.kubernetesconfiguration.azure.com/azure-arc-appliance-k8sagents/GetLatestHelmPackagePath?api-version=2019-11-01-preview\u0026releaseTrain=stable\_: authenticationrequired_ }
이 오류는 인증이 필요한 요청을 가로채는 프록시 때문일 수 있습니다. 이러한 프록시 뒤에서 Azure CLI를 성공적으로 실행하려면 적절한 프록시 지원을 확인합니다.
권장 작업:
- 프록시가 환경에서 활성 상태인지 확인합니다.
- 필요한 경우 인증 자격 증명을 사용하여 환경 변수(HTTPS_PROXY, HTTP_PROXY 및 선택적으로 NO_PROXY)를 구성합니다. Azure Arc 리소스 브리지 네트워크 요구 사항을 참조하세요.
- Azure CLI가 프록시 뒤에서 작업할 수 있는지 확인해야 할 수도 있습니다. 자세한 지침은 Azure CLI 프록시 문제 해결 가이드를 참조하세요.
Azure Arc 지원 VMware VCenter 관련 문제
errorResponse: error getting the vsphere sdk client
errorCode: CreateConfigKvaCustomerError
및 errorResponse: error getting the vsphere sdk client
오류는 배포 컴퓨터가 vCenter 주소에 TCP 연결을 설정하려고 하지만 문제가 발생할 때 발생합니다. 이는 vCenter 주소가 올바르지 않은 경우(403 또는 404 오류) 또는 네트워크/프록시/방화벽 구성에서 이를 차단하는 경우(연결 시도가 실패한 경우) 발생할 수 있습니다.
호스트 이름으로 vCenter 주소를 입력하고 no such host
오류가 수신되면 배포 컴퓨터가 클라이언트 DNS를 통해 vCenter 호스트 이름을 확인할 수 없습니다. 이는 배포 컴퓨터가 vCenter 호스트 이름을 확인할 수 있지만 배포 컴퓨터가 DNS에서 수신한 IP 주소에 도달할 수 없는 경우 발생할 수 있습니다. DNS에서 반환된 엔드포인트가 vCenter 주소가 아니거나 프록시가 트래픽을 가로채는 경우에도 이 오류가 표시될 수 있습니다. 배포 컴퓨터가 vCenter 주소와 통신할 수 있는 경우 사용자 이름과 암호가 올바른지 확인합니다.
vSphere SDK 클라이언트 - 연결 시도가 실패함
배포 중에 errorCode_: _CreateConfigKvaCustomerError_, _errorResponse_: _error getting the vsphere sdk client: Post \_https://ip.address/sdk\_: dial tcp ip.address:443: connectex: A connection attempt failed because the connected party did not properly respond after a period of time, or established connection failed because connected host has failed to respond._ }
라는 오류가 표시되면 관리 컴퓨터가 vCenter Server와 통신할 수 없습니다.
이 문제를 해결하려면 관리 컴퓨터가 관리 컴퓨터 요구 사항을 충족하는지 확인하고 통신을 차단하는 방화벽이나 프록시가 없는지 확인합니다.
vSphere SDK 클라이언트 - 403 사용할 수 없음 또는 404를 찾을 수 없음
Arc 리소스 브리지를 배포하는 동안 errorCode_: _CreateConfigKvaCustomerError_, _errorResponse_: _error getting the vsphere sdk client: POST \_/sdk\_: 403 Forbidden
또는 404 not found
가 포함된 오류는 대부분 잘못된 vCenter 주소로 인해 발생합니다. 이 주소는 구성 파일을 만드는 동안 호스트 이름이나 IP 주소로 vCenter 주소를 입력하라는 메시지가 표시될 때 제공됩니다.
vCenter 주소를 찾는 방법에는 여러 가지가 있습니다. 한 가지 옵션은 웹 인터페이스를 통해 vSphere 클라이언트에 액세스하는 것입니다. vCenter 호스트 이름 또는 IP 주소는 일반적으로 vSphere 클라이언트에 액세스하기 위해 브라우저에서 사용하는 주소입니다. 이미 로그인한 경우 브라우저의 주소 표시줄을 볼 수 있습니다. 여기에서 vSphere에 액세스하는 데 사용하는 URL은 vCenter Server의 호스트 이름 또는 IP 주소입니다. vCenter 주소를 확인한 후 배포를 다시 시도합니다.
vSphere SDK 클라이언트 - 해당 호스트 없음
오류 { _errorCode_: _CreateConfigKvaCustomerError_, _errorResponse_: _error getting the vsphere sdk client: Post \_https://your.vcenter.hostname/sdk\_: dial tcp: lookup your.vcenter.hostname: no such host_ }
는 배포 컴퓨터가 vCenter 호스트 이름을 IP 주소로 확인할 수 없을 때 배포 중에 발생할 수 있습니다. 이 문제는 배포 프로세스가 배포 컴퓨터에서 vCenter 호스트 이름으로 TCP 연결을 설정하려고 시도했지만 DNS 확인 문제로 인해 연결이 실패하기 때문에 발생합니다.
이 오류를 수정하려면 배포 컴퓨터의 DNS 구성이 올바른지 확인하고, DNS 서버가 온라인인지 확인하고, vCenter 호스트 이름에 누락된 DNS 항목이 있는지 확인합니다. 배포 컴퓨터에서 nslookup your.vcenter.hostname
또는 ping your.vcenter.hostname
을 실행하여 DNS 확인을 테스트할 수 있습니다. vCenter 주소를 호스트 이름으로 지정한 경우 대신 IP 주소를 직접 사용하는 것이 좋습니다.
배포 전 유효성 검사 오류
Arc 리소스 브리지를 배포하면 다음과 같은 다양한 pre-deployment validation of your download\upload connectivity wasn't successful
오류가 표시될 수 있습니다.
Pre-deployment validation of your download/upload connectivity wasn't successful. {\\n \\\_code\\\_: \\\_ImageProvisionError\\\_,\\n \\\_message\\\_: \\\_Post \\\\\\\_https://vcenter-server.com/nfc/unique-identifier/disk-0.vmdk\\\\\\\_: Service Unavailable
Pre-deployment validation of your download/upload connectivity wasn't successful. {\\n \\\_code\\\_: \\\_ImageProvisionError\\\_,\\n \\\_message\\\_: \\\_Post \\\\\\\_https://vcenter-server.com/nfc/unique-identifier/disk-0.vmdk\\\\\\\_: dial tcp 172.16.60.10:443: connectex: A connection attempt failed because the connected party did not properly respond after a period of time, or established connection failed because connected host has failed to respond.
Pre-deployment validation of your download/upload connectivity wasn't successful. {\\n \\\_code\\\_: \\\_ImageProvisionError\\\_,\\n \\\_message\\\_: \\\_Post \\\\\\\_https://vcenter-server.com/nfc/unique-identifier/disk-0.vmdk\\\\\\\_: use of closed network connection.
Pre-deployment validation of your download/upload connectivity wasn't successful. {\\n \\\_code\\\_: \\\_ImageProvisionError\\\_,\\n \\\_message\\\_: \\\_Post \\\\\\\_https://vcenter-server.com/nfc/unique-identifier/disk-0.vmdk\\\\\\\_: dial tcp: lookup hostname.___domain: no such host
이러한 오류의 조합은 일반적으로 관리 컴퓨터와 데이터 저장소의 연결이 끊어졌거나 데이터 저장소에 연결할 수 없게 만드는 네트워킹 문제가 있음을 나타냅니다. vCenter에서 어플라이언스 VM을 빌드하는 데 사용되는 관리 컴퓨터에서 OVA를 업로드하려면 이 연결이 필요합니다.
문제를 해결하려면 관리 컴퓨터와 데이터 저장소 간의 연결을 다시 설정한 다음 Arc 리소스 브리지를 다시 배포해 보세요.
x509 인증서를 발생시키는 시간 차이가 만료되었습니다.
Arc 리소스 브리지를 배포할 때 다음 오류가 발생할 수 있습니다.
Error: { _errorCode_: _PostOperationsError_, _errorResponse_: _{\n\_message\_: \_{\\n \\\_code\\\_: \\\_GuestInternetConnectivityError\\\_,\\n \\\_message\\\_: \\\_Not able to connect to https://msk8s.api.cdp.microsoft.com. Error returned: action failed after 3 attempts: Get \\\\\\\_https://msk8s.api.cdp.microsoft.com\\\\\\\_: x509: certificate has expired or isn't yet valid: current time 2022-01-18T11:35:56Z is before 2023-09-07T19:13:21Z. Arc Resource Bridge network and internet connectivity validation failed: http-connectivity-test-arc. 1. check your networking setup and ensure the URLs mentioned in : https://aka.ms/AAla73m are reachable from the Appliance VM. 2. Check firewall/proxy settings
이 오류는 Arc 리소스 브리지에 대한 배포 명령을 실행하는 관리 컴퓨터와 ESXi 호스트 간에 시간 차이가 있을 때 발생합니다. 이 문제를 해결하려면 ESXi 호스트에서 NTP 시간 동기화를 켜고 관리 컴퓨터도 NTP와 동기화되었는지 확인한 후 배포를 다시 시도합니다.
장치 VM과 관리 컴퓨터 간의 클록 불일치 오류
다음과 유사한 오류가 발생하는 경우:
"ErrorCode": "PostOperationsError", "errorResponse": "{\n\"message\": \"{\\n \\\"code\\\": \\\"ClockSkewError\\\",\\n \\\"message\\\": \\\"The time in Appliance VM is too far behind in the past compared to Management Machine : Time in Appliance VM is 2025-02-24T10:59:59Z, time in Management Machine is 2025-02-24T16:49:13Z. Max allowed difference is 30m0s. Recommendation: Please verify that the time of the workstation machine and the appliance VM are in sync.
이 오류는 Arc 리소스 브리지에 대한 배포 명령을 실행하는 관리 컴퓨터와 ESXi 호스트 간에 시간 차이가 있을 때 발생합니다. 이 문제를 해결하려면 ESXi 호스트에서 NTP 시간 동기화를 켜고 관리 컴퓨터도 NTP와 동기화되었는지 확인한 후 배포를 다시 시도합니다.
여러 네트워크로 확인
Arc 리소스 브리지를 배포하거나 업그레이드할 때 다음과 유사한 오류가 발생할 수 있습니다.
{ "ErrorCode": "PreflightcheckErrorOnPrem", "ErrorDetails": "Upgrade Operation Failed with error: \"{\\n \\\"code\\\": \\\"PreflightcheckError\\\",\\n \\\"message\\\": \\\"{\\\\n \\\\\\\"code\\\\\\\": \\\\\\\"InvalidEntityError\\\\\\\",\\\\n \\\\\\\"message\\\\\\\": \\\\\\\"Cannot retrieve vSphere Network 'vmware-azure-arc-01': path 'vmware-azure-arc-01' resolves to multiple networks\\\\\\\",\\\\n \\\\\\\"category\\\\\\\": \\\\\\\"\\\\\\\"\\\\n }\\\",\\n \\\"category\\\": \\\"\\\"\\n }\"" }
이 오류는 여러 vSphere 네트워크 세그먼트가 오류에 명시된 동일한 이름을 사용하여 vSphere 네트워크 세그먼트가 여러 네트워크로 확인될 때 발생합니다. 이 오류를 해결하려면 vCenter에서 중복된 네트워크 이름(어플라이언스 VM이 있는 네트워크가 아님)을 변경하거나 다른 네트워크에 Arc 리소스 브리지를 배포합니다.
Arc 리소스 브리지 상태의 연결이 끊김
초기 Arc 지원 VMware 온보딩 스크립트를 실행할 때 vSphere 계정을 제공하라는 메시지가 표시됩니다. 이 계정은 암호화된 Kubernetes 비밀로 Arc 리소스 브리지 내에 로컬로 저장됩니다. 이 계정은 Arc 리소스 브리지가 vCenter와 상호 작용할 수 있도록 하는 데 사용됩니다.
리소스 브리지에 로컬로 저장된 vSphere 계정이 만료되면 Arc 리소스 브리지 상태의 연결이 끊길 수 있습니다. vSphere 계정 자격 증명 업데이트 지침에 따라 Arc 리소스 브리지 내 및 Arc 지원 VMware에 대한 자격 증명을 업데이트합니다.
호스트 구성 중에 오류 발생
동일한 템플릿을 사용하여 Arc 리소스 브리지를 여러 번 배포하고 삭제하는 경우 다음 오류가 발생할 수 있습니다.
Appliance cluster deployment failed with error: Error: An error occurred during host configuration
이 문제를 해결하려면 기존 템플릿을 수동으로 삭제합니다. 그런 다음, az arcappliance prepare
를 실행하여 배포할 새 템플릿을 다운로드합니다.
폴더를 찾을 수 없음
VMware에 Arc 리소스 브리지를 배포하는 경우, 템플릿과 VM이 만들어지는 폴더를 지정합니다. 선택한 폴더는 VM 및 템플릿 폴더 형식이어야 합니다. 스토리지 폴더, 네트워크 폴더 또는 호스트 및 클러스터 폴더와 같은 다른 유형의 폴더는 리소스 브리지 배포에 사용할 수 없습니다.
리소스를 검색할 수 없음 - 리소스를 찾을 수 없거나 존재하지 않음
Arc 리소스 브리지를 배포할 때 어플라이언스 VM이 위치 경로로 배포되는 위치를 지정합니다. 어플라이언스 VM은 해당 위치 경로에서 이동할 수 없습니다. 데이터 저장소 또는 리소스 풀과 같이 해당 경로 내의 구성 요소가 변경되면 어플라이언스 VM은 Azure 연결을 끊습니다. Arc 리소스 브리지 위치가 변경되고 업그레이드를 시도하는 경우 다음과 유사한 오류가 표시될 수 있습니다.
{\n \"code\": \"PreflightcheckError\",\n \"message\": \"{\\n \\\"code\\\": \\\"InvalidEntityError\\\",\\n \\\"message\\\": \\\"Cannot retrieve <resource> 'resource-name': <resource> 'resource-name' not found\\\"\\n }\"\n }"
{\n \"code\": \"PreflightcheckError\",\n \"message\": \"{\\n \\\"code\\\": \\\"InvalidEntityError\\\",\\n \\\"message\\\": \\\"The specified vSphere Datacenter '/VxRail-Datacenter' does not exist\\\"\\n }\"\n }"
이러한 오류를 해결하려면 다음 옵션 중 하나를 사용합니다.
어플라이언스 VM을 원래 위치로 다시 이동하고 위치 변경에 대한 RBAC 자격 증명이 업데이트되었는지 확인합니다.
이름이 같은 리소스를 만든 다음 Arc 리소스 브리지를 새 리소스로 이동하여 원래 위치 경로가 다시 만들어지도록 합니다.
Arc 지원 VMware의 경우 Arc 지원 VMware 재해 복구 스크립트를 실행합니다. 스크립트는 어플라이언스를 삭제하고, 새 어플라이언스를 배포하고, 어플라이언스를 이전에 배포된 사용자 지정 위치, 클러스터 확장 및 Arc 지원 VM에 다시 연결합니다.
vCenter 계정이 잠겨 있습니다. - 자격 증명 업데이트
Arc 리소스 브리지는 초기 배포 중에 제공된 vCenter 계정을 사용하여 vCenter에 연결합니다. vCenter 계정이 업데이트되고 Arc 리소스 브리지에서 해당 계정 정보가 업데이트되지 않으면 계정이 잠길 수 있습니다. 잠금 기간이 만료되는 것을 기다리지 않고 자격 증명을 즉시 업데이트하려면 플래그를 --skipWait
사용하여 다음 명령을 실행합니다.
az arcappliance update-infracredentials vmware --kubeconfig [REQUIRED] --address [REQUIRED] --username [REQUIRED] --password [REQUIRED] --skipWait
kubeconfig를 검색해야 하는 경우 다음 명령을 실행할 수 있습니다.
az arcappliance get-credentials --resource-group [REQUIRED] --name [REQUIRED] --credentials-dir [OPTIONAL]
참고
Arc 리소스 브리지에 설치된 Arc 지원 VMware 클러스터 확장은 vCenter 자격 증명을 업데이트해야 할 수도 있습니다. 참조: vSphere 계정 자격 증명 업데이트
권한 부족
VMware vCenter에서 리소스 브리지를 배포하거나 업그레이드하는 경우 다음과 유사한 오류가 표시될 수 있습니다.
{ ""code"": ""PreflightcheckError"", ""message"": ""{\n \""code\"": \""InsufficientPrivilegesError\"",\n \""message\"": \""The provided vCenter account is missing required vSphere privileges on the resource 'root folder (MoRefId: Folder:group-d1)'. Missing privileges: [Sessions.ValidateSession]. add the privileges to the vCenter account and try again. To review the full list of required privileges, go to https://aka.ms/ARB-vsphere-privilege.\""\n }
Arc 리소스 브리지를 배포할 때 vCenter 자격 증명을 제공합니다. Arc 리소스 브리지는 이러한 vCenter 자격 증명을 로컬에 저장하여 vCenter와 상호 작용합니다. 누락된 권한 문제를 해결하려면 리소스 브리지에서 사용하는 vCenter 계정에 VMware vCenter의 다음 권한이 필요합니다.
데이터 저장소:
- 공간 할당
- 데이터 저장소 찾아보기
- 하위 수준 파일 작업
폴더:
- 폴더 만들기
vSphere 태그 지정:
- vSphere 태그 할당 또는 할당 해제
네트워크:
- 네트워크 할당
리소스:
- 가상 머신을 리소스 풀에 할당
- 전원이 꺼진 가상 머신을 마이그레이션함
- 전원이 켜진 가상 머신 마이그레이션
세션:
- 세션 유효성 검사
vApp:
- 리소스 풀 할당
- 가져오기
가상 머신:
- 구성 변경
- 디스크 임대 획득
- 기존 디스크 추가
- 새 디스크 추가
- 디바이스 추가 또는 제거
- 고급 구성
- CPU 수 변경
- 메모리 변경
- 설정 변경
- 리소스 변경
- managedBy를 구성
- 연결 설정 표시
- 가상 디스크 확장
- 디바이스 설정 수정
- 내결함성 호환성 쿼리
- 소유하지 않은 파일 쿼리
- 경로에서 다시 로드
- 디스크 제거
- 이름 바꾸기
- 게스트 정보 다시 설정
- 주석 설정
- 디스크 변경 내용 추적 토글
- 포크 부모 토글
- 가상 머신 호환성 업그레이드
- 인벤토리 편집
- 기존에서 만들기
- 새로 만들기
- 등록
- 제거
- 등록 취소
- 게스트 작업
- 게스트 작업 별칭 수정
- 게스트 작업 수정
- 게스트 작업 프로그램 실행
- 게스트 작업 쿼리
- 상호 작용
- 디바이스 연결
- 콘솔 상호작용
- VIX API로 게스트 운영 체제 관리
- VMware Tools 설치
- 전원 끄기
- 전원 켜기
- 다시 설정
- 일시 중단
- 프로비저닝
- 디스크 액세스 허용
- 파일 액세스 허용
- 읽기 전용 디스크 액세스를 허용
- 가상 머신 다운로드 허용
- 가상 머신 파일 업로드 허용
- 가상 머신 복제
- 템플릿 배포
- 템플릿으로 표시
- 가상 머신으로 표시
- 게스트 사용자 지정
- 스냅샷 관리
- 스냅샷 만들기
- 스냅샷 제거
- 스냅샷으로 되돌리기
다음 단계
Azure Arc 지원 VMware vSphere 재해 시나리오에서 리소스 브리지를 복구하는 작업 알아보기
여기에 문제가 표시되지 않거나 문제를 해결할 수 없는 경우 다음 채널 중 하나를 통해 지원을 받으세요.
- Microsoft Q&A를 통해 Azure 전문가의 답변을 받습니다.
- 고객 환경을 개선하기 위한 공식 Microsoft Azure 계정인 @AzureSupport와 연결합니다. Azure 지원은 Azure 커뮤니티를 답변, 지원 및 전문가에게 연결합니다.
- Azure 지원 요청 열기