Kubernetes 플랫폼은 복잡한 분산 시스템입니다. 여러 수준에서 Kubernetes 배포를 모니터링해야 합니다. AKS(Azure Kubernetes Service)는 관리되는 Kubernetes 서비스이지만 여러 수준에서 배포를 모니터링하려면 동일한 엄격이 필요합니다. 이 문서에서는 AKS 클러스터를 모니터링하기 위한 고급 정보 및 모범 사례를 제공합니다.
- 전체 Kubernetes 스택에 대한 자세한 모니터링은 Azure 서비스 및 클라우드 네이티브 도구를 사용하여 Kubernetes 클러스터 모니터링을 참조하세요.
- Kubernetes 클러스터에서 메트릭 데이터를 수집하려면 Azure Monitor의 Prometheus용 관리형 서비스를 참조하세요.
- Kubernetes 클러스터에서 로그를 수집하려면 Kubernetes 모니터링을 위한 Azure Monitor 기능을 참조하세요.
- 데이터 시각화에 대해서는 Azure Workbooks 및 Grafana에서 Azure 서비스 모니터링을 참조하세요.
팁
Azure에서 Microsoft Copilot를 사용하여 Azure Portal의 AKS 클러스터에서 모니터링을 구성할 수 있습니다. 자세한 내용은 Azure에서 Microsoft Copilot를 사용하여 AKS 클러스터 작업을 효율적으로 참조하세요.
인사이트
Azure의 일부 서비스에는 서비스 모니터링을 위한 시작점을 제공하는 모니터링 대시보드가 Azure Portal에 있습니다. 이러한 대시보드를 인사이트라고 하며, Azure Portal에서 Azure Monitor의 Insights Hub에서 찾을 수 있습니다.
Azure Monitor의 컨테이너 인사이트는 노드, Pod, 컨테이너 및 영구 볼륨에 대한 사용자 지정 메트릭을 수집합니다. 자세한 내용은 컨테이너 인사이트에서 수집된 메트릭을 참조하세요.
Application Insights를 사용하면 애플리케이션 성능을 모니터링할 수 있습니다. 코드 변경으로 Application Insights를 사용하도록 설정하려면 Azure Monitor OpenTelemetry 사용을 참조하세요. 코드 변경 없이 Application Insights를 사용하도록 설정하려면 AKS 자동 계측을 참조하세요. 계측에 대한 자세한 내용은 데이터 수집 기본 사항에 대해 알아봅니다.
데이터 모니터링
AKS는 Azure 리소스의 Monitor 데이터에 설명된 대로 다른 Azure 리소스와 동일한 종류의 모니터링 데이터를 생성합니다. AKS에서 만든 메트릭 및 로그에 대한 자세한 내용은 AKS 모니터링 데이터 참조를 참조하세요.
다른 Azure 서비스 및 기능에서는 다음 다이어그램 및 표와 같이 추가 데이터를 수집하고 다른 분석 옵션을 사용하도록 설정합니다.
출처 | 설명 |
---|---|
플랫폼 메트릭 | 플랫폼 메트릭은 AKS 클러스터에 대해 무료로 자동 수집됩니다. 메트릭 탐색기를 사용하여 이러한 메트 릭을 분석하거나 메트 릭 경고를 만드는 데 사용할 수 있습니다. |
Prometheus 메트릭 | 클러스터에 대해 메트릭 스크래핑을 사용하도록 설정 하면 Azure Monitor의 Prometheus에 대한 관리되는 서비스가Prometheus 메트릭을 수집하고 Azure Monitor 작업 영역에 저장합니다. Azure Managed Grafana 및 Prometheus 경고에서 미리 빌드된 대시보드를 사용하여 이러한 메트릭을 분석합니다. |
활동 로그 | Azure Monitor 활동 로그 는 AKS 클러스터에 대한 일부 데이터를 무료로 자동으로 수집합니다. 이러한 로그 파일은 클러스터를 만들거나 클러스터 구성을 변경하는 경우와 같은 정보를 추적합니다. 다른 로그 데이터를 사용하여 활동 로그 데이터를 분석하려면 활동 로그 데이터를 Log Analytics 작업 영역으로 보냅니다. |
리소스 로그 | AKS의 컨트롤 플레인 로그는 리소스 로그로 구현됩니다. Log Analytics 작업 영역으로 로그를 보내는 진단 설정을 만듭니다. 작업 영역에서 쿼리를 사용하여 로그를 분석하고 로그 정보를 기반으로 경고를 설정할 수 있습니다. |
컨테이너 인사이트 | 컨테이너 인사이트는 클러스터에서 다양한 로그 및 성능 데이터를 수집하고 Log Analytics 작업 영역 및 Azure Monitor 메트릭에 저장합니다. 컨테이너 인사이트의 뷰와 통합 문서 또는 stdout 와 stderr 를 사용하여 및 스트림과 같은 데이터를 분석합니다. |
Application Insights (애플리케이션 인사이트) | Azure Monitor의 기능인 Application Insights는 로그, 메트릭 및 분산 추적을 수집합니다. 원격 분석은 Azure Portal에서 분석을 위해 Log Analytics 작업 영역에 저장됩니다. |
리소스 유형
Azure는 리소스 종류 및 ID의 개념을 사용하여 구독의 모든 항목을 식별합니다. 리소스 종류는 Azure에서 실행되는 모든 리소스에 대한 리소스 ID의 일부이기도 합니다. 예를 들어 가상 머신의 리소스 종류 중 하나는 Microsoft.Compute/virtualMachines
입니다. 서비스 및 관련 리소스 종류 목록은 리소스 공급자를 참조하세요.
마찬가지로 Azure Monitor는 네임스페이스라고도 하는 리소스 종류에 따라 핵심 모니터링 데이터를 메트릭 및 로그로 구성합니다. 리소스 종류에 따라 다른 메트릭 및 로그를 사용할 수 있습니다. 서비스는 둘 이상의 리소스 종류와 연결될 수 있습니다.
AKS의 리소스 종류에 대한 자세한 내용은 AKS 모니터링 데이터 참조를 참조하세요.
데이터 스토리지
Azure Monitor의 경우:
- 메트릭 데이터는 Azure Monitor 메트릭 데이터베이스에 저장됩니다.
- 로그 데이터는 Azure Monitor 로그 저장소에 저장됩니다. Log Analytics는 이 저장소를 쿼리할 수 있는 Azure Portal의 도구입니다.
- Azure 활동 로그는 Azure Portal에 자체 인터페이스가 있는 별도의 저장소입니다.
선택적으로 메트릭 및 활동 로그 데이터를 Azure Monitor 로그 저장소로 라우팅할 수 있습니다. 그런 다음 Log Analytics를 사용하여 데이터를 쿼리하고 다른 로그 데이터와 상호 연결할 수 있습니다.
많은 서비스에서는 진단 설정을 사용하여 메트릭 및 로그 데이터를 Azure Monitor 외부의 다른 스토리지 위치로 보낼 수 있습니다. 예를 들면 Azure Storage, 호스트된 파트너 시스템, Event Hubs를 사용하는 비 Azure 파트너 시스템이 있습니다.
Azure Monitor가 데이터를 저장하는 방법에 대한 자세한 내용은 Azure Monitor 데이터 플랫폼을 참조하세요.
Azure Monitor 플랫폼 메트릭
Azure Monitor는 대부분의 서비스에 대한 플랫폼 메트릭을 제공합니다. 이러한 메트릭은 다음과 같습니다.
- 각 네임스페이스에 대해 개별적으로 정의됩니다.
- Azure Monitor 시계열 메트릭 데이터베이스에 저장됩니다.
- 간단하며 실시간에 가까운 경고를 지원할 수 있습니다.
- 시간 경과에 따른 리소스의 성능을 추적하는 데 사용됩니다.
수집: Azure Monitor는 플랫폼 메트릭을 자동으로 수집합니다. 구성이 필요하지 않습니다.
라우팅: 일부 플랫폼 메트릭을 Azure Monitor 로그/Log Analytics로 라우팅하여 다른 로그 데이터로 쿼리할 수도 있습니다. 각 메트릭의 DS 내보내기 설정을 확인해 진단 설정을 사용하여 메트릭을 Azure Monitor 로그/Log Analytics로 라우팅할 수 있는지 확인합니다.
- 자세한 내용은 메트릭 진단 설정을 참조하세요.
- 서비스에 대한 진단 설정을 구성하려면 Azure Monitor에서 진단 설정 만들기를 참조하세요.
Azure Monitor의 모든 리소스에 대해 수집할 수 있는 모든 메트릭 목록은 Azure Monitor에서 지원되는 메트릭을 참조하세요.
AKS에 대해 수집할 수 있는 메트릭 목록은 AKS 모니터링 데이터 참조를 참조하세요.
메트릭은 클러스터를 모니터링하고, 문제를 식별하고, AKS 클러스터의 성능을 최적화하는 데 중요한 역할을 합니다. 플랫폼 메트릭은 네임스페이스에 설치된 kube-system
기본 제공 메트릭 서버를 사용하여 캡처되며, Kubelet에서 제공하는 모든 AKS 노드에서 메트릭을 주기적으로 긁습니다. 또한 Prometheus 메트릭에 대해 관리되는 서비스를 사용하도록 설정하여 개체 배포 상태를 포함하여 컨테이너 메트릭 및 Kubernetes 개체 메트릭을 수집해야 합니다.
Prometheus 메트릭에 대한 기본 관리 서비스 목록을 볼 수 있습니다.
자세한 내용은 AKS 클러스터에서 Prometheus 메트릭에 대한 관리 서비스 수집을 참조하세요.
또한 AKS는 API 서버 등과 같은 중요한 컨트롤 플레인 구성 요소 및 Prometheus에 대한 관리되는 서비스를 통해 스케줄러의 메트릭을 노출합니다. 현재 이 기능은 미리 보기로 제공됩니다. 자세한 내용은 AKS 컨트롤 플레인 메트릭 모니터링(미리 보기)을 참조하세요. API 서버 및 etcd에 대한 컨트롤 플레인 메트릭의 하위 집합은 Azure Monitor 플랫폼 메트릭을 통해 무료로 사용할 수 있습니다. 메트릭은 기본적으로 수집되며 메트릭을 사용하여 메트릭 기반 경고를 만들 수 있습니다.
비Azure Monitor 기반 메트릭
이 서비스는 Azure Monitor 메트릭 데이터베이스에 포함되지 않은 다른 메트릭을 제공합니다.
다음 Azure 서비스 및 Azure Monitor 기능을 사용하여 AKS 클러스터를 모니터링할 수 있습니다. AKS 클러스터를 만들 때 이러한 기능을 사용하도록 설정합니다.
Azure Portal에서 통합 탭을 사용하거나 Azure CLI, Terraform 또는 Azure Policy를 사용합니다. 경우에 따라 클러스터를 만든 후 모니터링 서비스 또는 기능에 클러스터를 온보딩할 수 있습니다. 각 서비스 또는 기능에 비용이 발생할 수 있으므로 사용하도록 설정하기 전에 각 구성 요소에 대한 가격 책정 정보를 참조하세요.
서비스 또는 기능 | 설명 |
---|---|
컨테이너 인사이트 | 컨테이너화된 버전의 Azure Monitor 에이전트를 사용하여 클러스터의 각 노드에서 stdout 및 stderr 로그와 Kubernetes 이벤트를 수집합니다. 이 기능은 AKS 클러스터에 대한 다양한 모니터링 시나리오를 지원합니다.
AZURE CLI, Azure Policy, Azure Portal 또는 Terraform을 사용하여 AKS 클러스터를 만들 때 모니터링을 사용하도록 설정할 수 있습니다. 클러스터를 만들 때 컨테이너 인사이트를 사용하도록 설정하지 않은 경우, AKS 클러스터에 대한 컨테이너 인사이트 사용을 활성화하는 방법에 대한 다른 옵션을 확인하세요.컨테이너 인사이트는 대부분의 데이터를 Log Analytics 작업 영역에 저장합니다. 일반적으로 클러스터의 리소스 로그와 동일한 Log Analytics 작업 영역을 사용합니다. 사용해야 하는 작업 영역 수와 해당 작업 영역을 찾을 위치에 대한 지침은 Log Analytics 작업 영역 아키텍처 디자인을 참조하세요. |
Azure Monitor에서 Prometheus를 위한 관리형 서비스 |
Prometheus 는 클라우드 네이티브 컴퓨팅 재단의 클라우드 네이티브 메트릭 솔루션입니다. Kubernetes 클러스터에서 메트릭 데이터를 수집하고 분석하는 데 사용하는 가장 일반적인 도구입니다. Azure Monitor의 Prometheus에 대한 관리되는 서비스는 완전히 관리되는 Prometheus 호환 모니터링 솔루션입니다. 클러스터를 만들 때 Prometheus에 대한 관리형 서비스를 활성화하지 않으면, AKS 클러스터에서 Prometheus 메트릭 수집을 확인하여 활성화하는 다른 옵션을 참조하세요. Azure Monitor의 Prometheus에 대한 관리되는 서비스는 Grafana 작업 영역에 연결된 Azure Monitor 작업 영역에 데이터를 저장합니다. Azure Managed Grafana를 사용하여 데이터를 분석할 수 있습니다. |
Azure Managed Grafana | Grafana의 완전 관리형 구현입니다. Grafana는 Prometheus 데이터를 제공하는 데 일반적으로 사용되는 오픈 소스 데이터 시각화 플랫폼입니다. Kubernetes 모니터링 및 전체 스택 문제 해결을 위해 미리 정의된 여러 Grafana 대시보드를 사용할 수 있습니다. 클러스터를 만들 때 Azure Managed Grafana를 사용하도록 설정하지 않으면 Grafana 작업 영역 연결을 참조하세요. 클러스터에서 Prometheus 메트릭에 액세스할 수 있도록 Azure Monitor 작업 영역에 연결할 수 있습니다. |
AKS 컨트롤 플레인 메트릭 모니터링(미리 보기)
또한 AKS는 API 서버 등과 같은 중요한 컨트롤 플레인 구성 요소 및 Azure Monitor의 Prometheus에 대한 관리되는 서비스를 통해 스케줄러의 메트릭을 노출합니다. 현재 이 기능은 미리 보기로 제공됩니다. 자세한 내용은 AKS 컨트롤 플레인 메트릭 모니터링을 참조하세요. API 서버 및 etcd에 대한 컨트롤 플레인 메트릭의 하위 집합은 Azure Monitor 플랫폼 메트릭을 통해 무료로 사용할 수 있습니다. 이러한 메트릭은 기본적으로 수집됩니다. 메트릭을 사용하여 경고를 만들 수 있습니다.
Azure Monitor 리소스 로그
리소스 로그는 Azure 리소스에서 수행한 작업에 대한 인사이트를 제공합니다. 로그는 자동으로 생성되지만 저장하거나 쿼리하려면 Azure Monitor 로그로 라우팅해야 합니다. 로그는 범주별로 구성됩니다. 지정된 네임스페이스에는 여러 리소스 로그 범주가 있을 수 있습니다.
수집: 리소스 로그는 진단 설정을 만들고 하나 이상의 위치로 라우팅할 때까지 수집 및 저장되지 않습니다. 진단 설정을 만들 때 수집할 로그 범주를 지정합니다. 진단 설정을 만들고 유지 관리하는 방법에는 Azure Portal, 프로그래밍 방식, Azure Policy 사용 등을 포함한 여러 가지 방법이 있습니다.
라우팅: 제안되는 기본값은 리소스 로그를 Azure Monitor 로그로 라우팅하여 다른 로그 데이터로 쿼리할 수 있도록 하는 것입니다. Azure Storage, Azure Event Hubs, 특정 Microsoft 모니터링 파트너와 같은 다른 위치도 사용할 수 있습니다. 자세한 내용은 Azure 리소스 로그 및 리소스 로그 대상을 참조하세요.
리소스 로그 수집, 저장 및 라우팅에 대한 자세한 내용은 Azure Monitor의 진단 설정을 참조하세요.
Azure Monitor에서 사용 가능한 모든 리소스 로그 범주 목록은 Azure Monitor에서 지원되는 리소스 로그를 참조하세요.
Azure Monitor의 모든 리소스 로그에는 동일한 헤더 필드와 서비스별 필드가 있습니다. 공용 스키마는 Azure Monitor 리소스 로그 스키마에서 설명합니다.
사용 가능한 리소스 로그 범주, 연결된 Log Analytics 테이블 및 AKS에 대한 로그 스키마는 AKS 모니터링 데이터 참조를 참조하세요.
AKS 컨트롤 플레인 리소스 로그
AKS 클러스터에 대한 컨트롤 플레인 로그는 Azure Monitor에서 리소스 로그로 구현됩니다. 리소스 로그는 하나 이상의 위치로 라우팅하는 진단 설정을 만들 때까지 수집되고 저장되지 않습니다. 일반적으로 리소스 로그를 Log Analytics 작업 영역으로 보내며, 컨테이너 인사이트에 대한 대부분의 데이터가 저장됩니다.
Azure Portal, Azure CLI 또는 Azure PowerShell을 사용하여 진단 설정을 만드는 방법을 알아보려면 진단 설정 만들기를 참조하세요. 진단 설정을 만들 때 수집할 로그 범주를 지정합니다. AKS에 대한 범주는 AKS 모니터링 데이터 참조에 나열됩니다.
경고
AKS, 특히 kube 감사 로그에 대한 리소스 로그를 수집할 때 상당한 비용이 발생할 수 있습니다. 수집되는 데이터의 양을 줄이려면 다음 권장 사항을 고려하세요.
- 필요하지 않은 경우 로깅을 사용하지 않도록 설정합니다
kube-audit
. -
kube-audit-admin
에서 컬렉션을 사용하도록 설정합니다. 이 컬렉션에는get
및list
감사 이벤트가 제외됩니다. - 이 문서에 설명된 대로 리소스별 로그를 사용하도록 설정하고 AKSAudit 테이블을 기본 로그로 구성합니다.
자세한 모니터링 권장 사항은 Azure 서비스 및 클라우드 네이티브 도구를 사용하여 AKS 클러스터 모니터링을 참조하세요. 모니터링 비용을 줄이기 위한 전략은 비용 최적화 및 Azure Monitor를 참조하세요.
AKS는 리소스 로그에 대한 Azure 진단 모드 또는 리소스별 모드를 지원합니다. Azure 진단 모드는 모든 데이터를 AzureDiagnostics 테이블로 보냅니다. 리소스별 모드는 데이터가 전송되는 Log Analytics 작업 영역의 테이블을 지정합니다. 또한 AKSAudit
의 테이블에 표시된 대로 데이터를 AKSAuditAdmin
, AKSControlPlane
, 및 로 보냅니다.
다음과 같은 이유로 AKS에 리소스별 모드를 사용하는 것이 좋습니다.
- 데이터는 AKS 전용 개별 테이블에 있으므로 쿼리하기가 더 쉽습니다.
- 리소스별 모드는 상당한 비용 절감 을 위해 기본 로그 로 구성을 지원합니다.
기존 설정을 변경하는 방법을 포함하여 컬렉션 모드 간의 차이점에 대한 자세한 내용은 컬렉션 모드 선택을 참조하세요.
참고
Azure CLI를 사용하여 진단 설정을 구성할 수 있습니다. 이 방법은 클러스터의 프로비저닝 상태를 확인하지 않으므로 성공하도록 보장되지 않습니다. 진단 설정을 변경한 후 클러스터에 설정 변경 내용이 반영되는지 확인합니다.
az monitor diagnostic-settings create --name AKS-Diagnostics --resource /subscriptions/xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx/resourceGroups/myresourcegroup/providers/Microsoft.ContainerService/managedClusters/my-cluster --logs '[{"category": "kube-audit","enabled": true}, {"category": "kube-audit-admin", "enabled": true}, {"category": "kube-apiserver", "enabled": true}, {"category": "kube-controller-manager", "enabled": true}, {"category": "kube-scheduler", "enabled": true}, {"category": "cluster-autoscaler", "enabled": true}, {"category": "cloud-controller-manager", "enabled": true}, {"category": "guard", "enabled": true}, {"category": "csi-azuredisk-controller", "enabled": true}, {"category": "csi-azurefile-controller", "enabled": true}, {"category": "csi-snapshot-controller", "enabled": true}]' --workspace /subscriptions/xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx/resourcegroups/myresourcegroup/providers/microsoft.operationalinsights/workspaces/myworkspace --export-to-resource-specific true
샘플 로그 쿼리
중요합니다
AKS 클러스터 메뉴에서 로그 를 선택하면 쿼리 범위가 현재 클러스터로 설정된 Log Analytics가 열립니다. 로그 쿼리에는 해당 리소스의 데이터만 포함됩니다. 다른 클러스터의 데이터 또는 다른 Azure 서비스의 데이터를 포함하는 쿼리를 실행하려면 Azure Monitor 메뉴에서 로그를 선택합니다. 자세한 내용은 Log Analytics의 로그 쿼리 범위 및 시간 범위를 참조하세요.
클러스터에 대한 진단 설정이 Azure 진단 모드를 사용하는 경우 AKS에 대한 리소스 로그는 AzureDiagnostics 테이블에 저장됩니다. 범주 열을 통해 로그를 식별합니다. 각 범주에 대한 설명은 AKS 참조 리소스 로그를 참조하세요.
설명 | 로그 쿼리 |
---|---|
각 범주에 대한 로그 수 (Azure 진단 모드) |
AzureDiagnostics | where ResourceType == "MANAGEDCLUSTERS" | summarize count() by Category |
모든 API 서버 로그 (Azure 진단 모드) |
AzureDiagnostics | where Category == "kube-apiserver" |
시간 범위의 모든 kube-audit 로그 (Azure 진단 모드) |
let starttime = datetime("2023-02-23"); let endtime = datetime("2023-02-24"); AzureDiagnostics | where TimeGenerated between(starttime..endtime) | where Category == "kube-audit" | extend event = parse_json(log_s) | extend HttpMethod = tostring(event.verb) | extend User = tostring(event.user.username) | extend Apiserver = pod_s | extend SourceIP = tostring(event.sourceIPs[0]) | project TimeGenerated, Category, HttpMethod, User, Apiserver, SourceIP, OperationName, event |
모든 감사 로그 (리소스별 모드) |
AKSAudit |
모든 감사 로그 중 get 및 list 감사 이벤트를 제외한 것(리소스별 모드) |
AKSAuditAdmin |
모든 API 서버 로그 (리소스별 모드) |
AKSControlPlane | where Category == "kube-apiserver" |
Log Analytics 작업 영역에서 미리 빌드된 쿼리 집합에 액세스하려면 Log Analytics 쿼리 인터페이스를 참조하고 Kubernetes Services 리소스 유형을 선택합니다. 컨테이너 인사이트에 대한 일반적인 쿼리 목록은 컨테이너 인사이트 쿼리를 참조하세요.
AKS 데이터 평면 Container Insights 로그
컨테이너 인사이트는 AKS 클러스터에서 실행되는 컨테이너화된 애플리케이션을 모니터링, 문제 해결 및 파악하는 데 도움이 되도록 컨테이너 및 AKS 클러스터에서 다양한 유형의 원격 분석 데이터를 수집합니다. Container Insights에서 사용하는 테이블 목록 및 자세한 설명은 Azure Monitor 테이블 참조를 참조하세요. 모든 테이블은 로그 쿼리에 사용할 수 있습니다.
비용 최적화 설정을 사용하여 Container Insights 에이전트를 통해 수집된 메트릭 데이터를 사용자 지정하고 제어합니다. 이 기능은 개별 테이블 선택, 데이터 수집 간격 및 네임스페이스에 대한 데이터 수집 설정을 지원하여 AZURE MONITOR DCR(데이터 수집 규칙)을 통해 데이터 수집을 제외합니다. 이러한 설정은 수집 볼륨을 제어하고 Container Insights의 모니터링 비용을 줄입니다. 다음 옵션을 사용하여 Azure Portal에서 수집된 컨테이너 인사이트를 사용자 지정할 수 있습니다. 모두(기본값) 이외의 옵션을 선택하면 컨테이너 인사이트 환경을 사용할 수 없게 됩니다.
Grouping(그룹화) | 테이블 | 메모 |
---|---|---|
모두(기본값) | 모든 표준 컨테이너 인사이트 테이블 | 기본 컨테이너 인사이트 시각화를 사용하도록 설정하는 데 필요합니다. |
성능 | Perf, InsightsMetrics | |
로그 및 이벤트 | ContainerLog 또는 ContainerLogV2, KubeEvents, KubePodInventory | Prometheus 메트릭에 대해 관리되는 서비스를 사용하도록 설정한 경우 권장됩니다. |
워크로드, 배포 및 HPA | InsightsMetrics, KubePodInventory, KubeEvents, ContainerInventory, ContainerNodeInventory, KubeNodeInventory, KubeServices | |
영구 볼륨 | InsightsMetrics, KubePVInventory |
로그 및 이벤트 그룹화는 ContainerLog 또는 ContainerLogV2, KubeEvents 및 KubePodInventory 테이블에서 로그를 캡처하지만 메트릭은 캡처하지 않습니다. 메트릭을 수집하는 데 권장되는 경로는 AKS 클러스터에서 Prometheus에 대한 관리되는 서비스를 사용하도록 설정하고 데이터 시각화에 Azure Managed Grafana 를 사용하는 것입니다. 자세한 내용은 Azure Monitor 작업 영역 관리를 참조하세요.
ContainerLogV2 스키마
Azure Monitor의 컨테이너 인사이트는 컨테이너 로그에 권장되는 스키마인 ContainerLogV2를 제공합니다. 이 형식에는 AKS 및 Azure Arc 지원 Kubernetes 클러스터와 관련된 데이터를 보기 위한 일반적인 쿼리에 대한 다음 필드가 포함됩니다.
- ContainerName
- PodName
- PodNamespace
이 스키마는 표준 분석 로그에 대한 저렴한 대안을 제공하는 기본 로그 테이블 데이터 계획과 호환됩니다. 기본 로그 테이블 데이터 계획을 사용하여 디버깅, 문제 해결 및 감사를 위해 Log Analytics 작업 영역에 대용량 자세한 로그를 수집하고 저장하는 비용을 절감할 수 있습니다. 분석 및 경고 비용에는 영향을 미치지 않습니다. 자세한 내용은 Log Analytics 작업 영역에서 테이블 관리를 참조하세요.
ARM 템플릿(Azure Resource Manager 템플릿), Bicep, Terraform, Azure Policy 또는 Azure Portal을 사용하여 관리 ID 인증을 통해 컨테이너 인사이트를 온보딩하는 경우 기본 ContainerLogV2 스키마를 사용하는 것이 좋습니다. 클러스터의 DCR 또는 configmap을 통해 ContainerLogV2를 사용하도록 설정하는 방법에 대한 자세한 내용은 ContainerLogV2 스키마 사용을 참조하세요.
Azure 활동 로그
활동 로그에는 해당 리소스의 외부에서 볼 때 각 Azure 리소스에 대한 작업을 추적하는 구독 수준 이벤트(예: 새 리소스 만들기 또는 가상 머신 시작)가 포함되어 있습니다.
수집: 활동 로그 이벤트는 자동으로 생성되고 별도의 저장소에 수집되어 Azure Portal에서 볼 수 있습니다.
라우팅: 다른 로그 데이터와 함께 분석할 수 있도록 활동 로그 데이터를 Azure Monitor 로그로 보낼 수 있습니다. Azure Storage, Azure Event Hubs, 특정 Microsoft 모니터링 파트너와 같은 다른 위치도 사용할 수 있습니다. 활동 로그를 라우팅하는 방법에 대한 자세한 내용은 Azure 활동 로그 개요를 참조하세요.
AKS 컨테이너 로그, 이벤트 및 Pod 메트릭을 실시간으로 보기
Container Insights의 라이브 데이터 기능을 사용하여 AKS 컨테이너 로그, 이벤트 및 Pod 메트릭을 볼 수 있습니다.
kubectl logs -c
, kubectl get
이벤트 및 kubectl top pods
에 직접적으로 액세스하여 실시간으로 문제를 해결할 수 있습니다.
참고
AKS는 Kubernetes 클러스터 수준 로깅 아키텍처를 사용합니다. 컨테이너 로그는 노드에 있습니다 /var/log/containers
. 노드에 액세스하려면 AKS 클러스터 노드에 연결을 참조하세요.
이 기능을 설정하는 방법을 알아보려면 Container Insights에서 라이브 데이터 구성을 참조하세요. 이 기능은 Kubernetes API에 직접 액세스합니다. 인증 모델에 대한 자세한 내용은 Kubernetes API를 참조하세요.
AKS 리소스 라이브 로그 보기
참고
프라이빗 클러스터에서 로그에 액세스하려면 클러스터와 동일한 프라이빗 네트워크에 있는 컴퓨터를 사용해야 합니다.
- Azure Portal에서 AKS 클러스터로 이동합니다.
- Kubernetes 리소스에서 워크로드를 선택합니다.
- 배포, Pod, 복제본 집합, 상태 저장 집합, 작업 또는 Cron 작업에 대해 값을 선택한 다음 라이브 로그를 선택합니다.
- 리소스 로그를 선택하여 확인하세요.
다음 예제에서는 Pod 리소스에 대한 로그를 보여 줍니다.
라이브 로그 보기
컨테이너 엔진이 클러스터, 노드, 컨트롤러 또는 컨테이너 탭에서 생성할 때 실시간 로그 데이터를 볼 수 있습니다 .
- Azure Portal에서 AKS 클러스터로 이동합니다.
- 모니터링에서 Insights를 선택합니다.
- 클러스터, 노드, 컨트롤러 또는 컨테이너 탭에서 값을 선택합니다.
- 리소스에 대한 개요 창에서 라이브 로그를 선택합니다.
참고
Log Analytics 작업 영역에서 데이터를 보려면 Log Analytics에서 로그 보기를 선택합니다. 기록 로그, 이벤트 및 메트릭을 보는 방법에 대한 자세한 내용은 Container Insights의 쿼리 로그를 참조하세요.
인증에 성공하면 데이터를 검색할 수 있으면 라이브 로그 탭으로 스트리밍을 시작합니다. 로그 데이터는 연속 스트림에 여기에 표시됩니다.
다음 이미지는 컨테이너 리소스에 대한 로그를 보여 줍니다.
라이브 이벤트 보기
컨테이너 엔진이 클러스터, 노드, 컨트롤러 또는 컨테이너 탭에서 생성할 때 실시간 이벤트 데이터를 볼 수 있습니다 .
- Azure Portal에서 AKS 클러스터로 이동합니다.
- 모니터링에서 Insights를 선택합니다.
- 클러스터, 노드, 컨트롤러 또는 컨테이너 탭을 선택한 다음 개체를 선택합니다.
- 리소스 개요 창에서 라이브 이벤트를 선택합니다.
참고
Log Analytics 작업 영역에서 데이터를 보려면 Log Analytics에서 이벤트 보기를 선택합니다. 기록 로그, 이벤트 및 메트릭을 보는 방법에 대한 자세한 내용은 Container Insights의 쿼리 로그를 참조하세요.
인증에 성공하면 데이터를 검색할 수 있으면 라이브 이벤트 탭으로 스트리밍을 시작합니다. 다음 이미지는 컨테이너 리소스에 대한 이벤트를 보여 줍니다.
메트릭 보기
컨테이너 엔진이 Pod 리소스를 선택하여 노드 또는 컨트롤러 탭에서 생성할 때 실시간 메트릭 데이터를 볼 수 있습니다.
- Azure Portal에서 AKS 클러스터로 이동합니다.
- 모니터링에서 Insights를 선택합니다.
- 노드 또는 컨트롤러 탭을 선택한 다음 Pod 개체를 선택합니다.
- 리소스 개요 창에서 라이브 메트릭을 선택합니다.
참고
Log Analytics 작업 영역에서 데이터를 보려면 Log Analytics에서 이벤트 보기를 선택합니다. 기록 로그, 이벤트 및 메트릭을 보는 방법에 대한 자세한 내용은 Container Insights의 쿼리 로그를 참조하세요.
인증에 성공하면 데이터를 검색할 수 있으면 라이브 메트릭 탭으로 스트리밍을 시작합니다. 다음 이미지는 Pod 리소스에 대한 메트릭을 보여 줍니다.
모니터링 데이터 분석
모니터링 데이터를 분석하기 위한 많은 도구가 있습니다.
Azure Monitor 도구
Azure Monitor는 다음과 같은 기본 도구를 지원합니다.
메트릭 탐색기: Azure 리소스에 대한 메트릭을 보고 분석할 수 있는 Azure Portal의 도구입니다. 자세한 내용은 Azure Monitor 메트릭 탐색기로 메트릭 분석을 참조하세요.
Log Analytics:KQL(Kusto 쿼리 언어)을 사용하여 로그 데이터를 쿼리하고 분석할 수 있는 Azure Portal의 도구입니다. 자세한 내용은 Azure Monitor에서 로그 쿼리 시작을 참조하세요.
활동 로그: 보기 및 기본 검색을 위해 Azure Portal에 사용자 인터페이스를 갖고 있습니다. 더욱 심층적인 분석을 수행하려면 데이터를 Azure Monitor 로그로 라우팅하고 Log Analytics에서 더 복잡한 쿼리를 실행해야 합니다.
더 복잡한 시각화를 허용하는 도구는 다음과 같습니다.
- 대시보드: 다양한 종류의 데이터를 Azure Portal에서 하나의 창에 결합할 수 있습니다.
- 통합 문서: Azure Portal에서 만들 수 있는 사용자 지정 가능한 보고서입니다. 통합 문서에는 텍스트, 메트릭 및 로그 쿼리가 포함될 수 있습니다.
- Grafana: 뛰어난 운영 대시보드를 제공하는 개방형 플랫폼 도구입니다. Grafana를 사용하여 Azure Monitor 외의 여러 소스에서 온 데이터를 포함하는 대시보드를 만들 수 있습니다.
- Power BI: 다양한 데이터 원본에서 대화형 시각화를 제공하는 비즈니스 분석 서비스입니다. Azure Monitor에서 자동으로 로그 데이터를 가져오도록 Power BI를 구성하여 이러한 시각화를 활용할 수 있습니다.
Azure Monitor 내보내기 도구
다음 방법을 사용하여 Azure Monitor에서 다른 도구로 데이터를 내보낼 수 있습니다.
메트릭:메트릭용 REST API를 사용하여 Azure Monitor 메트릭 데이터베이스에서 메트릭 데이터를 추출합니다. API는 검색된 데이터를 구체화하는 필터 식을 지원합니다. 자세한 내용은 Azure Monitor REST API 참조를 참조하세요.
로그: REST API 또는 연결된 클라이언트 라이브러리를 사용합니다.
또 다른 옵션은 작업 영역 데이터 내보내기입니다.
Azure Monitor용 REST API를 시작하려면 Azure 모니터링 REST API 연습을 참조하세요.
Azure Portal의 개요 창을 통해 모니터링
AKS 클러스터 리소스에 대한 개요 창의 모니터링 탭은 Azure Portal에서 모니터링 데이터를 빠르게 볼 수 있는 방법을 제공합니다. 이 탭에는 노드 풀별로 구분된 클러스터의 공통 메트릭을 보여 주는 그래프가 포함되어 있습니다. 이러한 그래프 중 하나를 선택하면 메트릭 탐색기에서 데이터를 추가로 분석할 수 있습니다.
모니터링 탭에는 Prometheus용 Azure 관리 서비스 및 클러스터에 대한컨테이너 인사이트에 대한 링크도 포함되어 있습니다. 모니터링 탭에서 이러한 도구를 사용하도록 설정할 수 있습니다. 또한 클러스터에 대한 모니터링을 개선하기 위해 다른 기능을 권장하는 배너가 창 맨 위에 표시될 수도 있습니다.
팁
구독의 모든 AKS 클러스터에 대한 모니터링 기능에 액세스하려면 Azure Portal 홈페이지에서 Azure Monitor를 선택합니다.
Kusto 쿼리
KQL(Kusto 쿼리 언어)을 사용하여 Azure Monitor 로그/Log Analytics 저장소에서 모니터링 데이터를 분석할 수 있습니다.
중요합니다
포털의 서비스 메뉴에서 로그를 선택하면 쿼리 범위가 현재 서비스로 설정된 상태로 Log Analytics가 열립니다. 이 범위는 로그 쿼리에 해당 유형의 리소스의 데이터만 포함된다는 의미입니다. 다른 Azure 서비스의 데이터를 포함하는 쿼리를 실행하려면 Azure Monitor 메뉴에서 로그를 선택합니다. 자세한 내용은 Azure Monitor Log Analytics의 로그 쿼리 범위 및 시간 범위를 참조하세요.
모든 서비스에 대한 일반적인 쿼리 목록은 Log Analytics 쿼리 인터페이스를 참조하세요.
경고
Azure Monitor 경고는 모니터링 데이터에서 특정한 조건이 발견될 때 사용자에게 사전에 알립니다. 경고를 통해 사용자에게 알리기 전에 시스템 문제를 식별하고 해결할 수 있습니다. 자세한 내용은 Azure Monitor 경고을 참조하세요.
Azure 리소스에 대한 일반적인 경고의 소스에는 여러 가지가 있습니다. Azure 리소스에 대한 일반적인 경고의 예는 샘플 로그 경고 쿼리를 참조하세요. AMBA(Azure Monitor 기준 경고) 사이트는 중요한 플랫폼 메트릭 경고, 대시보드 및 지침을 구현하는 반자동 방법을 제공합니다. 이 사이트는 ALZ(Azure 랜딩 존)의 일부인 전체 서비스를 포함하여 지속적으로 확장되는 Azure 서비스 하위 집합에 적용됩니다.
일반 경고 스키마는 Azure Monitor 경고 알림의 소비를 표준화합니다. 자세한 내용은 일반 경고 스키마를 참조하세요.
경고 유형
Azure Monitor 데이터 플랫폼의 모든 메트릭 또는 로그 데이터 원본에 대해 경고할 수 있습니다. 모니터링하는 서비스 및 수집하는 모니터링 데이터에 따라 다양한 유형의 경고가 있습니다. 서로 다른 형식의 경고에는 다양한 장점과 단점이 있습니다. 자세한 내용은 올바른 모니터링 경고 유형 선택을 참조하세요.
다음 목록에서는 만들 수 있는 Azure Monitor 경고의 유형에 대해 설명합니다.
- 메트릭 경고는 정기적으로 리소스 메트릭을 평가합니다. 메트릭은 플랫폼 메트릭, 사용자 지정 메트릭, 메트릭으로 변환된 Azure Monitor의 로그 또는 Application Insights 메트릭일 수 있습니다. 메트릭 경고는 여러 조건 및 동적 임계값을 적용할 수도 있습니다.
- 로그 경고를 사용하면 사용자가 Log Analytics 쿼리를 사용하여 미리 정의된 빈도로 리소스 로그를 평가할 수 있습니다.
- 활동 로그 경고는 정의된 조건과 일치하는 새 활동 로그 이벤트가 발생할 때 트리거됩니다. Resource Health 경고 및 Service Health 경고는 서비스 및 리소스 상태를 보고하는 활동 로그 경고입니다.
일부 Azure 서비스는 스마트 검색 경고, Prometheus 경고 또는 권장 경고 규칙도 지원합니다.
일부 서비스의 경우 동일한 Azure 지역에 존재하는 동일한 형식의 여러 리소스에 동일한 메트릭 경고 규칙을 적용하여 대규모로 모니터링할 수 있습니다. 모니터링되는 각 리소스에 대해 개별 알림이 전송됩니다. 지원되는 Azure 서비스 및 클라우드에 대한 내용은 하나의 경고 규칙을 사용하여 여러 리소스 모니터링을 참조하세요.
권장 경고 규칙
일부 Azure 서비스의 경우 권장되는 기본 경고 규칙을 사용하도록 설정할 수 있습니다.
시스템은 다음을 기반으로 권장되는 경고 규칙 목록을 컴파일합니다.
- 리소스를 모니터링하는 데 중요한 신호 및 임계값에 대한 리소스 공급자의 지식.
- 이 리소스에 대해 고객이 일반적으로 경고하는 내용을 알려 주는 데이터.
참고
권장 경고 규칙은 다음에 대해 사용할 수 있습니다.
- 가상 머신
- AKS(Azure Kubernetes Service) 리소스
- Log Analytics 작업 영역
Prometheus 메트릭 기반 경고
클러스터 에 대해 Prometheus 메트릭에 대한 관리 서비스 컬렉션을 사용하도록 설정 하면 Prometheus 경고 규칙에 권장되는 관리 서비스 컬렉션을 다운로드할 수 있습니다.
다운로드에는 다음 규칙이 포함됩니다.
Level | 경고 |
---|---|
클러스터 수준 | KubeCPUQuotaOvercommit KubeMemoryQuotaOvercommit KubeContainerOOMKilledCount KubeClientErrors KubePersistentVolumeFillingUp KubePersistentVolumeInodesFillingUp KubePersistentVolumeErrors KubeContainerWaiting KubeDaemonSetNotScheduled KubeDaemonSetMisScheduled KubeQuotaAlmostFull |
노드 수준 | KubeNodeUnreachable KubeNodeReadinessFlapping |
Pod 수준 | KubePVUsageHigh KubeDeploymentReplicasMismatch KubeStatefulSetReplicasMismatch KubeHpaReplicasMismatch KubeHpaMaxedOut KubePodCrashLooping KubeJobStale KubePodContainerRestart KubePodReadyStateLow KubePodFailedState KubePodNotReadyByController KubeStatefulSetGenerationMismatch KubeJobFailed KubeContainerAverageCPUHigh KubeContainerAverageMemoryHigh KubeletPodStartUpLatencyHigh |
자세한 내용은 Container Insights에서 로그 경고 만들기 및 Container Insights의 쿼리 로그를 참조하세요.
로그 경고는 다양한 시나리오를 모니터링하는 데 도움이 되는 두 가지 유형의 정보를 측정할 수 있습니다.
- 결과 수: 쿼리에서 반환된 행 수를 계산합니다. 이 정보를 사용하여 Windows 이벤트 로그, syslog 이벤트 및 애플리케이션 예외와 같은 이벤트를 사용할 수 있습니다.
- 값 계산: 숫자 열을 기반으로 계산합니다. 이 정보를 사용하여 다양한 리소스를 포함합니다. 예를 들어, CPU 백분율이 있습니다.
대부분의 로그 쿼리는 연산자를 DateTime
사용하고 now
1시간 뒤로 이동하여 현재 시간과 값을 비교합니다. 로그 기반 경고를 빌드하는 방법을 알아보려면 Container Insights에서 로그 경고 만들기를 참조하세요.
AKS 경고 규칙
다음 표에는 AKS에 대한 몇 가지 제안된 경고 규칙이 나열되어 있습니다. 이러한 경고는 예제일 뿐입니다. AKS 모니터링 데이터 참조에 나열된 메트릭, 로그 항목 또는 활동 로그 항목에 대한 경고를 설정할 수 있습니다.
조건 | 설명 |
---|---|
CPU 사용 비율>95 | 모든 노드의 평균 CPU 사용량이 임계값을 초과하면 경고합니다. |
메모리 작업 집합 백분율>100 | 모든 노드의 평균 작업 집합이 임계값을 초과하면 경고합니다. |
Advisor 권장 사항
일부 서비스의 경우 리소스 작업 중에 위험한 상태 또는 임박한 변경 사항이 발생하는 경우 해당 서비스에서 포털의 개요 페이지에 경고가 표시됩니다. 왼쪽 메뉴의 모니터링 아래 Advisor 권장 사항에서 해당 경고에 대한 자세한 정보와 권장 수정 사항을 찾을 수 있습니다. 정상적으로 작동하는 중에는 Advisor 권장 사항이 표시되지 않습니다.
Azure Advisor에 대한 자세한 내용은 Azure Advisor 개요를 참조하세요.
참고
서비스에서 실행되는 애플리케이션을 만들거나 실행하는 경우 Azure Monitor 애플리케이션 정보는 더 많은 형식의 경고를 제공할 수 있습니다.
노드 네트워크 메트릭
노드 네트워크 메트릭은 정상적이고 성능이 좋은 Kubernetes 클러스터를 유지하는 데 매우 중요합니다. 네트워크 트래픽에 대한 데이터를 수집하고 분석하여 클러스터의 작업에 대한 중요한 인사이트를 얻고 중단 또는 성능 손실로 이어지기 전에 잠재적인 문제를 식별할 수 있습니다.
Kubernetes 버전 1.29 이상에서는 Azure Monitor가 사용하도록 설정된 모든 클러스터에 대해 노드 네트워크 메트릭이 기본적으로 사용하도록 설정됩니다.
다음 노드 네트워크 메트릭은 기본적으로 사용하도록 설정되며 노드당 집계됩니다. 모든 메트릭에는 레이블 클러스터 및 인스턴스(노드 이름)가 포함됩니다. Azure Managed Prometheus>Kubernetes> 네트워킹 클러스터에서 Managed Grafana 대시보드를 사용하여 이러한 메트릭을> 쉽게 볼 수있습니다.
노드 수준 메트릭
다음 메트릭은 노드별로 집계됩니다.
Node-Level 메트릭
모든 메트릭에는 다음 레이블이 포함됩니다.
cluster
-
instance
(노드 이름)
Cilium 데이터 평면 시나리오의 경우 Container Network Observability 기능은 Linux에 대해서만 메트릭을 제공합니다. 현재 Windows는 Container Network Observability 메트릭에 대해 지원되지 않습니다.
Cilium은 Container Network Observability에서 사용하는 몇 가지 메트릭을 노출합니다.
지표 이름 | 설명 | 추가 레이블 | 리눅스 | 윈도우즈 |
---|---|---|---|---|
cilium_forward_count_total | 전달된 총 패킷 수 | direction |
✅ | ❌ |
cilium_forward_bytes_total | 전달된 총 바이트 수 | direction |
✅ | ❌ |
cilium_drop_count_total | 총 삭제된 패킷 수 |
direction , reason |
✅ | ❌ |
cilium_drop_bytes_total | 총 삭제 바이트 수 |
direction , reason |
✅ | ❌ |
노드 네트워크 메트릭 컬렉션 사용 안 림
해당 노드에 레이블 networking.azure.com/node-network-metrics=disabled
을 추가하여 특정 노드에서 네트워크 메트릭 컬렉션을 사용하지 않도록 설정할 수 있습니다.
참고
망토에는 관용이 operator: "Exists"
effect: NoSchedule
있으므로 NoSchedule 오염을 우회합니다. 따라서 레이블은 예약을 제어하기 위해 taint 대신 사용됩니다.
클러스터가 노드를 자동 프로비전/자동 크기 조정하는 경우 사용자는 각 노드에서 플래그를 수동으로 사용하도록 설정해야 합니다.
중요합니다
클러스터에서 ACNS(Advanced Container Networking Services)를 사용하도록 설정한 경우에는 이 기능을 적용할 수 없습니다.
노드에서 메트릭 컬렉션을 사용하지 않도록 설정하려면 다음을 수행합니다.
kubectl label node <node-name> networking.azure.com/node-network-metrics=disabled
자세한 Pod 수준 및 DNS 메트릭은 고급 컨테이너 네트워킹 서비스를 참조하세요.
관련 콘텐츠
- AKS에 대해 생성된 메트릭, 로그 및 기타 중요한 값에 대한 참조는 AKS 모니터링 데이터 참조를 참조하세요.
- Azure 리소스 모니터링에 대한 일반적인 내용은 Azure Monitor를 사용하여 Azure 리소스 모니터링을 참조하세요.
Azure Kubernetes Service