Kubernetes에 SQL Server 빅 데이터 클러스터를 배포하는 방법

적용 대상: SQL Server 2019(15.x)

SQL Server 빅 데이터 클러스터는 Kubernetes 클러스터에 Docker 컨테이너로 배포됩니다. 다음은 설정 및 구성 단계에 대한 개요입니다.

• 단일 VM, VM 클러스터, AKS(Azure Kubernetes Service), Red Hat OpenShift 또는 ARO(Azure Red Hat OpenShift)에서 Kubernetes 클러스터를 설정합니다.
• 클라이언트 컴퓨터에 클러스터 구성 도구 Azure Data CLI(azdata)를 설치합니다.
• Kubernetes 클러스터에 SQL Server 빅 데이터 클러스터를 배포합니다.

테스트된 구성

SQL Server 빅 데이터 클러스터 배포에 대해 유효성이 검사된 다양한 Kubernetes 플랫폼의 전체 목록은 테스트된 구성 을 참조하세요.

SQL Server 에디션

Kubernetes

Kubernetes 클러스터 설정

위의 필수 조건을 충족하는 Kubernetes 클러스터가 이미 있는 경우 배포 단계로 직접 건너뛸 수 있습니다. 이 섹션에서는 Kubernetes 개념에 대한 기본적인 이해를 가정합니다. Kubernetes에 대한 자세한 내용은 Kubernetes 설명서를 참조하세요.

다음과 같은 방법으로 Kubernetes를 배포하도록 선택할 수 있습니다.

Kubernetes 구성 확인

kubectl 명령을 실행하여 클러스터 구성을 봅니다. kubectl이 올바른 클러스터 컨텍스트를 가리키는지 확인합니다.

kubectl config view

Kubernetes 클러스터를 구성한 후에는 새 SQL Server 빅 데이터 클러스터의 배포를 진행할 수 있습니다. 이전 릴리스에서 업그레이드하는 경우 SQL Server 빅 데이터 클러스터를 업그레이드하는 방법을 참조하세요.

스토리지가 구성되었는지 확인합니다.

대부분의 빅 데이터 클러스터 배포에는 영구 스토리지가 있어야 합니다. 이때 배포하기 전에 Kubernetes 클러스터에 영구 스토리지를 제공하는 방법에 대한 계획이 있는지 확인해야 합니다.

• AKS에 배포하는 경우 스토리지 설정이 필요하지 않습니다. AKS는 동적 프로비저닝이 포함된 기본 제공 스토리지 클래스를 제공합니다. 배포 구성 파일에서 스토리지 클래스(default 또는 managed-premium)를 사용자 지정할 수 있습니다. 기본 제공 프로필은 스토리지 클래스를 default 사용합니다.
• kubeadm을(를) 사용하여 배포한 Kubernetes 클러스터에 배포하는 경우, 원하는 규모의 클러스터에 사용할 수 있도록 충분한 스토리지가 구성되고 확보되었는지 확인해야 합니다. 스토리지 사용 방법을 사용자 지정하려면 계속하기 전에 이 작업을 수행해야 합니다. Kubernetes에서 SQL Server 빅 데이터 클러스터를 사용한 데이터 지속성을 참조하세요.

SQL Server 2019 빅 데이터 도구 설치

SQL Server 2019 빅 데이터 클러스터를 배포하기 전에 먼저 빅 데이터 도구를 설치합니다.

• Azure Data CLI(azdata)
• kubectl
• Azure Data Studio
• Azure Data Studio용 데이터 가상화 확장
• AKS에 배포하는 경우 Azure CLI

배포 개요

대부분의 빅 데이터 클러스터 설정은 JSON 배포 구성 파일에 정의됩니다. 생성된 kubeadm AKS 및 Kubernetes 클러스터에 대한 기본 배포 프로필을 사용하거나 설치 중에 사용할 고유한 배포 구성 파일을 사용자 지정할 수 있습니다. 보안상의 이유로 인증 설정은 환경 변수를 통해 전달됩니다.

다음 섹션에서는 빅 데이터 클러스터 배포를 구성하는 방법에 대한 자세한 내용과 일반적인 사용자 지정 예제를 제공합니다. 또한 예를 들어 VS Code와 같은 편집기를 사용하여 항상 사용자 지정 배포 구성 파일을 편집할 수 있습니다.

기본 구성

빅 데이터 클러스터 배포 옵션은 JSON 구성 파일에 정의됩니다. Azure Data CLI(azdata)에서 사용할 수 있는 기본 제공 배포 프로필에서 클러스터 배포 사용자 지정을 시작할 수 있습니다.

다음 명령을 실행하여 사용 가능한 템플릿을 찾습니다.

azdata bdc config list -o table 

다음 템플릿은 SQL Server 2019 CU5를 기준으로 사용할 수 있습니다.

를 실행 azdata bdc create하여 빅 데이터 클러스터를 배포할 수 있습니다. 그러면 기본 구성 중 하나를 선택하라는 메시지가 표시되고 배포를 안내합니다.

Azure Data CLI(azdata)를 처음 실행할 때 --accept-eula=yes를 포함하여 최종 사용자 라이선스 계약(EULA)을 수락해야 합니다.

azdata bdc create --accept-eula=yes

이 시나리오에서는 암호와 같은 기본 구성의 일부가 아닌 설정을 묻는 메시지가 표시됩니다.

사용자 지정 구성

실행하려는 워크로드를 수용하도록 배포를 사용자 지정할 수도 있습니다. 배포 후 빅 데이터 클러스터 서비스의 크기 조정(복제본 수) 또는 스토리지 설정을 변경할 수 없으므로 용량 문제를 방지하기 위해 배포 구성을 신중하게 계획해야 합니다. 배포를 사용자 지정하려면 다음 단계를 수행합니다.

1. Kubernetes 환경과 일치하는 표준 배포 프로필 중 하나로 시작합니다. "명령어 azdata bdc config list를 사용하여 목록을 나열할 수 있습니다."

   azdata bdc config list
   

2. 배포를 사용자 지정하려면 azdata bdc config init 명령을 사용하여 배포 프로필의 복사본을 만드십시오. 예를 들어 다음 명령은 대상 aks-dev-test디렉터리에 배포 구성 파일의 custom 복사본을 만듭니다.

   azdata bdc config init --source aks-dev-test --target custom
   

   팁 (조언)

   --target는 매개 변수에 bdc.json 따라 구성 파일을 control.json--source포함하는 디렉터리를 지정합니다.

3. 배포 구성 프로필에서 설정을 사용자 지정하려면 VS Code와 같은 JSON 파일을 편집하는 데 적합한 도구에서 배포 구성 파일을 편집할 수 있습니다. 스크립트된 자동화의 경우 명령을 사용하여 azdata bdc config 사용자 지정 배포 프로필을 편집할 수도 있습니다. 예를 들어 다음 명령은 사용자 지정 배포 프로필을 변경하여 배포된 클러스터의 이름을 기본(mssql-cluster)에서 다음으로 test-cluster변경합니다.

   azdata bdc config replace --config-file custom/bdc.json --json-values "metadata.name=test-cluster"
   

   팁 (조언)

   명령에 대한 --name 매개 변수 azdata create bdc 를 사용하여 배포 시 클러스터 이름을 전달할 수도 있습니다. 명령의 매개 변수는 구성 파일의 값보다 우선합니다.

   JSON 경로를 찾는 데 유용한 도구는 JSONPath Online 평가기입니다.

   키-값 쌍을 전달하는 것 외에도 인라인 JSON 값을 제공하거나 JSON 패치 파일을 전달할 수도 있습니다. 자세한 내용은 빅 데이터 클러스터 리소스 및 서비스에 대한 배포 설정 구성을 참조하세요.

4. 사용자 지정 구성 파일을 .에 전달합니다 azdata bdc create. 필요한 환경 변수를 설정해야 합니다. 그렇지 않으면 터미널에서 값을 묻는 메시지를 표시합니다.

   azdata bdc create --config-profile custom --accept-eula yes
   

배포 구성 파일의 구조에 대한 자세한 내용은 배포 구성 파일 참조를 참조하세요. 자세한 구성 예제는 빅 데이터 클러스터에 대한 배포 설정 구성을 참조하세요.

환경 변수

다음 환경 변수는 배포 구성 파일에 저장되지 않은 보안 설정에 사용됩니다. 자격 증명을 제외한 Docker 설정은 구성 파일에서 설정할 수 있습니다.

이러한 환경 변수는 호출 azdata bdc create하기 전에 설정해야 합니다. 변수가 설정되지 않은 경우 해당 변수에 대한 메시지가 표시됩니다.

다음 예제에서는 Linux(bash) 및 Windows(PowerShell)에 대한 환경 변수를 설정하는 방법을 보여 줍니다.

export AZDATA_USERNAME=admin
export AZDATA_PASSWORD=<password>
export ACCEPT_EULA=yes

SET AZDATA_USERNAME=admin
SET AZDATA_PASSWORD=<password>

환경 변수를 설정한 후 실행 azdata bdc create 하여 배포를 트리거해야 합니다. 이 예제에서는 위에서 만든 클러스터 구성 프로필을 사용합니다.

azdata bdc create --config-profile custom --accept-eula yes

다음 지침에 유의하세요.

• 특수 문자가 포함된 경우 암호를 큰따옴표로 래핑해야 합니다. 원하는 대로 AZDATA_PASSWORD을/를 설정할 수 있지만, 암호는 충분히 복잡하게 만들고 !, &, ' 문자는 사용하지 마십시오. 큰따옴표 구분 기호는 bash 명령에서만 작동합니다.
• SQL Server 마스터 인스턴스의 시스템 관리자 역할을 하는 AZDATA_USERNAME 로그인은 설치 중에 생성됩니다. SQL Server 컨테이너 AZDATA_PASSWORD 를 만든 후에는 컨테이너에서 실행 echo $AZDATA_PASSWORD 하여 지정한 환경 변수를 검색할 수 있습니다. 보안을 위해 암호를 모범 사례로 변경합니다.

사용자 참여가 필요 없는 무인 설치

무인 배포의 경우 필요한 모든 환경 변수를 설정하고, 구성 파일을 사용하고, 매개 변수를 azdata bdc create 사용하여 명령을 호출 --accept-eula yes 해야 합니다. 이전 섹션의 예제에서는 무인 설치 구문을 보여 줍니다.

배포 모니터링

클러스터 부트스트랩 중에 클라이언트 명령 창은 배포 상태를 반환합니다. 배포 프로세스 중에 컨트롤러 포드를 기다리고 있는 여러 메시지가 표시됩니다.

Waiting for cluster controller to start.

15~30분 후에 컨트롤러 Pod가 실행 중이라는 알림을 받아야 합니다.

Cluster controller endpoint is available at 11.111.111.11:30080.
Cluster control plane is ready.

배포가 완료되면 출력에서 성공에 대해 알 수 있습니다.

Cluster deployed successfully.

엔드포인트 검색

배포 스크립트가 성공적으로 완료되면 다음 단계를 사용하여 빅 데이터 클러스터에 대한 외부 엔드포인트의 주소를 가져올 수 있습니다.

1. 배포 후 배포 표준 출력에서 또는 다음 kubectl 명령의 EXTERNAL-IP 출력을 확인하여 컨트롤러 엔드포인트의 IP 주소를 찾습니다.

   kubectl get svc controller-svc-external -n <your-big-data-cluster-name>
   

   팁 (조언)

   배포하는 동안 기본 이름을 변경하지 않은 경우 이전 명령을 사용합니다 -n mssql-cluster . mssql-cluster 는 빅 데이터 클러스터의 기본 이름입니다.

2. azdata 로그인을 사용하여 빅 데이터 클러스터에 로그인합니다. 매개 변수를 --endpoint 컨트롤러 엔드포인트의 외부 IP 주소로 설정합니다.

   azdata login --endpoint https://<ip-address-of-controller-svc-external>:30080 --username <user-name>
   

   배포하는 동안 빅 데이터 클러스터 관리자(AZDATA_USERNAME 및 AZDATA_PASSWORD)에 대해 구성한 사용자 이름 및 암호를 지정합니다.

   팁 (조언)

   Kubernetes 클러스터 관리자이고 클러스터 구성 파일(kube 구성 파일)에 액세스할 수 있는 경우 대상 Kubernetes 클러스터를 가리키도록 현재 컨텍스트를 구성할 수 있습니다. 이 경우 azdata login -n <namespaceName>가 빅 데이터 클러스터 이름이면 namespace로 로그인할 수 있습니다. 로그인 명령 내에서 지정하지 않으면 자격 증명을 입력하라는 메시지가 표시됩니다.

3. azdata bdc 엔드포인트 목록을 실행하여 각 엔드포인트 및 해당 IP 주소 및 포트 값에 대한 설명이 포함된 목록을 가져옵니다.

   azdata bdc endpoint list -o table
   

   다음 목록에는 이 명령의 샘플 출력이 나와 있습니다.

   Description                                             Endpoint                                                   Ip              Name               Port    Protocol
   ------------------------------------------------------  ---------------------------------------------------------  --------------  -----------------  ------  ----------
   Gateway to access HDFS files, Spark                     https://11.111.111.111:30443                               11.111.111.111  gateway            30443   https
   Spark Jobs Management and Monitoring Dashboard          https://11.111.111.111:30443/gateway/default/sparkhistory  11.111.111.111  spark-history      30443   https
   Spark Diagnostics and Monitoring Dashboard              https://11.111.111.111:30443/gateway/default/yarn          11.111.111.111  yarn-ui            30443   https
   Application Proxy                                       https://11.111.111.111:30778                               11.111.111.111  app-proxy          30778   https
   Management Proxy                                        https://11.111.111.111:30777                               11.111.111.111  mgmtproxy          30777   https
   Log Search Dashboard                                    https://11.111.111.111:30777/kibana                        11.111.111.111  logsui             30777   https
   Metrics Dashboard                                       https://11.111.111.111:30777/grafana                       11.111.111.111  metricsui          30777   https
   Cluster Management Service                              https://11.111.111.111:30080                               11.111.111.111  controller         30080   https
   SQL Server Master Instance Front-End                    11.111.111.111,31433                                       11.111.111.111  sql-server-master  31433   tcp
   HDFS File System Proxy                                  https://11.111.111.111:30443/gateway/default/webhdfs/v1    11.111.111.111  webhdfs            30443   https
   Proxy for running Spark statements, jobs, applications  https://11.111.111.111:30443/gateway/default/livy/v1       11.111.111.111  livy               30443   https
   

다음 kubectl 명령을 실행하여 클러스터에 대해 배포된 모든 서비스 엔드포인트를 가져올 수도 있습니다.

kubectl get svc -n <your-big-data-cluster-name>

클러스터 상태 확인

배포 후 azdata bdc status show 명령을 사용하여 클러스터의 상태를 확인할 수 있습니다.

azdata bdc status show

다음은 이 명령의 샘플 출력을 보여줍니다.

Bdc: ready                                                                                                                                                                                                          Health Status:  healthy
 ===========================================================================================================================================================================================================================================
 Services: ready                                                                                                                                                                                                     Health Status:  healthy
 -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
 Servicename    State    Healthstatus    Details

 sql            ready    healthy         -
 hdfs           ready    healthy         -
 spark          ready    healthy         -
 control        ready    healthy         -
 gateway        ready    healthy         -
 app            ready    healthy         -


 Sql Services: ready                                                                                                                                                                                                 Health Status:  healthy
 -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
 Resourcename    State    Healthstatus    Details

 master          ready    healthy         StatefulSet master is healthy
 compute-0       ready    healthy         StatefulSet compute-0 is healthy
 data-0          ready    healthy         StatefulSet data-0 is healthy
 storage-0       ready    healthy         StatefulSet storage-0 is healthy


 Hdfs Services: ready                                                                                                                                                                                                Health Status:  healthy
 -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
 Resourcename    State    Healthstatus    Details

 nmnode-0        ready    healthy         StatefulSet nmnode-0 is healthy
 storage-0       ready    healthy         StatefulSet storage-0 is healthy
 sparkhead       ready    healthy         StatefulSet sparkhead is healthy


 Spark Services: ready                                                                                                                                                                                               Health Status:  healthy
 -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
 Resourcename    State    Healthstatus    Details

 sparkhead       ready    healthy         StatefulSet sparkhead is healthy
 storage-0       ready    healthy         StatefulSet storage-0 is healthy


 Control Services: ready                                                                                                                                                                                             Health Status:  healthy
 -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
 Resourcename    State    Healthstatus    Details

 controldb       ready    healthy         -
 control         ready    healthy         -
 metricsdc       ready    healthy         DaemonSet metricsdc is healthy
 metricsui       ready    healthy         ReplicaSet metricsui is healthy
 metricsdb       ready    healthy         StatefulSet metricsdb is healthy
 logsui          ready    healthy         ReplicaSet logsui is healthy
 logsdb          ready    healthy         StatefulSet logsdb is healthy
 mgmtproxy       ready    healthy         ReplicaSet mgmtproxy is healthy


 Gateway Services: ready                                                                                                                                                                                             Health Status:  healthy
 -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
 Resourcename    State    Healthstatus    Details

 gateway         ready    healthy         StatefulSet gateway is healthy


 App Services: ready                                                                                                                                                                                                 Health Status:  healthy
 -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
 Resourcename    State    Healthstatus    Details

 appproxy        ready    healthy         ReplicaSet appproxy is healthy

다음 명령을 사용하여 더 자세한 상태를 가져올 수도 있습니다.

• azdata bdc control status show 명령은 제어 관리 서비스와 관련된 모든 구성 요소의 상태를 반환합니다.

azdata bdc control status show

샘플 출력:

Control: ready                                                                                                                                                                                                      Health Status:  healthy
 ===========================================================================================================================================================================================================================================
 Resources: ready                                                                                                                                                                                                    Health Status:  healthy
 -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
 Resourcename    State    Healthstatus    Details

 controldb       ready    healthy         -
 control         ready    healthy         -
 metricsdc       ready    healthy         DaemonSet metricsdc is healthy
 metricsui       ready    healthy         ReplicaSet metricsui is healthy
 metricsdb       ready    healthy         StatefulSet metricsdb is healthy
 logsui          ready    healthy         ReplicaSet logsui is healthy
 logsdb          ready    healthy         StatefulSet logsdb is healthy
 mgmtproxy       ready    healthy         ReplicaSet mgmtproxy is healthy

• azdata bdc sql status show 는 SQL Server 서비스가 있는 모든 리소스의 상태를 반환합니다.

azdata bdc sql status show

샘플 출력:

Sql: ready                                                                                                                                                                                                          Health Status:  healthy
 ===========================================================================================================================================================================================================================================
 Resources: ready                                                                                                                                                                                                    Health Status:  healthy
 -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
 Resourcename    State    Healthstatus    Details

 master          ready    healthy         StatefulSet master is healthy
 compute-0       ready    healthy         StatefulSet compute-0 is healthy
 data-0          ready    healthy         StatefulSet data-0 is healthy
 storage-0       ready    healthy         StatefulSet storage-0 is healthy

Azure Data CLI(azdata)를 사용하는 것 외에도 Azure Data Studio를 사용하여 엔드포인트와 상태 정보를 모두 찾을 수 있습니다. Azure Data CLI(azdata) 및 Azure Data Studio를 사용하여 클러스터 상태를 보는 방법에 대한 자세한 내용은 빅 데이터 클러스터의 상태를 보는 방법을 참조하세요.

클러스터에 연결

빅 데이터 클러스터에 연결하는 방법에 대한 자세한 내용은 Azure Data Studio를 사용하여 SQL Server 빅 데이터 클러스터에 연결을 참조하세요.

다음 단계

SQL Server 빅 데이터 클러스터 배포에 대한 자세한 내용은 다음 리소스를 참조하세요.

• 빅 데이터 클러스터에 대한 배포 설정 구성
• SQL Server 빅 데이터 클러스터의 오프라인 배포 수행
• 워크샵: Microsoft SQL Server 빅 데이터 클러스터 아키텍처
• 빅 데이터 클러스터 FAQ