Azure Data Studio의 SQL Server 빅 데이터 클러스터에서 Spark 작업 제출

적용 대상: SQL Server 2019(15.x)

빅 데이터 클러스터의 주요 시나리오 중 하나는 SQL Server용 Spark 작업을 제출하는 기능입니다. Spark 작업 제출 기능을 사용하면 SQL Server 2019 빅 데이터 클러스터에 대한 참조가 있는 로컬 Jar 또는 Py 파일을 제출할 수 있습니다. 또한 이미 HDFS 파일 시스템에 있는 Jar 또는 Py 파일을 실행할 수 있습니다.

Prerequisites

• SQL Server 2019 빅 데이터 도구:

  • Azure Data Studio
  • SQL Server 2019 확장
  • kubectl

• Azure Data Studio를 빅 데이터 클러스터의 HDFS/Spark 게이트웨이에 연결합니다.

Spark 작업 제출 대화 상자 열기

Spark 작업 제출 대화 상자를 여는 방법에는 여러 가지가 있습니다. 이 방법에는 대시보드, 개체 탐색기의 상황에 맞는 메뉴 및 명령 팔레트가 포함됩니다.

• Spark 작업 제출 대화 상자를 열려면 대시보드에서 새 Spark 작업을 클릭합니다.

  

• 또는 개체 탐색기에서 클러스터를 마우스 오른쪽 단추로 클릭하고 상황에 맞는 메뉴에서 Spark 작업 제출 을 선택합니다.

  

• Jar/Py 필드가 미리 채워진 Spark 작업 제출 대화 상자를 열려면 개체 탐색기에서 Jar/Py 파일을 마우스 오른쪽 단추로 클릭하고 상황에 맞는 메뉴에서 Spark 작업 제출 을 선택합니다.

  

• Ctrl+Shift+P(Windows) 및 Cmd+Shift+P(Mac)를 입력하여 명령 팔레트에서 Spark 작업 제출을 사용합니다.

  

Spark 작업 제출

Spark 작업 제출 대화 상자는 다음과 같이 표시됩니다. 작업 이름, JAR/Py 파일 경로, 기본 클래스 및 기타 필드를 입력합니다. Jar/Py 파일 원본은 로컬 또는 HDFS에서 온 것일 수 있습니다. Spark 작업에 참조 Jar, Py 파일 또는 추가 파일이 있는 경우 ADVANCED 탭을 클릭하고 해당 파일 경로를 입력합니다. 제출을 클릭하여 Spark 작업을 제출합니다.

Spark 작업 제출 모니터링

Spark 작업이 제출되면 Spark 작업 제출 및 실행 상태 정보가 왼쪽의 작업 기록에 표시됩니다. 진행률 및 로그에 대한 세부 정보도 아래쪽의 출력 창에 표시됩니다.

• Spark 작업이 진행 중이면 작업 기록 패널과 출력 창이 진행률과 함께 새로 고쳐집니다.

  

• Spark 작업이 성공적으로 완료되면 Spark UI 및 Yarn UI 링크가 출력 창에 표시됩니다. 자세한 내용을 보려면 링크를 클릭합니다.

  

Next steps

SQL Server 빅 데이터 클러스터 및 관련 시나리오에 대한 자세한 내용은 SQL Server 빅 데이터 클러스터 소개를 참조하세요.