Visual Studio Code용 Azure Data Lake Tools 사용

이 문서에서는 AZURE Data Lake Tools for Visual Studio Code(VS Code)를 사용하여 U-SQL 스크립트를 만들고, 테스트하고, 실행하는 방법을 알아봅니다. 이 정보는 다음 비디오에서도 다룹니다.

필수 조건

VS Code용 Azure Data Lake Tools는 Windows, Linux 및 macOS를 지원합니다. U-SQL 로컬 실행 및 로컬 디버그가 Windows에서만 작동합니다.

• Visual Studio Code

macOS 및 Linux의 경우:

• .NET 5.0 SDK
• Mono 5.2.x

Azure Data Lake Tools 설치

필수 구성 요소를 설치한 후 VS Code용 Azure Data Lake Tools를 설치할 수 있습니다.

Azure Data Lake Tools를 설치하려면

1. Visual Studio Code를 엽니다.

2. 왼쪽 창에서 확장을 선택합니다. 검색 상자에 Azure Data Lake Tools 를 입력합니다.

3. Azure Data Lake Tools 옆에 설치를 선택합니다.

   

   몇 초 후에 설치 단추가 다시 로드되도록 변경됩니다.

4. 다시 로드를 선택하여 Azure Data Lake Tools 확장을 활성화합니다.

5. 창 다시 로드를 선택하여 확인하세요. 확장 창에서 Azure Data Lake Tools 를 볼 수 있습니다 .

Azure Data Lake Tools 활성화

.usql 파일을 만들거나 기존 .usql 파일을 열어 확장을 활성화합니다.

U-SQL과 함께 작업하다

U-SQL을 사용하려면 U-SQL 파일 또는 폴더를 열어야 합니다.

샘플 스크립트를 열려면

명령 팔레트(Ctrl+Shift+P)를 열고 ADL: 샘플 스크립트 열기를 입력합니다. 이 샘플의 다른 인스턴스가 열립니다. 이 인스턴스에서 스크립트를 편집, 구성 및 제출할 수도 있습니다.

U-SQL 프로젝트에 대한 폴더를 열려면

1. Visual Studio Code에서 파일 메뉴를 선택한 다음 폴더 열기를 선택합니다.

2. 폴더를 지정한 다음 폴더 선택합니다.

3. 파일메뉴를 선택한 다음 새로 만들기를 선택합니다. 제목 없는-1 파일이 프로젝트에 추가됩니다.

4. Untitled-1 파일에 다음 코드를 입력합니다.

   @departments  =
       SELECT * FROM
           (VALUES
               (31,    "Sales"),
               (33,    "Engineering"),
               (34,    "Clerical"),
               (35,    "Marketing")
           ) AS
                 D( DepID, DepName );
   

   OUTPUT @departments을 "/Output/departments.csv"로 출력하고 Outputters.Csv()를 사용하십시오.

   스크립트는 /output 폴더에 포함된 일부 데이터가 포함된 departments.csv 파일을 만듭니다.

5. 파일을 열린 폴더에 myUSQL.usql 로 저장합니다.

U-SQL 스크립트를 컴파일하려면

1. Ctrl+Shift+P를 선택하여 명령 팔레트를 엽니다.
2. ADL: 컴파일 스크립트를 입력합니다. 컴파일 결과가 출력 창에 나타납니다. 스크립트 파일을 마우스 오른쪽 단추로 클릭한 다음 ADL: 스크립트 컴파일 을 선택하여 U-SQL 작업을 컴파일할 수도 있습니다. 컴파일 결과가 출력 창에 나타납니다.

U-SQL 스크립트를 제출하려면

1. Ctrl+Shift+P를 선택하여 명령 팔레트를 엽니다.
2. ADL: 작업 제출 입력 스크립트 파일을 마우스 오른쪽 단추로 클릭한 다음 ADL: 작업 제출을 선택할 수도 있습니다.

U-SQL 작업을 제출하면 VS Code의 출력 창에 제출 로그가 표시됩니다. 작업 보기가 오른쪽 창에 나타납니다. 제출에 성공하면 작업 URL도 나타납니다. 웹 브라우저에서 작업 URL을 열어 실시간 작업 상태를 추적할 수 있습니다.

작업 보기의 요약 탭에서 작업 세부 정보를 볼 수 있습니다. 주 함수에는 스크립트를 다시 제출하고, 스크립트를 복제하고, 포털에서 여는 것이 포함됩니다. 작업 보기의 데이터 탭에서 입력 파일, 출력 파일 및 리소스 파일을 참조할 수 있습니다. 파일을 로컬 컴퓨터에 다운로드할 수 있습니다.

기본 컨텍스트를 설정하려면

파일에 대한 매개 변수를 개별적으로 설정하지 않은 경우 이 설정을 모든 스크립트 파일에 적용하도록 기본 컨텍스트를 설정할 수 있습니다.

1. Ctrl+Shift+P를 선택하여 명령 팔레트를 엽니다.

2. ADL을 입력합니다. 기본 컨텍스트를 설정합니다. 또는 스크립트 편집기를 마우스 오른쪽 단추로 클릭하고 ADL: 기본 컨텍스트를 선택합니다.

3. 원하는 계정, 데이터베이스 및 스키마를 선택합니다. 설정은 xxx_settings.json 구성 파일에 저장됩니다.

   

스크립트 매개 변수를 설정하려면

1. Ctrl+Shift+P를 선택하여 명령 팔레트를 엽니다.

2. ADL을 입력합니다. 스크립트 매개 변수를 설정합니다.

3. xxx_settings.json 파일은 다음 속성을 사용하여 열립니다.

   • 계정: U-SQL 작업을 컴파일하고 실행하는 데 필요한 Azure 구독의 Azure Data Lake Analytics 계정입니다. U-SQL 작업을 컴파일하고 실행하기 전에 컴퓨터 계정을 구성해야 합니다.
   • 데이터베이스: 계정 아래의 데이터베이스입니다. 기본값은 master입니다.
   • 스키마: 데이터베이스 아래의 스키마입니다. 기본값은 dbo입니다.
   • optionalSettings:
     • priority: 우선 순위 범위는 1에서 1000까지이며, 우선 순위는 1입니다. 기본값은 1000입니다.
     • degreeOfParallelism: 병렬 처리 범위는 1에서 150까지입니다. 기본값은 Azure Data Lake Analytics 계정에서 허용되는 최대 병렬 처리입니다.

   

Git 무시를 설정하려면

1. Ctrl+Shift+P를 선택하여 명령 팔레트를 엽니다.

2. ADL을 입력합니다. Git Ignore를 설정합니다.

   • VS Code 작업 폴더에 .gitIgnore 파일이 없는 경우 폴더에 .gitIgnore 라는 파일이 만들어집니다. 기본적으로 4개의 항목(usqlCodeBehindReference, usqlCodeBehindGenerated, .cache, obj)이 파일에 추가됩니다. 필요한 경우 더 많은 업데이트를 수행할 수 있습니다.
   • VS Code 작업 폴더에 .gitIgnore 파일이 이미 있는 경우 이 도구는 4개의 항목이 파일에 포함되지 않은 경우 .gitIgnore 파일에 4개의 항목(usqlCodeBehindReference, usqlCodeBehindGenerated, .cache, obj)을 추가합니다.

   

코드 비하인드 파일 다루기: C Sharp, Python 및 R

Azure Data Lake Tools는 여러 사용자 지정 코드를 지원합니다. 지침은 VS Code에서 Azure Data Lake Analytics용 Python, R 및 C Sharp를 사용하여 U-SQL 개발을 참조하세요.

어셈블리 작업 수행

어셈블리 개발에 대한 자세한 내용은 Azure Data Lake Analytics 작업에 대한 U-SQL 어셈블리 개발을 참조하세요.

Data Lake Tools를 사용하여 Data Lake Analytics 카탈로그에 사용자 지정 코드 어셈블리를 등록할 수 있습니다.

어셈블리를 등록하려면

ADL: Register Assembly 또는 ADL: Register Assembly(Advanced) 명령을 통해 어셈블리를 등록할 수 있습니다.

ADL을 통해 등록하려면: 어셈블리 등록 명령

1. Ctrl+Shift+P를 선택하여 명령 팔레트를 엽니다.
2. ADL: Register Assembly를 입력합니다.
3. 로컬 어셈블리 경로를 지정합니다.
4. Data Lake Analytics 계정을 선택합니다.
5. 데이터베이스를 선택합니다.

포털이 브라우저에서 열리고 어셈블리 등록 프로세스가 표시됩니다.

ADL을 트리거하는 더 편리한 방법 : 어셈블리 등록 명령은 파일 탐색기에서 .dll 파일을 마우스 오른쪽 단추로 클릭하는 것입니다.

ADL을 통해 등록하려면: 어셈블리 등록(고급) 명령

1. Ctrl+Shift+P를 선택하여 명령 팔레트를 엽니다.

2. ADL: 조립 등록(고급)을 입력합니다.

3. 로컬 어셈블리 경로를 지정합니다.

4. JSON 파일이 표시됩니다. 필요한 경우 어셈블리 종속성 및 리소스 매개 변수를 검토하고 편집합니다. 지침은 출력 창에 표시됩니다. 어셈블리 등록을 계속하려면 JSON 파일을 저장합니다(Ctrl+S).

   

ADL을 트리거하는 또 다른 방법 : 어셈블리 등록(고급) 명령은 파일 탐색기에서 .dll 파일을 마우스 오른쪽 단추로 클릭하는 것입니다.

다음 U-SQL 코드는 어셈블리를 호출하는 방법을 보여 줍니다. 샘플에서 어셈블리 이름은 테스트됩니다.

REFERENCE ASSEMBLY [test];
@a =
    EXTRACT
        Iid int,
    Starts DateTime,
    Region string,
    Query string,
    DwellTime int,
    Results string,
    ClickedUrls string
    FROM @"Sample/SearchLog.txt"
    USING Extractors.Tsv();
@d =
    SELECT DISTINCT Region
    FROM @a;
@d1 =
    PROCESS @d
    PRODUCE
        Region string,
    Mkt string
    USING new USQLApplication_codebehind.MyProcessor();
OUTPUT @d1
    TO @"Sample/SearchLogtest.txt"
    USING Outputters.Tsv();

Windows 사용자에 대해 U-SQL 로컬 실행 및 로컬 디버그 사용

U-SQL 로컬 실행은 로컬 데이터를 테스트하고 코드가 Data Lake Analytics에 게시되기 전에 로컬로 스크립트의 유효성을 검사합니다. 로컬 디버그 기능을 사용하여 코드를 Data Lake Analytics에 제출하기 전에 다음 작업을 완료할 수 있습니다.

• C# 코드 비하인드를 디버그합니다.
• 코드를 단계별로 실행합니다.
• 로컬에서 스크립트의 유효성을 검사합니다.

로컬 실행 및 로컬 디버그 기능은 Windows 환경에서만 작동하며 macOS 및 Linux 기반 운영 체제에서는 지원되지 않습니다.

로컬 실행 및 로컬 디버그에 대한 지침은 Visual Studio Code를 사용하여 U-SQL 로컬 실행 및 로컬 디버그를 참조하세요.

Azure에 연결

Data Lake Analytics에서 U-SQL 스크립트를 컴파일하고 실행하려면 먼저 Azure 계정에 연결해야 합니다.

명령을 사용하여 Azure에 연결하려면

1. Ctrl+Shift+P를 선택하여 명령 팔레트를 엽니다.

2. ADL: 로그인을 입력합니다. 로그인 정보가 오른쪽 아래에 나타납니다.

   

   

3. 복사 및 열기를 선택하여 로그인 웹 페이지를 엽니다. 상자에 코드를 붙여넣은 다음 계속을 선택합니다.

   

4. 지침에 따라 웹 페이지에서 로그인합니다. 연결되면 VS Code 창의 왼쪽 아래 모서리에 있는 상태 표시줄에 Azure 계정 이름이 표시됩니다.

로그아웃하려면 ADL: 로그아웃 명령을 입력합니다.

탐색기에서 Azure에 연결하려면

AZURE DATALAKE를 확장하고, Azure에 로그인을 선택한 다음, 명령을 사용하여 Azure에 연결하려면 3단계와 4단계를 수행합니다.

탐색기에서 로그아웃할 수 없습니다. 로그아웃하려면 명령을 사용하여 Azure에 연결하는 방법을 참조하십시오.

추출 스크립트 만들기

ADL: EXTRACT 스크립트 만들기 또는 Azure Data Lake Explorer 명령을 사용하여 .csv, .tsv 및 .txt 파일에 대한 추출 스크립트를 만들 수 있습니다.

명령을 사용하여 추출 스크립트를 만들려면

1. Ctrl+Shift+P를 선택하여 명령 팔레트를 열고 ADL: EXTRACT 스크립트 만들기를 입력합니다.
2. Azure Storage 파일의 전체 경로를 지정하고 Enter 키를 선택합니다.
3. 하나의 계정을 선택합니다.
4. .txt 파일의 경우 구분 기호를 선택하여 파일을 추출합니다.

추출 스크립트는 항목에 따라 생성됩니다. 열을 검색할 수 없는 스크립트의 경우 두 옵션 중 하나를 선택합니다. 그렇지 않은 경우 하나의 스크립트만 생성됩니다.

탐색기에서 추출 스크립트를 만들려면

추출 스크립트를 만드는 또 다른 방법은 Azure Data Lake Store 또는 Azure Blob Storage의 .csv, .tsv 또는 .txt 파일에서 마우스 오른쪽 단추 클릭(바로 가기) 메뉴를 사용하는 것입니다.

다음 단계

• VS Code에서 Azure Data Lake Analytics용 Python, R 및 C Sharp를 사용하여 U-SQL 개발
• Visual Studio Code를 사용하여 U-SQL 로컬 실행 및 로컬 디버그
• 자습서: Azure Data Lake Analytics 시작
• 자습서: Data Lake Tools for Visual Studio를 사용하여 U-SQL 스크립트 개발