로컬 컴퓨터에서 U-SQL 스크립트 실행

U-SQL 스크립트를 개발할 때 스크립트를 로컬로 실행하여 시간과 비용을 절약할 수 있습니다. Visual Studio용 Azure Data Lake Tools는 로컬 컴퓨터에서 U-SQL 스크립트 실행을 지원합니다.

로컬 실행에 대한 기본 개념

다음 차트에서는 로컬 실행에 대한 구성 요소와 이러한 구성 요소가 클라우드 실행에 매핑되는 방법을 보여 줍니다.

다음 섹션에서는 로컬 실행 구성 요소에 대한 자세한 정보를 제공합니다.

로컬 데이터 루트 폴더

로컬 데이터 루트 폴더는 로컬 컴퓨팅 계정의 로컬 저장소 입니다. 로컬 컴퓨터의 로컬 파일 시스템에 있는 모든 폴더는 로컬 데이터 루트 폴더일 수 있습니다. Data Lake Analytics 계정의 기본 Azure Data Lake Store 계정과 동일합니다. 다른 데이터 루트 폴더로 전환하는 것은 다른 기본 저장소 계정으로 전환하는 것과 같습니다.

데이터 루트 폴더는 다음과 같이 사용됩니다.

• 메타데이터를 저장합니다. 예를 들어 데이터베이스, 테이블, 테이블 반환 함수 및 어셈블리가 있습니다.
• U-SQL 스크립트에서 상대 경로로 정의된 입력 및 출력 경로를 조회합니다. 상대 경로를 사용하면 U-SQL 스크립트를 Azure에 더 쉽게 배포할 수 있습니다.

U-SQL 로컬 실행 엔진

U-SQL 로컬 실행 엔진은 U-SQL 작업에 대한 로컬 컴퓨팅 계정 입니다. 사용자는 Azure Data Lake Tools for Visual Studio를 통해 U-SQL 작업을 로컬로 실행할 수 있습니다. 로컬 실행은 Azure Data Lake U-SQL SDK 명령줄 및 프로그래밍 인터페이스를 통해서도 지원됩니다. Azure Data Lake U-SQL SDK에 대해 자세히 알아봅니다.

작업 디렉터리

U-SQL 스크립트를 실행하는 경우 컴파일 결과를 캐시하고, 로그를 실행하고, 다른 함수를 수행하기 위해 작업 디렉터리 폴더가 필요합니다. Azure Data Lake Tools for Visual Studio에서 작업 디렉터리가 U-SQL 프로젝트의 작업 디렉터리입니다. 아래에 있습니다 <U-SQL project root path>/bin/debug>. 새 실행이 트리거될 때마다 작업 디렉터리가 정리됩니다.

Microsoft Visual Studio에서 로컬 실행

Azure Data Lake Tools for Visual Studio에는 기본 제공 로컬 실행 엔진이 있습니다. 도구는 엔진을 로컬 컴퓨팅 계정으로 표시합니다. U-SQL 스크립트를 로컬로 실행하려면 스크립트의 편집기 여백 드롭다운 메뉴에서 로컬 컴퓨터 또는 로컬 프로젝트 계정을 선택합니다. 그런 다음, 제출을 선택합니다.

로컬 컴퓨터 계정으로 로컬 실행

로컬 컴퓨터 계정은 로컬 저장소 계정으로 단일 로컬 데이터 루트 폴더가 있는 공유 로컬 컴퓨팅 계정입니다. 기본적으로 데이터 루트 폴더는 C:\Users<username>\AppData\Local\USQLDataRoot에 있습니다. 도구>Data Lake>옵션 및 설정을 통해 구성할 수도 있습니다.

로컬 실행에 U-SQL 프로젝트가 필요합니다. U-SQL 프로젝트의 작업 디렉터리가 U-SQL 로컬 실행 작업 디렉터리에 사용됩니다. 컴파일 결과, 실행 로그 및 기타 작업 실행 관련 파일이 생성되고 로컬 실행 중에 작업 디렉터리 폴더 아래에 저장됩니다. 스크립트를 다시 실행할 때마다 작업 디렉터리의 모든 파일이 정리되고 다시 생성됩니다.

로컬 프로젝트 계정으로 실행합니다

로컬 프로젝트 계정은 격리된 로컬 데이터 루트 폴더가 있는 각 프로젝트에 대한 프로젝트 격리 로컬 컴퓨팅 계정입니다. Visual Studio의 솔루션 탐색기에서 열리는 모든 활성 U-SQL 프로젝트에는 해당 (Local-project: <project name>) 계정이 있습니다. 계정은 Visual Studio의 서버 탐색기와 U-SQL 스크립트 편집기 여백 모두에 나열됩니다.

로컬 프로젝트 계정은 깨끗하고 격리된 개발 환경을 제공합니다. 로컬 컴퓨터 계정에는 모든 로컬 작업에 대한 메타데이터 및 입력 및 출력 데이터를 저장하는 공유 로컬 데이터 루트 폴더가 있습니다. 그러나 로컬 프로젝트 계정은 U-SQL 스크립트를 실행할 때마다 U-SQL 프로젝트 작업 디렉터리 아래에 임시 로컬 데이터 루트 폴더를 만듭니다. 이 임시 데이터 루트 폴더는 다시 빌드 또는 다시 실행이 발생할 때 정리됩니다.

U-SQL 프로젝트는 프로젝트 참조 및 속성을 통해 격리된 로컬 실행 환경을 관리합니다. 프로젝트 및 참조된 데이터베이스 환경 모두에서 U-SQL 스크립트에 대한 입력 데이터 원본을 구성할 수 있습니다.

로컬 프로젝트 계정에 대한 입력 데이터 원본 관리

U-SQL 프로젝트는 로컬 데이터 루트 폴더를 만들고 로컬 프로젝트 계정에 대한 데이터를 설정합니다. 임시 데이터 루트 폴더는 다시 빌드 및 로컬 실행이 발생할 때마다 U-SQL 프로젝트 작업 디렉터리에서 정리되고 다시 만들어집니다. U-SQL 프로젝트에서 구성한 모든 데이터 원본은 로컬 작업이 실행되기 전에 이 임시 로컬 데이터 루트 폴더에 복사됩니다.

데이터 원본의 루트 폴더를 구성할 수 있습니다. U-SQL 프로젝트>속성>테스트 데이터 원본을 마우스 오른쪽 단추로 클릭합니다. 로컬 프로젝트 계정에서 U-SQL 스크립트를 실행하면 테스트 데이터 원본 폴더의 모든 파일 및 하위 폴더가 임시 로컬 데이터 루트 폴더에 복사됩니다. 하위 폴더 아래의 파일이 포함됩니다. 로컬 작업이 실행되면 프로젝트 작업 디렉터리의 임시 로컬 데이터 루트 폴더에서 출력 결과를 찾을 수도 있습니다. 이 모든 출력은 프로젝트를 다시 빌드하고 정리할 때 삭제되고 정리됩니다.

로컬 프로젝트 계정에 대한 참조된 데이터베이스 환경 관리

U-SQL 쿼리에서 U-SQL 데이터베이스 개체를 사용하거나 쿼리하는 경우 U-SQL 스크립트를 로컬로 실행하기 전에 데이터베이스 환경을 로컬로 준비해야 합니다. 로컬 프로젝트 계정의 경우 U-SQL 프로젝트 참조를 통해 U-SQL 데이터베이스 종속성을 관리할 수 있습니다. U-SQL 프로젝트에 U-SQL 데이터베이스 프로젝트 참조를 추가할 수 있습니다. 로컬 프로젝트 계정에서 U-SQL 스크립트를 실행하기 전에 참조된 모든 데이터베이스가 임시 로컬 데이터 루트 폴더에 배포됩니다. 또한 각 실행에 대해 임시 데이터 루트 폴더는 새로 격리된 환경으로 정리됩니다.

이 관련 문서를 참조하세요.

• U-SQL 데이터베이스 프로젝트에서 U-SQL 데이터베이스 정의 및 참조를 관리하는 방법을 알아봅니다.

Local-machine과 Local-project 계정 간의 차이점

로컬 머신 계정은 사용자의 로컬 머신에서 Azure Data Lake Analytics 계정을 시뮬레이션합니다. Azure Data Lake Analytics 계정과 동일한 환경을 공유합니다. 로컬 프로젝트 계정은 사용자에게 친숙한 로컬 개발 환경을 제공합니다. 이 환경은 사용자가 스크립트를 로컬로 실행하기 전에 데이터베이스 참조 및 입력 데이터를 배포하는 데 도움이 됩니다. 로컬 컴퓨터 계정은 모든 프로젝트를 통해 액세스할 수 있는 공유 영구 환경을 제공합니다. 로컬 프로젝트 계정은 각 프로젝트에 대해 격리된 개발 환경을 제공합니다. 각 실행 시 새로 고침됩니다. 로컬 프로젝트 계정은 새 변경 내용을 신속하게 적용하여 더 빠른 개발 환경을 제공합니다.

다음 표에는 Local-machine 및 Local-project 계정 간의 더 많은 차이점이 나와 있습니다.

U-SQL SDK를 사용하는 로컬 실행

Visual Studio에서 U-SQL 스크립트를 로컬로 실행하고 Azure Data Lake U-SQL SDK를 사용하여 명령줄 및 프로그래밍 인터페이스를 사용하여 U-SQL 스크립트를 로컬로 실행할 수도 있습니다. 이러한 인터페이스를 통해 U-SQL 로컬 실행 및 테스트를 자동화할 수 있습니다.

Azure Data Lake U-SQL SDK에 대해 자세히 알아봅니다.

다음 단계

• Azure Data Lake Analytics에 대한 CI/CD 파이프라인을 설정하는 방법입니다.
• Azure Data Lake Analytics 코드를 테스트하는 방법입니다.