Azure Data Factory를 사용하여 Hive에서 데이터 복사 및 변환

적용 대상: Azure Data Factory Azure Synapse Analytics

이 문서에서는 Azure Data Factory 또는 Synapse Analytics 파이프라인에서 복사 작업을 사용하여 Hive에서 데이터를 복사하는 방법을 간략하게 설명합니다. 이 문서는 복사 작업에 대한 일반적인 개요를 제공하는 복사 작업 개요 문서를 기반으로 합니다.

지원되는 기능

이 Hive 커넥터는 다음 기능에 대해 지원됩니다.

① Azure Integration Runtime ② 자체 호스팅 통합 런타임

복사 작업의 원본/싱크로 지원되는 데이터 저장소 목록은 지원되는 데이터 저장소 표를 참조하세요.

이 서비스는 연결을 사용하는 기본 제공 드라이버를 제공합니다. 따라서 이 커넥터를 사용하여 드라이버를 수동으로 설치하지 않아도 됩니다.

커넥터는 이 문서에 나와 있는 Windows 버전을 지원합니다.

필수 구성 요소

데이터 저장소가 온-프레미스 네트워크, Azure 가상 네트워크 또는 Amazon Virtual Private Cloud 내에 있는 경우 자체 호스팅된 통합 런타임을 구성하여 연결해야 합니다.

데이터 저장소가 관리형 클라우드 데이터 서비스인 경우 Azure Integration Runtime을 사용할 수 있습니다. 액세스가 방화벽 규칙에서 승인된 IP로 제한되는 경우 허용 목록에 Azure Integration Runtime IP를 추가할 수 있습니다.

또한 Azure Data Factory의 관리형 가상 네트워크 통합 런타임 기능을 사용하면 자체 호스팅 통합 런타임을 설치하고 구성하지 않고도 온-프레미스 네트워크에 액세스할 수 있습니다.

Data Factory에서 지원하는 네트워크 보안 메커니즘 및 옵션에 대한 자세한 내용은 데이터 액세스 전략을 참조하세요.

시작

파이프라인에 복사 작업을 수행하려면 다음 도구 또는 SDK 중 하나를 사용하면 됩니다.

• 데이터 복사 도구
• Azure Portal
• .NET SDK
• Python SDK
• Azure PowerShell
• REST API
• Azure Resource Manager 템플릿

UI를 사용하여 Hive에 연결된 서비스 만들기

다음 단계를 사용하여 Azure Portal UI에서 Hive에 연결된 서비스를 만듭니다.

1. Azure Data Factory 또는 Synapse 작업 영역에서 관리 탭으로 이동하고 연결된 서비스를 선택한 다음 새로 만들기를 클릭합니다.

   • Azure Data Factory
   • Azure Synapse

   

2. Hive를 검색하고 Hive 커넥터를 선택합니다.

   

3. 서비스 세부 정보를 구성하고 연결을 테스트하고 새 연결된 서비스를 만듭니다.

   

커넥터 구성 세부 정보

다음 섹션에서는 Hive 커넥터에 한정된 Data Factory 엔터티를 정의하는 데 사용되는 속성에 대해 자세히 설명합니다.

연결된 서비스 속성

Hive 커넥터는 이제 버전 2.0을 지원합니다. 버전 1.0에서 Hive 커넥터 버전을 업그레이드하려면 이 섹션 을 참조하세요. 속성 세부 정보는 해당 섹션을 참조하세요.

• 버전 2.0
• 버전 1.0

버전 2.0

Hive 연결된 서비스는 버전 2.0을 적용할 때 다음 속성을 지원합니다.

예:

{
    "name": "HiveLinkedService",
    "properties": {
        "type": "Hive",
        "version": "2.0",
        "typeProperties": {
            "host" : "<host>",
            "port" : "<port>",
            "authenticationType" : "WindowsAzureHDInsightService",
            "username" : "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            },
            "serverType": "HiveServer2",
            "thriftTransportProtocol": "HTTP",
            "enableSsl": true,
            "enableServerCertificateValidation": true
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

버전 1.0

다음 속성은 버전 1.0을 적용할 때 Hive 연결된 서비스에 대해 지원됩니다.

예:

{
    "name": "HiveLinkedService",
    "properties": {
        "type": "Hive",
        "typeProperties": {
            "host" : "<cluster>.azurehdinsight.net",
            "port" : "<port>",
            "authenticationType" : "WindowsAzureHDInsightService",
            "username" : "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        }
    }
}

데이터 세트 속성

데이터 세트 정의에 사용할 수 있는 섹션 및 속성의 전체 목록은 데이터 세트 문서를 참조하세요. 이 섹션에서는 Hive 데이터 세트에서 지원하는 속성의 목록을 제공합니다.

Hive에서 데이터를 복사하려면 데이터 세트의 type 속성을 HiveObject로 설정합니다. 다음과 같은 속성이 지원됩니다.

예제

{
    "name": "HiveDataset",
    "properties": {
        "type": "HiveObject",
        "typeProperties": {},
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Hive linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

복사 작업 속성

작업 정의에 사용할 수 있는 섹션 및 속성의 전체 목록은 파이프라인 문서를 참조하세요. 이 섹션에서는 Hive 원본에서 지원하는 속성의 목록을 제공합니다.

HiveSource를 원본으로 설정

Hive에서 데이터를 복사하려면 복사 작업의 원본 형식을 HiveSource로 설정합니다. 복사 작업 source 섹션에서 다음 속성이 지원됩니다.

예:

"activities":[
    {
        "name": "CopyFromHive",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Hive input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "HiveSource",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

매핑 데이터 흐름 속성

Hive 커넥터는 매핑 데이터 흐름에서 인라인 데이터 세트 원본으로 지원됩니다. 쿼리를 사용하거나 HDInsight의 Hive 테이블에서 직접 읽습니다. Hive 데이터는 데이터 흐름의 일부로 변환되기 전에 스토리지 계정에 parquet 파일로 준비됩니다.

원본 속성

다음 표에는 하이브 원본에서 지원하는 속성이 나열되어 있습니다. 이러한 속성은 원본 옵션 탭에서 편집할 수 있습니다.

원본 예

다음은 Hive 원본 구성의 예입니다.

이러한 설정은 다음 데이터 흐름 스크립트로 변환됩니다.

source(
    allowSchemaDrift: true,
    validateSchema: false,
    ignoreNoFilesFound: false,
    format: 'table',
    store: 'hive',
    schemaName: 'default',
    tableName: 'hivesampletable',
    staged: true,
    storageContainer: 'khive',
    storageFolderPath: '',
    stagingDatabaseName: 'default') ~> hivesource

알려진 제한 사항

• 배열, 맵, 구조체 및 공용 구조체와 같은 복합 형식은 읽을 수 없습니다.
• Hive 커넥터는 4.0 이상 버전(Apache Hive 3.1.0)의 Azure HDInsight에서 Hive 테이블만 지원합니다.
• 기본적으로 Hive 드라이버는 싱크에 "tableName.columnName"을 제공합니다. 열 이름에 테이블 이름이 표시되지 않도록 하려면 이를 수정하는 두 가지 방법이 있습니다. a. Hive 서버 쪽에서 "hive.resultset.use.unique.column.names" 설정을 확인하고 false로 설정합니다. b. 열 매핑을 사용하여 열 이름을 바꿉니다.

Hive에 대한 데이터 형식 매핑

Hive 간 데이터를 복사하는 경우 서비스 내에서 다음과 같은 중간 데이터 형식 매핑이 사용됩니다. 복사 활동에서 원본 스키마와 데이터 형식을 싱크에 매핑하는 방법에 대한 자세한 내용은 스키마 및 데이터 형식 매핑을 참조하세요.

조회 작업 속성

속성에 대한 자세한 내용을 보려면 조회 작업을 확인하세요.

Hive 커넥터 수명 주기 및 업그레이드

다음 표에서는 Hive 커넥터의 여러 버전에 대한 릴리스 단계 및 변경 로그를 보여 줍니다.

Hive 커넥터를 버전 1.0에서 버전 2.0으로 업그레이드

1. 연결된 서비스 편집 페이지에서 버전 2.0을 선택하고 연결된 서비스 속성 버전 2.0을 참조하여 연결된 서비스를 구성합니다.

2. Hive 연결된 서비스 버전 2.0에 대한 데이터 형식 매핑은 버전 1.0의 데이터 형식 매핑과 다릅니다. 최신 데이터 형식 매핑을 알아보려면 Hive에 대한 데이터 형식 매핑을 참조하세요.

3. 버전 5.54 이상을 사용하여 자체 호스팅 통합 런타임을 적용합니다.

관련 콘텐츠

복사 작업에서 원본 및 싱크로 지원되는 데이터 저장소 목록은 지원되는 데이터 저장소를 참조하세요.