Azure Data Factory または Azure Synapse Analytics を使用して Oracle との間でデータをコピーする

適用対象: Azure Data Factory Azure Synapse Analytics

この記事では、Azure Data Factory のコピー アクティビティを使用して、Oracle データベースをコピー先またはコピー元としてデータをコピーする方法について説明します。 これは、コピー アクティビティの概要に関する記事に基づいています。

サポートされる機能

この Oracle コネクタでは、次の機能がサポートされます。

① Azure 統合ランタイム ② セルフホステッド統合ランタイム

コピー アクティビティによってソースまたはシンクとしてサポートされるデータ ストアの一覧については、サポートされるデータ ストアに関する記事の表をご覧ください。

具体的には、この Oracle コネクタでは以下がサポートされています。

• バージョン 2.0 の Oracle データベースの次のバージョン:
  • Oracle Database 19c 以降
• バージョン 1.0 の Oracle データベースの次のバージョン:
  • Oracle 19c R1 (19.1) 以降
  • Oracle 18c R1 (18.1) 以降
  • Oracle 12c R1 (12.1) 以降
  • Oracle 11g R1 (11.1) 以降
  • Oracle 10g R1 (10.1) 以降
  • Oracle 9i R2 (9.2) 以降
  • Oracle 8i R3 (8.1.7) 以降
  • Oracle Database Cloud Exadata Service
• Oracle ソースからの並列コピー。 詳細については、「Oracle からの並列コピー」セクションを参照してください。

前提条件

データ ストアがオンプレ ミスネットワーク、Azure 仮想ネットワーク、または Amazon Virtual Private Cloud 内にある場合は、それに接続するようセルフホステッド統合ランタイムを構成する必要があります。

データ ストアがマネージド クラウド データ サービスである場合は、Azure Integration Runtime を使用できます。 ファイアウォール規則で承認されている IP にアクセスが制限されている場合は、Azure Integration Runtime の IP を許可リストに追加できます。

また、Azure Data Factory のマネージド仮想ネットワーク統合ランタイム機能を使用すれば、セルフホステッド統合ランタイムをインストールして構成しなくても、オンプレミス ネットワークにアクセスすることができます。

Data Factory によってサポートされるネットワーク セキュリティ メカニズムやオプションの詳細については、「データ アクセス戦略」を参照してください。

統合ランタイムには、組み込みの Oracle ドライバーがあります。 そのため、Oracle をコピー元またはコピー先としてデータをコピーするときに、ドライバーを手動でインストールする必要はありません。

はじめに

パイプラインでコピー アクティビティを実行するには、次のいずれかのツールまたは SDK を使用します。

• データ コピー ツール
• Azure ポータル
• .NET SDK
• Python SDK
• Azure PowerShell
• REST API
• Azure Resource Manager テンプレート

UI を使用して Oracle のリンク サービスを作成する

次の手順を使用して、Azure portal UI で Oracle のリンク サービスを作成します。

1. Azure Data Factory または Synapse ワークスペースの [管理] タブに移動し、[リンク サービス] を選択して、[新規] をクリックします。

   • Azureデータファクトリー
   • Azure Synapse

   

2. Oracle を検索し、Oracle コネクタを選択します。

   

3. サービスの詳細を構成し、接続をテストして、新しいリンク サービスを作成します。

   

コネクタの構成の詳細

次のセクションでは、Oracle コネクタに固有のエンティティの定義に使用されるプロパティについて詳しく説明します。

リンクされたサービスのプロパティ

Oracle コネクタ バージョン 2.0 では、TLS 1.3 がサポートされています。 Oracle コネクタのバージョンをバージョン 1.0 からアップグレードするには、この セクション を参照してください。 プロパティの詳細については、対応するセクションを参照してください。

• バージョン 2.0
• バージョン 1.0

バージョン 2.0

Oracle のリンクされたサービスでは、バージョン 2.0 を適用するときに次のプロパティがサポートされます。

リンクされたサービスでは、ケースに応じて、次の追加の接続プロパティを設定できます。

例:

{
    "name": "OracleLinkedService",
    "properties": {
        "type": "Oracle",
        "version": "2.0",
        "typeProperties": {
            "server": "<server name>", 
            "username": "<user name>", 
            "password": "<password>", 
            "authenticationType": "<authentication type>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

例: パスワードを Azure Key Vault に格納する

{
    "name": "OracleLinkedService",
    "properties": {
        "type": "Oracle",
        "version": "2.0",
        "typeProperties": {
            "server": "<server name>", 
            "username": "<user name>", 
            "authenticationType": "<authentication type>",
            "password": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

server プロパティの構成

serverプロパティの場合は、次の 3 つの形式のいずれかで指定できます。

次の一覧は、 serverで使用されるサポートされているパラメーターを示しています。 次の一覧にないパラメーターを使用すると、接続は失敗します。

• Azure 統合ランタイムを使用する場合:

  ホスト
  ポート
  プロトコル
  SERVICE_NAME
  SID
  INSTANCE_NAME
  サーバー
  CONNECT_TIMEOUT
  リトライ回数
  リトライ遅延
  SSLバージョン
  SSL_SERVER_DN_MATCH
  SSL_SERVER_CERT_DN

• セルフホステッド統合ランタイムを使用する場合:

  ホスト
  ポート
  プロトコル
  エネーブル
  有効期限時間
  フェールオーバー
  LOAD_BALANCE
  RECV_BUF_SIZE
  SDU
  SEND_BUF_SIZE
  SOURCE_ROUTE
  サービスの種類
  COLOCATION_TAG
  CONNECTION_ID_PREFIX
  FAILOVER_MODE
  GLOBAL_NAME
  HS
  INSTANCE_NAME
  プールの境界
  POOL_CONNECTION_CLASS
  プール名
  プールの純度
  RDBデータベース
  SHARDING_KEY
  SHARDING_KEY_ID
  SUPER_SHARDING_KEY
  サーバー
  SERVICE_NAME
  SID
  TUNNEL_SERVICE_NAME
  SSLクライアント認証
  SSL_CERTIFICATE_ALIAS
  SSL_CERTIFICATE_THUMBPRINT
  SSLバージョン
  SSL_SERVER_DN_MATCH
  SSL_SERVER_CERT_DN
  財布の位置
  CONNECT_TIMEOUT
  リトライ回数
  リトライ遅延
  TRANSPORT_CONNECT_TIMEOUT
  RECV_TIMEOUT
  圧縮
  圧縮レベル

バージョン 1.0

Oracle のリンクされたサービスでは、バージョン 1.0 を適用するときに次のプロパティがサポートされます。

フェールオーバー シナリオ用の Oracle インスタンスが複数ある場合は、Oracle がリンクされたサービスを作成し、プライマリ ホスト、ポート、ユーザー名、パスワードなどを入力できます。プロパティ名 、値 AlternateServers の "(HostName=<secondary host>:PortNumber=<secondary port>:ServiceName=<secondary service name>)" を新しく追加します。このとき、角かっこを忘れずに入力すること、区切り文字としてコロン (:) を使用することに注意してください。 以下の例では、代替サーバーの値により、接続フェールオーバー用の代替データベース サーバーが 2 台定義されます。(HostName=AccountingOracleServer:PortNumber=1521:SID=Accounting,HostName=255.201.11.24:PortNumber=1522:ServiceName=ABackup.NA.MyCompany)

接続文字列には他にも、ケースに応じてさまざまな接続プロパティを設定できます。それらのプロパティを次に示します。

Oracle の接続で暗号化を有効にするには、2 つのオプションがあります。

• Triple-DES Encryption (3DES) と Advanced Encryption Standard (AES) を使用するには、Oracle サーバー側で Oracle Advanced Security (OAS) に移動し、暗号化の設定を構成します。 詳細については、こちらの Oracle のドキュメントを参照してください。 Oracle Application Development Framework (ADF) コネクタは暗号化方法を自動的にネゴシエートし、Oracle への接続を確立するときにユーザーが OAS で構成した方法を使用します。

• TLS を使用するには、以下の 3 つの方法のいずれかを適用して SSL サーバー認証用の truststore を設定します。

  • 方法 1 (推奨):

    1. TLS/SSL 証明書をローカル証明書ストアにインポートすることでインストールします。 組み込みの Oracle ドライバーは、証明書ストアから必要な証明書を読み込むことができます。

    2. サービス内で、EncryptionMethod=1 を使用して Oracle 接続文字列を構成します。

  • 方法 2:

    1. TLS/SSL 証明書情報を取得します。 TLS/SSL 証明書の Distinguished Encoding Rules (DER) エンコードまたは Privacy Enhanced Mail (PEM) エンコードされた証明書情報を取得します。

       openssl x509 -inform (DER|PEM) -in [Full Path to the DER/PEM Certificate including the name of the DER/PEM Certificate] -text
       

    2. サービス内で、EncryptionMethod=1 および対応する TrustStore 値を使用して Oracle 接続文字列を構成します。 たとえば、Host=<host>;Port=<port>;Sid=<sid>;User Id=<username>;Password=<password>;EncryptionMethod=1;TrustStore= data:// -----BEGIN CERTIFICATE-----<certificate content>-----END CERTIFICATE----- のように指定します。

       注

       • TrustStore フィールドの値には、data:// というプレフィックスを付ける必要があります。
       • 複数の証明書のコンテンツを指定する場合は、各証明書のコンテンツを -----BEGIN CERTIFICATE----- と -----END CERTIFICATE----- の間で指定します。 ダッシュ (-----) の数は、BEGIN CERTIFICATE と END CERTIFICATE 両方の前後で同じである必要があります。 次に例を示します。
         -----BEGIN CERTIFICATE-----<certificate content 1>-----END CERTIFICATE-----
-----BEGIN CERTIFICATE-----<certificate content 2>-----END CERTIFICATE-----
-----BEGIN CERTIFICATE-----<certificate content 3>-----END CERTIFICATE-----
       • TrustStore フィールドがサポートするコンテンツの長さは最大で 8192 文字です。

  • 方法 3:

    1. AES256 などの強力な暗号を使用して truststore ファイルを作成します。

       openssl pkcs12 -in [Full Path to the DER/PEM Certificate including the name of the DER/PEM Certificate] -out [Path and name of TrustStore] -passout pass:[Keystore PWD] -keypbe AES-256-CBC -certpbe AES-256-CBC -nokeys -export
       

    2. truststore ファイルをセルフホステッド統合ランタイム マシン上に配置します。 たとえば、C:\MyTrustStoreFile にファイルを配置します。

    3. サービス内で、EncryptionMethod=1 および対応する TrustStore/TrustStorePassword 値を使用して Oracle 接続文字列を構成します。 たとえば、「 Host=<host>;Port=<port>;Sid=<sid>;User Id=<username>;Password=<password>;EncryptionMethod=1;TrustStore=C:\\MyTrustStoreFile;TrustStorePassword=<trust_store_password> 」のように入力します。

例:

{
    "name": "OracleLinkedService",
    "properties": {
        "type": "Oracle",
        "typeProperties": {
            "connectionString": "Host=<host>;Port=<port>;Sid=<sid>;User Id=<username>;Password=<password>;"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

例: パスワードを Azure Key Vault に格納する

{
    "name": "OracleLinkedService",
    "properties": {
        "type": "Oracle",
        "typeProperties": {
            "connectionString": "Host=<host>;Port=<port>;Sid=<sid>;User Id=<username>;",
            "password": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

データセットのプロパティ

このセクションでは、Oracle データセットでサポートされるプロパティの一覧を示します。 データセットの定義に使用できるセクションとプロパティの一覧については、データセットに関する記事をご覧ください。

Oracle をコピー元またはコピー先としてデータをコピーするには、データセットの type プロパティを OracleTable に設定します。 次のプロパティがサポートされています。

例:

{
    "name": "OracleDataset",
    "properties":
    {
        "type": "OracleTable",
        "schema": [],
        "typeProperties": {
            "schema": "<schema_name>",
            "table": "<table_name>"
        },
        "linkedServiceName": {
            "referenceName": "<Oracle linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

コピー アクティビティのプロパティ

このセクションでは、Oracle のソースとシンクでサポートされるプロパティの一覧を示します。 アクティビティの定義に利用できるセクションとプロパティの完全な一覧については、パイプラインに関するページを参照してください。

ソースとしての Oracle

Oracle からデータをコピーするは、コピー アクティビティのソースの種類を OracleSource に設定します。 コピー アクティビティの source セクションでは、次のプロパティがサポートされます。

例: パーティションなしで基本的なクエリを使用してデータをコピーする

"activities":[
    {
        "name": "CopyFromOracle",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Oracle input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "OracleSource",
                "convertDecimalToInteger": false,
                "oracleReaderQuery": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

シンクとしての Oracle

Oracle にデータをコピーするには、コピー アクティビティのシンクの種類を OracleSink に設定します。 コピー アクティビティの sink セクションでは、次のプロパティがサポートされます。

例:

"activities":[
    {
        "name": "CopyToOracle",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Oracle output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "OracleSink"
            }
        }
    }
]

Oracle からの並列コピー

Oracle コネクタでは、Oracle からデータを並列コピーするために、組み込みのデータ パーティション分割を提供します。 データ パーティション分割オプションは、コピー アクティビティの [ソース] タブにあります。

パーティション分割されたコピーを有効にすると、サービスによって Oracle ソースに対する並列クエリが実行され、パーティションごとにデータが読み込まれます。 並列度は、コピー アクティビティの parallelCopies 設定によって制御されます。 たとえば、parallelCopies を 4 に設定した場合、指定したパーティション オプションと設定に基づいて 4 つのクエリが同時に生成され、実行されます。各クエリでは、Oracle データベースからデータの一部を取得します。

特に、Oracle データベースから大量のデータを読み込む場合は、データ パーティション分割を使用した並列コピーを有効にすることをお勧めします。 さまざまなシナリオの推奨構成を以下に示します。 ファイルベースのデータ ストアにデータをコピーする場合は、複数のファイルとしてフォルダーに書き込む (フォルダー名のみを指定する) ことをお勧めします。この場合、1 つのファイルに書き込むよりもパフォーマンスが優れています。

例: 物理パーティションを使用してクエリを実行する

"source": {
    "type": "OracleSource",
    "query": "SELECT * FROM <TABLENAME> PARTITION(\"?AdfTabularPartitionName\") WHERE <your_additional_where_clause>",
    "partitionOption": "PhysicalPartitionsOfTable",
    "partitionSettings": {
        "partitionNames": [
            "<partitionA_name>",
            "<partitionB_name>"
        ]
    }
}

例: 動的範囲パーティションを使用してクエリを実行する

"source": {
    "type": "OracleSource",
    "query": "SELECT * FROM <TABLENAME> WHERE ?AdfRangePartitionColumnName <= ?AdfRangePartitionUpbound AND ?AdfRangePartitionColumnName >= ?AdfRangePartitionLowbound AND <your_additional_where_clause>",
    "partitionOption": "DynamicRange",
    "partitionSettings": {
        "partitionColumnName": "<partition_column_name>",
        "partitionUpperBound": "<upper_value_of_partition_column>",
        "partitionLowerBound": "<lower_value_of_partition_column>"
    }
}

Oracle のデータ型マッピング

Oracle をコピー元またはコピー先としてデータをコピーするとき、次の中間データ型のマッピングがサービス内で使用されます。 コピー アクティビティでソースのスキーマとデータ型がシンクにマッピングされるしくみについては、スキーマとデータ型のマッピングに関する記事を参照してください。

NUMBER(p,s) は、精度 (p) とスケール (s) に応じて、適切なバージョン 2.0 の中間サービスデータ型にマップされます。

Lookup アクティビティのプロパティ

プロパティの詳細については、Lookup アクティビティに関するページを参照してください。

Oracle コネクタをアップグレードする

Oracle コネクタのアップグレードに役立つ手順を次に示します。

1. [リンクされたサービスの編集] ページで、[バージョン] で 2.0 を選択し、リンクされたサービスプロパティバージョン 2.0 を参照してリンクされたサービスを構成します。

   ユーザー名とパスワードを含む認証関連のプロパティについては、バージョン 2.0 の対応するフィールドに元の値を指定します。 バージョン 1.0 のホスト、ポート、Oracle サービス名/Oracle SID などのその他の接続プロパティが、バージョン 2.0 の server プロパティのパラメーターになりました。

   たとえば、次に示すようにバージョン 1.0 のリンクされたサービスを構成する場合は、次のようになります。

   

   { 
       "name": "OracleLinkedService", 
       "properties": { 
           "type": "Oracle", 
           "typeProperties": { 
               "connectionString": "host=oraclesample.com;port=1521;servicename=db1" 
           }, 
           "connectVia": { 
               "referenceName": "<name of Integration Runtime>", 
               "type": "IntegrationRuntimeReference" 
           } 
       } 
   }
   

   Easy Connect (Plus) の名前付けを使用する同じバージョン 2.0 のリンクされたサービス構成は次のとおりです。

   

   { 
       "name": "OracleLinkedService", 
       "properties": { 
           "type": "Oracle", 
           "version": "2.0", 
           "typeProperties": { 
               "server": "oraclesample.com:1521/db1",  
               "username": "<user name>",  
               "password": "<password>",  
               "authenticationType": "<authentication type>" 
           }, 
           "connectVia": { 
               "referenceName": "<name of Integration Runtime>", 
               "type": "IntegrationRuntimeReference" 
           } 
       } 
   } 
   

   コネクタ記述子を使用する同じバージョン 2.0 のリンクされたサービス構成は次のとおりです。

   

   { 
       "name": "OracleLinkedService", 
       "properties": { 
           "type": "Oracle", 
           "version": "2.0", 
           "typeProperties": { 
               "server": "(DESCRIPTION=(ADDRESS=(PROTOCOL=tcp)(HOST= oraclesample.com)(PORT=1521))(CONNECT_DATA=(SERVICE_NAME=db1)))",  
               "username": "<user name>",  
               "password": "<password>",  
               "authenticationType": "<authentication type>" 
           }, 
           "connectVia": { 
               "referenceName": "<name of Integration Runtime>", 
               "type": "IntegrationRuntimeReference" 
           } 
       } 
   } 
   

   ヒント

   azure Key Vault は、 server プロパティでサポートされています。 次に示すように、リンクされたサービス JSON を編集して Azure Key Vault 参照を追加できます。
   

   次の点に注意してください。

   • バージョン 1.0 で Oracle サービス名 を使用する場合は、バージョン 2.0 のサーバー形式として Easy Connect (Plus) の名前付け または コネクタ記述子 を使用できます。

   • バージョン 1.0 で Oracle SID を使用する場合は、バージョン 2.0 のサーバー形式として コネクタ記述子 を使用する必要があります。

   • バージョン 1.0 の追加の接続プロパティについては、バージョン 2.0 の server プロパティで代替プロパティまたはパラメーターを提供します。 バージョン 1.0 のプロパティをアップグレードするには、次の表を参照してください。

     バージョン 1.0	バージョン 2.0
     暗号化方法	PROTOCOL ( server のパラメーター)
     tnsnamesfile	TNS_ADMIN (セルフホステッド統合ランタイムでサポートされる環境変数)
     サーバー名	サーバー
     一括ロードを有効にする 値: 1、0	enableBulkLoad 値: true、false
     fetchtswtzastimestamp 値: 1、0	fetchTswtzAsTimestamp 値: true、false
     代替サーバー	DESCRIPTION_LIST ( server のパラメーター)
     配列サイズ	fetchSize
     cachedcursorlimit	ステートメントキャッシュサイズ (statementCacheSize)
     接続再試行回数	RETRY_COUNT ( server のパラメーター)
     イニシャライゼーションストリング	initializationString
     ログインタイムアウト	CONNECT_TIMEOUT ( server のパラメーター)
     暗号プロトコルバージョン	SSL_VERSION ( server のパラメーター)
     truststore	WALLET_LOCATION (server のパラメーター)

     たとえば、バージョン 1.0 で alternateservers を使用する場合は、バージョン 2.0 のサーバー プロパティで DESCRIPTION_LIST パラメーターを設定できます。

     alternateserversを使用したバージョン 1.0 のリンクされたサービス:

     {
         "name": "OracleV1",
         "properties": {
             "type": "Oracle",
             "typeProperties": {
                 "connectionString": "host=oraclesample.com;port=1521;servicename=db1;alternateservers=(HostName= oraclesample2.com:PortNumber=1521:SID=db2,HostName=255.201.11.24:PortNumber=1522:ServiceName=db3)"
             }
         }
     }
     

     DESCRIPTION_LISTで パラメーターを使用する同じバージョン 2.0 のリンクされたサービス:

     {
         "name": "OracleV2",
         "properties": {
             "type": "Oracle",
             "version": "2.0",
             "typeProperties": {
                 "server": "(DESCRIPTION_LIST=(DESCRIPTION=(ADDRESS=(PROTOCOL=tcp)(HOST=oraclesample.com)(PORT=1521))(CONNECT_DATA=(SERVICE_NAME=db1)))(DESCRIPTION=(ADDRESS=(PROTOCOL=tcp)(HOST=oraclesample2.com)(PORT=1521))(CONNECT_DATA=(SID=db2)))(DESCRIPTION=(ADDRESS=(PROTOCOL=tcp)(HOST=255.201.11.24)(PORT=1522))(CONNECT_DATA=(SERVICE_NAME=db3))))",
                 "username": "<user name>",  
                 "password": "<password>",  
                 "authenticationType": "<authentication type>" 
             }
         }
     }
     

2. Oracle のリンクされたサービス バージョン 2.0 のデータ型マッピングは、バージョン 1.0 とは異なります。 最新のデータ型マッピングについては、Oracle の データ型マッピングに関するページを参照してください。

   バージョン 2.0 で supportV1DataTypes 追加の接続プロパティを使用すると、データ型の変更によるアップグレードの難しさを軽減できます。 このプロパティを true に設定すると、バージョン 2.0 のデータ型がバージョン 1.0 と一致し続けます。

Oracle バージョン 2.0 とバージョン 1.0 の違い

Oracle コネクタ バージョン 2.0 は新しい機能を提供し、バージョン 1.0 のほとんどの機能と互換性があります。 次の表に、バージョン 2.0 とバージョン 1.0 の機能の違いを示します。