Azure Data Factory または Azure Synapse Analytics を使用して Amazon RDS for Oracle からデータをコピーする

適用対象: Azure Data Factory Azure Synapse Analytics

この記事では、Azure Data Factory のコピー アクティビティを使用して、Amazon RDS for Oracle データベースからデータをコピーする方法について説明します。 これは、コピー アクティビティの概要に関する記事に基づいています。

サポートされる機能

この Amazon RDS for Oracle コネクタは、次の機能でサポートされます。

① Azure 統合ランタイム ② セルフホステッド統合ランタイム

コピー アクティビティによってソースまたはシンクとしてサポートされるデータ ストアの一覧については、サポートされるデータ ストアに関する記事の表をご覧ください。

具体的には、この Amazon RDS for Oracle コネクタでは以下がサポートされています。

• バージョン 2.0 の Amazon RDS for Oracle データベースの次のバージョン:
  • Amazon RDS for Oracle 19c 以降
• バージョン 1.0 の Amazon RDS for Oracle データベースの次のバージョン:
  • Amazon RDS for Oracle 19c R1 (19.1) 以降
  • Amazon RDS for Oracle 18c R1 (18.1) 以降
  • Amazon RDS for Oracle 12c R1 (12.1) 以降
  • Amazon RDS for Oracle 11g R1 (11.1) 以降
• Amazon RDS for Oracle ソースからの並列コピー。 詳細については、「Amazon RDS for Oracle からの並列コピー」を参照してください。

前提条件

データ ストアがオンプレ ミスネットワーク、Azure 仮想ネットワーク、または Amazon Virtual Private Cloud 内にある場合は、それに接続するようセルフホステッド統合ランタイムを構成する必要があります。

データ ストアがマネージド クラウド データ サービスである場合は、Azure Integration Runtime を使用できます。 ファイアウォール規則で承認されている IP にアクセスが制限されている場合は、Azure Integration Runtime の IP を許可リストに追加できます。

また、Azure Data Factory のマネージド仮想ネットワーク統合ランタイム機能を使用すれば、セルフホステッド統合ランタイムをインストールして構成しなくても、オンプレミス ネットワークにアクセスすることができます。

Data Factory によってサポートされるネットワーク セキュリティ メカニズムやオプションの詳細については、「データ アクセス戦略」を参照してください。

統合ランタイムには、組み込みの Amazon RDS for Oracle ドライバーがあります。 そのため、Amazon RDS for Oracle からデータをコピーするときに、ドライバーを手動でインストールする必要はありません。

はじめに

パイプラインでコピー アクティビティを実行するには、次のいずれかのツールまたは SDK を使用します。

• データ コピー ツール
• Azure ポータル
• .NET SDK
• Python SDK
• Azure PowerShell
• REST API
• Azure Resource Manager テンプレート

UI を使用して Amazon RDS for Oracle のリンク サービスを作成する

次の手順を使用して、Azure portal UI で Amazon RDS for Oracle のリンク サービスを作成します。

1. Azure Data Factory または Synapse ワークスペースの [管理] タブに移動し、[リンクされたサービス] を選択して、[新規] をクリックします。

   • Azureデータファクトリー
   • Azure Synapse

   

2. Amazon RDS for Oracle を検索し、Amazon RDS for Oracle コネクタを選択します。

   

3. サービスの詳細を構成し、接続をテストして、新しいリンク サービスを作成します。

   

コネクタの構成の詳細

以下のセクションでは、Amazon RDS for Oracle コネクタに固有のエンティティの定義に使用されるプロパティについて詳しく説明します。

リンクされたサービスのプロパティ

Amazon RDS for Oracle コネクタ バージョン 2.0 では、TLS 1.3 がサポートされています。 Amazon RDS for Oracle コネクタのバージョンをバージョン 1.0 からアップグレードするには、この セクション を参照してください。 プロパティの詳細については、対応するセクションを参照してください。

• バージョン 2.0
• バージョン 1.0

バージョン 2.0

Amazon RDS for Oracle のリンクされたサービスでは、バージョン 2.0 を適用すると、次のプロパティがサポートされます。

ケースごとにリンクされたサービスで設定できるその他の接続プロパティ:

例:

{
    "name": "AmazonRdsForOracleLinkedService",
    "properties": {
        "type": "AmazonRdsForOracle",
        "version": "2.0",
        "typeProperties": {
            "server": "<server name>", 
            "username": "<user name>", 
            "password": "<password>", 
            "authenticationType": "<authentication type>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

例: パスワードを Azure Key Vault に格納する

{
    "name": "AmazonRdsForOracleLinkedService",
    "properties": {
        "type": "AmazonRdsForOracle",
        "version": "2.0",
        "typeProperties": {
            "server": "<server name>", 
            "username": "<user name>", 
            "authenticationType": "<authentication type>",
            "password": {
                "type": "AzureKeyVaultSecret",
                "store": {
                    "referenceName": "<Azure Key Vault linked service name>",
                    "type": "LinkedServiceReference"
                }, 
                "secretName": "<secretName>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

server プロパティの構成

serverプロパティの場合は、次の 3 つの形式のいずれかで指定できます。

次の一覧は、 serverで使用されるサポートされているパラメーターを示しています。 次の一覧にないパラメーターを使用すると、接続は失敗します。

• Azure 統合ランタイムを使用する場合:

  ホスト
  ポート
  プロトコル
  SERVICE_NAME
  SID
  INSTANCE_NAME
  サーバー
  CONNECT_TIMEOUT
  リトライ回数
  リトライ遅延
  SSLバージョン
  SSL_SERVER_DN_MATCH
  SSL_SERVER_CERT_DN

• セルフホステッド統合ランタイムを使用する場合:

  ホスト
  ポート
  プロトコル
  エネーブル
  有効期限時間
  フェールオーバー
  LOAD_BALANCE
  RECV_BUF_SIZE
  SDU
  SEND_BUF_SIZE
  SOURCE_ROUTE
  サービスの種類
  COLOCATION_TAG
  CONNECTION_ID_PREFIX
  FAILOVER_MODE
  GLOBAL_NAME
  HS
  INSTANCE_NAME
  プールの境界
  POOL_CONNECTION_CLASS
  プール名
  プールの純度
  RDBデータベース
  SHARDING_KEY
  SHARDING_KEY_ID
  SUPER_SHARDING_KEY
  サーバー
  SERVICE_NAME
  SID
  TUNNEL_SERVICE_NAME
  SSLクライアント認証
  SSL_CERTIFICATE_ALIAS
  SSL_CERTIFICATE_THUMBPRINT
  SSLバージョン
  SSL_SERVER_DN_MATCH
  SSL_SERVER_CERT_DN
  財布の位置
  CONNECT_TIMEOUT
  リトライ回数
  リトライ遅延
  TRANSPORT_CONNECT_TIMEOUT
  RECV_TIMEOUT
  圧縮
  圧縮レベル

バージョン 1.0

Amazon RDS for Oracle のリンクされたサービスでは、バージョン 1.0 を適用すると、次のプロパティがサポートされます。

フェールオーバー シナリオ用の Amazon RDS for Oracle インスタンスが複数ある場合は、Amazon RDS for Oracle のリンク サービスを作成して、プライマリ ホスト、ポート、ユーザー名、パスワードなどを入力し、プロパティ名として 、値として AlternateServers を指定した新しい "(HostName=<secondary host>:PortNumber=<secondary port>:ServiceName=<secondary service name>)" を追加できます。値には角かっこを忘れずに入力し、区切り文字としてコロン (:) を使用することに注意してください。 以下の例では、代替サーバーの値により、接続フェールオーバー用の代替データベース サーバーが 2 台定義されます。(HostName=AccountingAmazonRdsForOracleServer:PortNumber=1521:SID=Accounting,HostName=255.201.11.24:PortNumber=1522:ServiceName=ABackup.NA.MyCompany)

接続文字列には他にも、ケースに応じてさまざまな接続プロパティを設定できます。それらのプロパティを次に示します。

Amazon RDS for Oracle の接続で暗号化を有効にする場合、2 つのオプションがあります。

• Triple-DES Encryption (3DES) と Advanced Encryption Standard (AES) を使用するには、Amazon RDS for Oracle サーバー側で Oracle Advanced Security (OAS) に移動し、暗号化設定を構成します。 詳細については、こちらの Oracle のドキュメントを参照してください。 Amazon RDS for Oracle Application Development Framework (ADF) コネクタは暗号化方法を自動的にネゴシエートし、Amazon RDS for Oracle への接続を確立するときにユーザーが OAS で構成した方法を使用します。

• TLS を使用するには以下の手順に従ってください。

  1. TLS/SSL 証明書情報を取得します。 TLS/SSL 証明書の Distinguished Encoding Rules (DER) でエンコードされた証明書情報を取得し、出力 (----- Begin Certificate … End Certificate -----) をテキスト ファイルとして保存します。

     openssl x509 -inform DER -in [Full Path to the DER Certificate including the name of the DER Certificate] -text
     

     例: DERcert.cer から証明書情報を抽出し、出力を cert.txt に保存します。

     openssl x509 -inform DER -in DERcert.cer -text
     Output:
     -----BEGIN CERTIFICATE-----
     XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
     XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
     XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
     XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
     XXXXXXXXX
     -----END CERTIFICATE-----
     

  2. keystore または truststore をビルドします。 次のコマンドでは、PKCS-12 形式のパスワード含まれる、または含まれない、truststore ファイルが作成されます。

     openssl pkcs12 -in [Path to the file created in the previous step] -out [Path and name of TrustStore] -passout pass:[Keystore PWD] -nokeys -export
     

     例: パスワードを含む MyTrustStoreFile という名前の PKCS12 truststore ファイルを作成します。

     openssl pkcs12 -in cert.txt -out MyTrustStoreFile -passout pass:ThePWD -nokeys -export  
     

  3. セルフホステッド IR マシンに truststore ファイルを配置します。 たとえば、C:\MyTrustStoreFile にファイルを配置します。

  4. サービスで、EncryptionMethod=1 および対応する TrustStore/TrustStorePassword 値を含む Amazon RDS for Oracle 接続文字列を構成します。 たとえば、「 Host=<host>;Port=<port>;Sid=<sid>;User Id=<username>;Password=<password>;EncryptionMethod=1;TrustStore=C:\\MyTrustStoreFile;TrustStorePassword=<trust_store_password> 」のように入力します。

例:

{
    "name": "AmazonRdsForOracleLinkedService",
    "properties": {
        "type": "AmazonRdsForOracle",
        "typeProperties": {
            "connectionString": "Host=<host>;Port=<port>;Sid=<sid>;User Id=<username>;Password=<password>;"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

例: パスワードを Azure Key Vault に格納する

{
    "name": "AmazonRdsForOracleLinkedService",
    "properties": {
        "type": "AmazonRdsForOracle",
        "typeProperties": {
            "connectionString": "Host=<host>;Port=<port>;Sid=<sid>;User Id=<username>;",
            "password": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

データセットのプロパティ

このセクションでは、Amazon RDS for Oracle データセットでサポートされるプロパティの一覧を示します。 データセットの定義に使用できるセクションとプロパティの一覧については、データセットに関する記事をご覧ください。

Amazon RDS for Oracle からデータをコピーするには、データセットの type プロパティを AmazonRdsForOracleTable に設定します。 次のプロパティがサポートされています。

例:

{
    "name": "AmazonRdsForOracleDataset",
    "properties":
    {
        "type": "AmazonRdsForOracleTable",
        "schema": [],
        "typeProperties": {
            "schema": "<schema_name>",
            "table": "<table_name>"
        },
        "linkedServiceName": {
            "referenceName": "<Amazon RDS for Oracle linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

コピー アクティビティのプロパティ

このセクションでは、Amazon RDS for Oracle ソースでサポートされるプロパティの一覧を示します。 アクティビティの定義に利用できるセクションとプロパティの完全な一覧については、パイプラインに関するページを参照してください。

ソースとしての Amazon RDS for Oracle

Amazon RDS for Oracle からデータをコピーするには、コピー アクティビティのソースの種類を AmazonRdsForOracleSource に設定します。 コピー アクティビティの source セクションでは、次のプロパティがサポートされます。

例: パーティションなしで基本的なクエリを使用してデータをコピーする

"activities":[
    {
        "name": "CopyFromAmazonRdsForOracle",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Amazon RDS for Oracle input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "AmazonRdsForOracleSource",
                "convertDecimalToInteger": false,
                "oracleReaderQuery": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Amazon RDS for Oracle からの並列コピー

Amazon RDS for Oracle コネクタでは、Amazon RDS for Oracle からデータを並列コピーするために、組み込みのデータ パーティション分割を提供します。 データ パーティション分割オプションは、コピー アクティビティの [ソース] タブにあります。

パーティション分割されたコピーを有効にすると、サービスによって Amazon RDS for Oracle ソースに対する並列クエリが実行され、パーティションごとにデータが読み込まれます。 並列度は、コピー アクティビティの parallelCopies 設定によって制御されます。 たとえば、parallelCopies を 4 に設定した場合、指定したパーティション オプションと設定に基づいて 4 つのクエリが同時に生成され、実行されます。各クエリでは、Amazon RDS for Oracle データベースからデータの一部を取得します。

特に、Amazon RDS for Oracle データベースから大量のデータを読み込む場合は、データ パーティション分割を使用した並列コピーを有効にすることをお勧めします。 さまざまなシナリオの推奨構成を以下に示します。 ファイルベースのデータ ストアにデータをコピーする場合は、複数のファイルとしてフォルダーに書き込む (フォルダー名のみを指定する) ことをお勧めします。この場合、1 つのファイルに書き込むよりもパフォーマンスが優れています。

例: 物理パーティションを使用してクエリを実行する

"source": {
    "type": "AmazonRdsForOracleSource",
    "query": "SELECT * FROM <TABLENAME> PARTITION(\"?AdfTabularPartitionName\") WHERE <your_additional_where_clause>",
    "partitionOption": "PhysicalPartitionsOfTable",
    "partitionSettings": {
        "partitionNames": [
            "<partitionA_name>",
            "<partitionB_name>"
        ]
    }
}

例: 動的範囲パーティションを使用してクエリを実行する

"source": {
    "type": "AmazonRdsForOracleSource",
    "query": "SELECT * FROM <TABLENAME> WHERE ?AdfRangePartitionColumnName <= ?AdfRangePartitionUpbound AND ?AdfRangePartitionColumnName >= ?AdfRangePartitionLowbound AND <your_additional_where_clause>",
    "partitionOption": "DynamicRange",
    "partitionSettings": {
        "partitionColumnName": "<partition_column_name>",
        "partitionUpperBound": "<upper_value_of_partition_column>",
        "partitionLowerBound": "<lower_value_of_partition_column>"
    }
}

Amazon RDS for Oracle のデータ型マッピング

Amazon RDS for Oracle との間でデータをコピーするときに、サービス内で次の中間データ型マッピングが使用されます。 コピー アクティビティでソースのスキーマとデータ型がシンクにマッピングされるしくみについては、スキーマとデータ型のマッピングに関する記事を参照してください。

Lookup アクティビティのプロパティ

プロパティの詳細については、Lookup アクティビティに関するページを参照してください。

Amazon RDS for Oracle コネクタをアップグレードする

Amazon RDS for Oracle コネクタのアップグレードに役立つ手順を次に示します。

1. [ リンクされたサービスの編集] ページで、バージョン 2.0 を選択し、リンクされたサービス プロパティバージョン 2.0 を参照してリンクされたサービスを構成します。

   ユーザー名とパスワードを含む認証関連のプロパティについては、バージョン 2.0 の対応するフィールドに元の値を指定します。 バージョン 1.0 のホスト、ポート、Amazon RDS for Oracle サービス名/Amazon RDS for Oracle SID などのその他の接続プロパティが、バージョン 2.0 の server プロパティのパラメーターになりました。

   たとえば、次に示すようにバージョン 1.0 のリンクされたサービスを構成する場合は、次のようになります。

   

   { 
       "name": "AmazonRdsForOracleLinkedService", 
       "properties": { 
           "type": "AmazonRdsForOracle", 
           "typeProperties": { 
               "connectionString": "host=amazonrdsfororaclesample.com;port=1521;servicename=db1" 
           }, 
           "connectVia": { 
               "referenceName": "<name of Integration Runtime>", 
               "type": "IntegrationRuntimeReference" 
           } 
       } 
   }
   

   Easy Connect (Plus) の名前付けを使用する同じバージョン 2.0 のリンクされたサービス構成は次のとおりです。

   

   { 
       "name": "AmazonRdsForOracleLinkedService", 
       "properties": { 
           "type": "AmazonRdsForOracle", 
           "version": "2.0", 
           "typeProperties": { 
               "server": "amazonrdsfororaclesample.com:1521/db1",  
               "username": "<user name>",  
               "password": "<password>",  
               "authenticationType": "<authentication type>" 
           }, 
           "connectVia": { 
               "referenceName": "<name of Integration Runtime>", 
               "type": "IntegrationRuntimeReference" 
           } 
       } 
   } 
   

   コネクタ記述子を使用する同じバージョン 2.0 のリンクされたサービス構成は次のとおりです。

   

   { 
       "name": "AmazonRdsForOracleLinkedService", 
       "properties": { 
           "type": "AmazonRdsForOracle", 
           "version": "2.0", 
           "typeProperties": { 
               "server": "(DESCRIPTION=(ADDRESS=(PROTOCOL=tcp)(HOST= amazonrdsfororaclesample.com)(PORT=1521))(CONNECT_DATA=(SERVICE_NAME=db1)))",  
               "username": "<user name>",  
               "password": "<password>",  
               "authenticationType": "<authentication type>" 
           }, 
           "connectVia": { 
               "referenceName": "<name of Integration Runtime>", 
               "type": "IntegrationRuntimeReference" 
           } 
       } 
   } 
   

   ヒント

   azure Key Vault は、 server プロパティでサポートされています。 次に示すように、リンクされたサービス JSON を編集して Azure Key Vault 参照を追加できます。
   

   次の点に注意してください。

   • バージョン 1.0 で Oracle サービス名 を使用する場合は、バージョン 2.0 のサーバー形式として Easy Connect (Plus) の名前付け または コネクタ記述子 を使用できます。

   • バージョン 1.0 で Oracle SID を使用する場合は、バージョン 2.0 のサーバー形式として コネクタ記述子 を使用する必要があります。

   • バージョン 1.0 の追加の接続プロパティについては、バージョン 2.0 の server プロパティで代替プロパティまたはパラメーターを提供します。 バージョン 1.0 のプロパティをアップグレードするには、次の表を参照してください。

     バージョン 1.0	バージョン 2.0
     暗号化方法	PROTOCOL ( server のパラメーター)
     tnsnamesfile	TNS_ADMIN (セルフホステッド統合ランタイムでサポートされる環境変数)
     サーバー名	サーバー
     一括ロードを有効にする 値: 1、0	enableBulkLoad 値: true、false
     fetchtswtzastimestamp 値: 1、0	fetchTswtzAsTimestamp 値: true、false
     代替サーバー	DESCRIPTION_LIST ( server のパラメーター)
     配列サイズ	fetchSize
     cachedcursorlimit	ステートメントキャッシュサイズ (statementCacheSize)
     接続再試行回数	RETRY_COUNT ( server のパラメーター)
     イニシャライゼーションストリング	initializationString
     ログインタイムアウト	CONNECT_TIMEOUT ( server のパラメーター)
     暗号プロトコルバージョン	SSL_VERSION ( server のパラメーター)
     truststore	WALLET_LOCATION (server のパラメーター)

     たとえば、バージョン 1.0 で alternateservers を使用する場合は、バージョン 2.0 のサーバー プロパティで DESCRIPTION_LIST パラメーターを設定できます。

     alternateserversを使用したバージョン 1.0 のリンクされたサービス:

     {
         "name": "AmazonRdsForOracleV1",
         "properties": {
             "type": "AmazonRdsForOracle",
             "typeProperties": {
                 "connectionString": "host=amazonrdsfororaclesample.com;port=1521;servicename=db1;alternateservers=(HostName= amazonrdsfororaclesample2.com:PortNumber=1521:SID=db2,HostName=255.201.11.24:PortNumber=1522:ServiceName=db3)"
             }
         }
     }
     

     DESCRIPTION_LISTで パラメーターを使用する同じバージョン 2.0 のリンクされたサービス:

     {
         "name": "AmazonRdsForOracleV2",
         "properties": {
             "type": "AmazonRdsForOracle",
             "version": "2.0",
             "typeProperties": {
                 "server": "(DESCRIPTION_LIST=(DESCRIPTION=(ADDRESS=(PROTOCOL=tcp)(HOST=amazonrdsfororaclesample.com)(PORT=1521))(CONNECT_DATA=(SERVICE_NAME=db1)))(DESCRIPTION=(ADDRESS=(PROTOCOL=tcp)(HOST=amazonrdsfororaclesample2.com)(PORT=1521))(CONNECT_DATA=(SID=db2)))(DESCRIPTION=(ADDRESS=(PROTOCOL=tcp)(HOST=255.201.11.24)(PORT=1522))(CONNECT_DATA=(SERVICE_NAME=db3))))",
                 "username": "<user name>",  
                 "password": "<password>",  
                 "authenticationType": "<authentication type>" 
             }
         }
     }
     

2. Amazon RDS for Oracle のリンクされたサービス バージョン 2.0 のデータ型マッピングは、バージョン 1.0 とは異なります。 最新のデータ型マッピングについては、「 Amazon RDS for Oracle のデータ型マッピング」を参照してください。

   バージョン 2.0 で supportV1DataTypes 追加の接続プロパティを使用すると、データ型の変更によるアップグレードの難しさを軽減できます。 このプロパティを true に設定すると、バージョン 2.0 のデータ型がバージョン 1.0 と一致し続けます。

Amazon RDS for Oracle バージョン 2.0 とバージョン 1.0 の違い

Amazon RDS for Oracle コネクタ バージョン 2.0 は新しい機能を提供し、バージョン 1.0 のほとんどの機能と互換性があります。 次の表に、バージョン 2.0 とバージョン 1.0 の機能の違いを示します。

関連するコンテンツ

コピー アクティビティによってソース、シンクとしてサポートされるデータ ストアの一覧については、サポートされるデータ ストアに関するセクションを参照してください。