コピー アクティビティで FTP を構成する

この記事では、パイプラインでコピー アクティビティを使用して FTP からデータをコピーする方法について説明します。

サポートされている形式

FTP では、次のファイル形式がサポートされています。 形式ベースの設定については、各記事を参照してください。

• Avro 形式
• バイナリ形式
• 区切りテキスト形式
• Excel 形式
• JSON 形式
• ORC 形式
• Parquet 形式
• XML 形式

サポートされている構成

コピー アクティビティの下の各タブの構成については、それぞれ次のセクションを参照してください。

• 全般
• ソース
• マッピング
• [設定]

全般

[全般設定] タブを構成するには、全般設定のガイダンスを参照してください。

情報源

[ ソース ] タブに移動して、コピー アクティビティのソースを構成します。 詳細な構成については、次の内容を参照してください。

次の 3 つのプロパティが 必要です。

• 接続: 接続リストから FTP 接続を選択します。 接続が存在しない場合は、[ 新規] を選択して新しい FTP 接続を作成します。

• ファイル パスの種類: ファイルの読み取り方法に基づいて、 ファイル パス、ワイルドカード ファイル パス 、ファイル の一覧 から選択します。

  • ファイル パス: この種類を選択した場合は、ソース ファイルのパスを指定します。 [参照] を選択してソース ファイルを選択するか、ファイル パスを手動で入力します。

  • ワイルド ファイル パス: この種類を選択した場合は、ソース フォルダーまたはファイルをフィルター処理する ワイルドカード パス を指定します。

    使用できるワイルドカードは、 * (0 個以上の文字に一致) と ? (0 文字または 1 文字に一致) です。 フォルダー名にワイルドカードまたはこのエスケープ文字がある場合は、 ^ を使用してエスケープします。 その他の例については、「 フォルダーとファイル フィルターの例」を参照してください。

    

    ワイルドカード フォルダー パス: ソース フォルダーをフィルター処理するワイルドカード文字を含むフォルダー パスを指定します。

    ワイルドカード ファイル名: 指定された folderPath/wildcard フォルダー パスの下にワイルドカード文字を使用してファイル名を指定し、ソース ファイルをフィルター処理します。

  • ファイルの一覧: この種類を選択した場合は、[ フォルダー パス] と [ ファイルへのパス] リストを 指定して、特定のファイル セットをコピーすることを示します。 コピーするファイルの一覧を含むテキスト ファイル (1 行に 1 つのファイル) をポイントします。 その他の例については、「 ファイルリストの例」を参照してください。

    フォルダー パス: ソース フォルダーへのパスを指定します。 必須です。
    ファイル一覧へのパス: コピーするファイルの一覧を含むテキスト ファイルのパスを指定します。

    

• ファイル形式: ドロップダウン リストから適用されるファイル形式を選択します。 [ 設定] を 選択してファイル形式を構成します。 さまざまなファイル形式の設定については、 サポートされている形式 の記事を参照してください。

[詳細設定] では、次のフィールドを指定できます。

• [最終更新日時にフィルター処理]: ファイルは、最後に変更された日付に基づいてフィルター処理されます。 ファイル パスの種類をファイルのリストとして構成する場合、このプロパティは適用されません。

  • 開始時刻 (UTC): ファイルは、最終変更時刻が構成された時刻以上の場合に選択されます。
  • 終了時刻 (UTC): 最終変更時刻が構成された時間より短い場合、ファイルが選択されます。

  開始時刻 (UTC) に datetime 値があり、終了時刻 (UTC) が NULL の場合、最終変更属性が datetime 値以上のファイルが選択されることを意味します。 終了時刻 (UTC) に datetime 値があり、開始時刻 (UTC) が NULL の場合、最終変更属性が datetime 値より小さいファイルが選択されることを意味します。 プロパティには NULL を指定できます。つまり、ファイル属性フィルターはデータに適用されません。

• チャンクを無効にする: チャンクはパフォーマンスを最適化するように設計されており、その下で発生します。 このオプションを使用すると、各ファイル内のチャンクを無効にすることができます。 FTP からデータをコピーする場合、サービスは最初にファイルの長さを取得し、次にファイルを複数の部分に分割し、並列で読み取ろうとします。 FTP サーバーがファイル長の取得をサポートするか、特定のオフセットからの読み取りをシークするかを指定します。 既定では選択されていません。

• パーティション検出を有効にする: ファイル パスからパーティションを解析し、追加のソース列として追加するかどうかを指定します。 既定では選択されず、バイナリ ファイル形式を使用する場合はサポートされません。

  • パーティション ルート パス: パーティション検出が有効になっている場合は、パーティション分割されたフォルダーをデータ列として読み取るために絶対ルート パスを指定します。
    指定されていない場合、既定で。

    • ソースでファイル パスまたはファイルの一覧を使用する場合、パーティション ルート パスは構成したパスです。
    • ワイルドカード フォルダー フィルターを使用する場合、パーティション ルート パスは最初のワイルドカードの前のサブパスです。

    たとえば、パスを root/folder/year=2020/month=08/day=27 として構成するとします。

    • パーティション ルート パスを root/folder/year=2020として指定した場合、コピー アクティビティでは、ファイル内の列に加えて、それぞれ値が "08" と "27" の 2 つの列が月と日に生成されます。
    • パーティション ルート パスが指定されていない場合、追加の列は生成されません。

    

• バイナリ転送を使用する: バイナリ転送モードを使用するかどうかを指定します。 バイナリ モード (既定) を使用する場合は選択し、ASCII を使用するには選択を解除します。

• 最大同時接続数: このプロパティは、アクティビティの実行中にデータ ストアに対して確立された同時接続の上限を示します。 コンカレント接続数を制限する場合にのみ、値を指定します。

• その他の列: ソース ファイルの相対パスまたは静的な値を格納する追加のデータ列を追加します。 エクスプレッションは後者に対応しています。 詳細については、「 コピー中に列を追加する」を参照してください。

地図作成

[ マッピング ] タブの構成については、[ マッピング] タブでマッピングを構成するを参照してください。ファイル形式として [バイナリ] を選択した場合、マッピングはサポートされません。

設定

設定 タブの構成については、設定タブのの下で他の設定を構成するに移動します。

表の概要

次の表に、FTP でのコピー アクティビティの詳細を示します。

情報源

関連コンテンツ

• FTP コネクタの概要