Condividi tramite

Pianificare processi U-SQL con SQL Server Integration Services (SSIS)

Questo documento illustra come orchestrare e creare processi U-SQL usando SQL Server Integration Service (SSIS).

Importante

Azure Data Lake Analytics è stato ritirato il 29 febbraio 2024. Per altre informazioni, vedere questo annuncio.

Per l'analisi dei dati, l'organizzazione può usare Azure Synapse Analytics o Microsoft Fabric.

Prerequisiti

Il Feature Pack di Azure per Integration Services offre l'attività Azure Data Lake Analytics e la Gestione connessione di Azure Data Lake Analytics, che consente di collegarsi al servizio Azure Data Lake Analytics. Per usare questa attività, assicurarsi di installare:

Attività di Azure Data Lake Analytics

L'attività Di Azure Data Lake Analytics consente agli utenti di inviare processi U-SQL all'account Azure Data Lake Analytics.

Informazioni su come configurare l'attività di Azure Data Lake Analytics.

Attività di Azure Data Lake Analytics in SSIS

È possibile ottenere lo script U-SQL da posizioni diverse usando funzioni e attività predefinite di SSIS, gli scenari seguenti illustrano come configurare gli script U-SQL per casi utente diversi.

Scenario 1 - Utilizzare script inline per chiamare tvfs e procedure memorizzate.

Nell'editor delle attività di Azure Data Lake Analytics, configurare SourceType come DirectInput e inserire le istruzioni U-SQL in USQLStatement.

Per semplificare la manutenzione e la gestione del codice, inserire solo uno script U-SQL breve come script inline, ad esempio, è possibile chiamare funzioni e stored procedure con valori di tabella esistenti nei database U-SQL.

Modificare lo script U-SQL inline nell'attività SSIS

Articolo correlato: Come passare il parametro alle stored procedure

Scenario 2: Usare file U-SQL in Azure Data Lake Store

È anche possibile usare i file U-SQL in Azure Data Lake Store, utilizzando Azure Data Lake Store File System Task in Azure Feature Pack. Questo approccio consente di usare gli script archiviati nel cloud.

Seguire questa procedura per configurare la connessione tra l'attività File system di Azure Data Lake Store e l'attività Di Azure Data Lake Analytics.

Impostare il flusso di controllo delle attività

Nella visualizzazione Progettazione pacchetti SSIS, aggiungere un Attività File System di Azure Data Lake Store, un Contenitore Ciclo Foreach e un Attività di Azure Data Lake Analytics nel Contenitore Ciclo Foreach. L'attività del file system di Azure Data Lake Store consente di scaricare file U-SQL dal tuo account ADLS in una cartella temporanea. Il contenitore Ciclo Foreach e l'attività di Azure Data Lake Analytics consentono di inviare ogni file U-SQL sotto la cartella temporanea all'account di Azure Data Lake Analytics come un processo U-SQL.

Diagramma che mostra un'attività del file system di Azure Data Lake Store che viene aggiunta a un Foreach Loop Container.

Configurare l'attività del sistema file di Azure Data Lake Store

  1. Impostare Operation su CopyFromADLS.
  2. Configurare AzureDataLakeConnection. Altre informazioni sul Gestore connessioni di Azure Data Lake Store.
  3. Impostare AzureDataLakeDirectory. Puntare alla cartella che archivia gli script U-SQL. Usare il percorso relativo relativo alla cartella radice dell'account Azure Data Lake Store.
  4. Impostare Destinazione su una cartella che memorizza nella cache gli script U-SQL scaricati. Questo percorso della cartella verrà usato nel contenitore del ciclo Foreach per l'invio di processi U-SQL.

Configura l'attività File system di Azure Data Lake Store

Scopri di più sull'attività File system di Azure Data Lake Store.

Configurare il contenitore ciclo Foreach

  1. Nella pagina Raccolta impostare Enumeratore su Foreach File Enumerator.

  2. Impostare Cartella nel gruppo di configurazione dell'enumeratore sulla cartella temporanea che include gli script U-SQL scaricati.

  3. Impostare File nella configurazione dell'enumeratore a *.usql in modo che il contenitore del ciclo catturi solo i file che terminano con .usql.

    Screenshot che mostra l'Editor del ciclo Foreach, con 'Collection' selezionato e le sezioni di configurazione dell'Enumeratore evidenziate.

  4. Sulla pagina Mapping variabili, aggiungere una variabile definita dall'utente per ottenere il nome del file per ogni file U-SQL. Impostare Index su 0 per ottenere il nome del file. In questo esempio definire una variabile denominata User::FileName. Questa variabile verrà usata per ottenere dinamicamente la connessione al file di script U-SQL e impostare il nome del processo U-SQL nell'attività Di Azure Data Lake Analytics.

    Configurare il contenitore del ciclo Foreach per ottenere il nome del file

Configurare l'attività Azure Data Lake Analytics

  1. Impostare SourceType su FileConnection.

  2. Impostare FileConnection sulla connessione file che punta agli oggetti file restituiti dal contenitore Ciclo Foreach.

    Per creare questo collegamento al file:

    1. Scegliere <Nuova connessione...> nell'impostazione FileConnessione.

    2. Impostare Tipo di utilizzo su File esistente e impostare File su qualsiasi percorso del file esistente.

      Screenshot che mostra l'editor gestione connessione file con l'opzione

    3. Nella visualizzazione Gestioni connessioni fare clic con il pulsante destro del mouse sulla connessione file creata e scegliere Proprietà.

    4. Nella finestra Proprietà, espandere Espressioni e impostare ConnectionString sulla variabile definita nel contenitore del ciclo Foreach, ad esempio inserendo @[User::FileName].

      Configurare il Foreach Loop Container

  3. Impostare AzureDataLakeAnalyticsConnection sull'account di Azure Data Lake Analytics a cui inviare i processi. Scopri di più su Gestore di connessione di Azure Data Lake Analytics.

  4. Imposta altre configurazioni del lavoro. Scopri di più.

  5. Usare espressioni per impostare dinamicamente il nome del processo U-SQL:

    1. Nella pagina Espressioni aggiungere una nuova coppia chiave-valore di espressione per JobName.

    2. Impostare il valore per JobName sulla variabile definita nel contenitore Ciclo Foreach, ad esempio @[User::FileName].

      Configurare l'espressione SSIS per il nome del processo U-SQL

Scenario 3- Usare file U-SQL in Archiviazione BLOB di Azure

È possibile utilizzare i file U-SQL nell'archiviazione BLOB di Azure con il compito di download BLOB di Azure presente nel pacchetto funzionalità di Azure. Questo approccio consente di usare gli script nel cloud.

I passaggi sono simili allo scenario 2: Usare i file U-SQL in Azure Data Lake Store. Modificare l'attività File system di Azure Data Lake Store in Attività di download BLOB di Azure. Altre informazioni sull'attività di download blob di Azure.

Il flusso di controllo è simile al seguente:

Utilizzare i file U-SQL nella piattaforma Azure Data Lake Store

Scenario 4- Usare file U-SQL nel computer locale

Oltre a usare i file U-SQL archiviati nel cloud, è anche possibile usare i file nel computer locale o i file distribuiti con i pacchetti SSIS.

  1. Fare clic con il pulsante destro del mouse su Gestioni connessioni nel progetto SSIS e scegliere Nuova gestione connessione.

  2. Selezionare Tipo di file e selezionare Aggiungi....

  3. Impostare Tipo di utilizzo su File esistente e impostare File sul file nel computer locale.

    Aggiungi connessione file al file locale

  4. Aggiungere l'attività Azure Data Lake Analytics e:

    1. Impostare SourceType su FileConnection.
    2. Impostare FileConnection sulla connessione di file creata.

  5. Completare altre configurazioni per l'attività Di Azure Data Lake Analytics.

Scenario 5-Usare l'istruzione U-SQL nella variabile SSIS

In alcuni casi, potrebbe essere necessario generare dinamicamente le istruzioni U-SQL. È possibile usare la variabile SSIS con l'espressione SSIS e altre attività SSIS, ad esempio Attività script, per generare dinamicamente l'istruzione U-SQL.

  1. Aprire la finestra dello strumento Variabili tramite il menu principale Variabili SSIS>.

  2. Aggiungere una variabile SSIS e impostare il valore direttamente o usare Expression per generare il valore.

  3. Aggiungere l'attività Azure Data Lake Analytics e:

    1. Impostare SourceType su Variabile.
    2. Impostare SourceVariable sulla variabile SSIS creata ora.

  4. Completare altre configurazioni per l'attività Di Azure Data Lake Analytics.

Scenario 6-Passa parametri allo script U-SQL

In alcuni casi, potrebbe essere necessario impostare dinamicamente il valore della variabile U-SQL nello script U-SQL. La funzionalità Mapping dei parametri nell'attività Di Azure Data Lake Analytics è utile per questo scenario. Esistono in genere due casi utente tipici:

  • Impostare le variabili di percorso del file di input e output in modo dinamico in base alla data e all'ora correnti.
  • Impostare il parametro per delle procedure memorizzate.

Altre informazioni su come impostare i parametri per lo script U-SQL.

Passaggi successivi