Partilhar via

Oleodutos Declarativos Lakeflow

Lakeflow Declarative Pipelines é uma estrutura para criar pipelines de dados em lote e streaming em SQL e Python. Os casos de uso comuns do Lakeflow Declarative Pipelines incluem ingestão de dados de fontes como armazenamento em nuvem (como Amazon S3, Azure ADLS Gen2 e Google Cloud Storage) e barramentos de mensagens (como Apache Kafka, Amazon Kinesis, Google Pub/Sub, Azure EventHub e Apache Pulsar), além de transformações incrementais em lote e streaming.

Observação

Lakeflow Declarative Pipelines requer o plano Premium. Entre em contato com sua equipe de conta Databricks para obter mais informações.

Esta seção fornece informações detalhadas sobre o uso de Lakeflow Declarative Pipelines. Os tópicos a seguir irão ajudá-lo a começar.

Tópico Description
Conceitos de Lakeflow Declarative Pipelines Saiba mais sobre os conceitos de alto nível de Lakeflow Declarative Pipelines, incluindo pipelines, fluxos, tabelas de streaming e exibições materializadas.
Tutoriais Siga os tutoriais para obter experiência prática com a utilização de pipelines declarativas do Lakeflow.
Desenvolver fluxos de trabalho Saiba como desenvolver e testar pipelines que criam fluxos para ingestão e transformação de dados.
Configurar pipelines Saiba como agendar e configurar pipelines.
Monitorizar pipelines Saiba como monitorar seus pipelines e solucionar problemas de consultas de pipeline.
Desenvolvedores Saiba como usar Python e SQL ao desenvolver Lakeflow Declarative Pipelines.
Pipelines declarativos Lakeflow no Databricks SQL Saiba mais sobre como usar tabelas de streaming do Lakeflow Declarative Pipelines e exibições materializadas no Databricks SQL.

Mais informações