Compartilhar via

Data warehouses modernos para pequenas e médias empresas

Azure Data Lake
Banco de Dados SQL do Azure
Microsoft Fabric

Este artigo descreve várias maneiras pelas quais as pequenas e médias empresas (SMBs) podem modernizar armazenamentos de dados herdados e explorar ferramentas e funcionalidades de Big Data sem sobrecarregar os orçamentos atuais e conjuntos de habilidades. Essas soluções de data warehouse se integram ao Azure Machine Learning, aos serviços de IA do Azure, ao Microsoft Power Platform, ao Microsoft Dynamics 365 e a outras tecnologias da Microsoft. Essas soluções fornecem um ponto de entrada inicial para a plataforma de dados SaaS (software como serviço) totalmente gerenciada no Microsoft Fabric que pode se expandir conforme suas necessidades aumentam.

As PMEs que usam o SQL Server local para soluções de armazenamento de dados com menos de 500 GB podem se beneficiar do uso desse padrão. Eles usam várias ferramentas para ingestão de dados em sua solução de data warehousing, incluindo SQL Server Integration Services (SSIS), SSAS (SQL Server Analysis Services), SSRS (SQL Server Reporting Services), procedimentos armazenados comuns do SQL, extração externa, transformação, carga (ETL) e extração, carga, transformação (ELT), trabalhos do SQL Server Agent e replicação de instantâneo do SQL. As operações de sincronização de dados normalmente são baseadas em instantâneo, executadas em lotes e não exigem relatórios em tempo real.

Arquitetura simplificada

Diagrama que ilustra uma arquitetura SMB simplificada.

Baixe um arquivo do Visio dessa arquitetura.

Uma oportunidade de modernização conceitual envolve a transição da solução de armazenamento de dados herdada para uma combinação de Banco de Dados SQL do Azure, Instância Gerenciada de SQL do Azure e Fabric. Essa estratégia garante ampla compatibilidade com o SQL Server tradicional e ferramentas de cliente SQL, como o SQL Server Management Studio (SSMS). Ele também fornece opções de lift-and-shift para processos existentes e exige qualificação mínima para a equipe de suporte. Esta solução serve como um passo inicial em direção a uma modernização abrangente, que permite à organização adotar totalmente uma abordagem lakehouse à medida que o data warehouse se expande e o conjunto de habilidades da equipe aumenta.

Arquitetura

Diagrama que ilustra uma arquitetura expandida projetada para atender às necessidades futuras.

Baixe um arquivo do Visio dessa arquitetura.

Os data warehouses herdados de PME podem conter vários tipos de dados:

  • Dados não estruturados, como documentos e gráficos.

  • Dados semiestruturados, como logs, CSVs, JSON e arquivos XML.

  • Dados relacionais estruturados, incluindo bancos de dados que usam procedimentos armazenados para atividades ETL e ELT.

Fluxo de dados

O fluxo de dados a seguir corresponde ao diagrama anterior. Ele demonstra a ingestão do tipo de dados que você escolhe:

  1. Os pipelines de dados do Fabric ou os pipelines do Azure Data Factory orquestram a ingestão de dados transacionais na solução de armazenamento de dados.

    • Os pipelines orquestram o fluxo de bancos de dados herdados migrados ou parcialmente refatorados e pacotes do SSIS no Banco de Dados SQL e na Instância Gerenciada de SQL. Você pode implementar essa abordagem lift-and-shift para fazer a transição de uma solução SQL local para um ambiente SaaS do Fabric futuro. Você pode modernizar os bancos de dados gravativamente após o lift-and-shift.

    • Os pipelines podem passar dados não estruturados, semiestruturados e estruturados para o Azure Data Lake Storage para armazenamento centralizado e análise com outras fontes. Use essa abordagem quando a fusão de dados fornecer mais benefícios de negócios do que a reformulação dos dados.

  2. Use fontes de dados do Microsoft Dynamics 365 para criar painéis centralizados de business intelligence (BI) em conjuntos de dados aumentados usando ferramentas de análise sem servidor do Fabric. Você pode trazer os dados combinados e processados de volta para o Dynamics e usá-los para análise posterior no Fabric.

  3. Os dados em tempo real das fontes de streaming podem entrar no sistema por meio dos Hubs de Eventos do Azure ou outras soluções de streaming. Para clientes com requisitos de painel em tempo real, a análise em tempo real do Fabric pode analisar esses dados imediatamente.

  4. Os dados podem ser ingeridos no Fabric OneLake centralizado para análise, armazenamento e relatórios adicionais usando atalhos do Data Lake Storage. Esse processo permite a análise no local e facilita o consumo downstream.

  5. As ferramentas de análise sem servidor, como o ponto de extremidade da Análise de SQL e os recursos do Fabric Spark, estão disponíveis sob demanda dentro do próprio Fabric e não exigem nenhum recurso provisionado. As ferramentas de análise sem servidor são ideais para:

    • Atividades de ETL e ELT nos dados do OneLake.

    • Fornecer o nível ouro de arquitetura de medalhão para relatórios do Power BI por meio do recurso DirectLake.

    • Explorações improvisadas de ciência de dados no formato T-SQL ou Python.

    • Protótipos iniciais para entidades de data warehouse.

O Fabric se integra a potenciais consumidores de seus conjuntos de dados de várias fontes, incluindo relatórios front-end do Power BI, Machine Learning, Power Apps, Aplicativos Lógicos do Azure, Azure Functions e aplicativos Web do Serviço de Aplicativo do Azure.

Componentes

  • O Fabric é um serviço de análise que combina engenharia de dados, data warehousing, ciência de dados e recursos de BI e dados em tempo real. Nesta solução, os recursos de engenharia de dados do Fabric fornecem uma plataforma colaborativa para engenheiros de dados, cientistas de dados, analistas de dados e profissionais de BI. Esse componente-chave é baseado em mecanismos de computação sem servidor e agrega valor comercial gerando insights que são distribuídos aos clientes.

  • O Banco de Dados SQL e a Instância Gerenciada de SQL são serviços de banco de dados relacional baseado em nuvem. O Banco de Dados SQL e a Instância Gerenciada de SQL usam o SSMS para desenvolver e manter artefatos herdados, como procedimentos armazenados. Nessa arquitetura, esses serviços hospedam o data warehouse corporativo e executam atividades ETL e ELT usando procedimentos armazenados ou pacotes externos. O Banco de Dados SQL e a Instância Gerenciada de SQL são ambientes de PaaS (plataforma como serviço) que você pode usar para atender aos requisitos de alta disponibilidade e recuperação de desastre. Escolha um SKU que atenda aos seus requisitos. Para obter mais informações, consulte Alta disponibilidade para o Banco de Dados SQL e alta disponibilidade para a Instância Gerenciada de SQL.

  • O SSMS é um ambiente integrado para gerenciar a infraestrutura do SQL. Essa arquitetura usa o SSMS para desenvolver e manter objetos como procedimentos armazenados no Banco de Dados SQL e na Instância Gerenciada de SQL.

  • Os Hubs de Eventos são uma plataforma de streaming de dados em tempo real e um serviço de ingestão de eventos. Nessa arquitetura, os Hubs de Eventos se integram aos serviços de dados do Azure para ingerir dados de streaming de várias fontes no lakehouse para análise e relatórios.

Alternativas

  • Você pode usar o Hub IoT do Azure para substituir ou complementar os Hubs de Eventos. Escolha sua solução com base na fonte dos seus dados de streaming e se você precisa de clonagem e comunicação bidirecional com os dispositivos de relatório.

  • Você pode usar pipelines de dados do Fabric em vez de pipelines do Data Factory para integração de dados. Sua decisão dependerá de vários fatores. Para obter mais informações, consulte Como obter do Azure Data Factory para o Data Factory no Fabric.

  • Você pode usar o Fabric Warehouse em vez do Banco de Dados SQL ou da Instância Gerenciada de SQL para armazenar dados corporativos. Este artigo prioriza o tempo de lançamento no mercado para clientes que desejam modernizar seus data warehouses. Para obter mais informações sobre as opções de armazenamento de dados do Fabric, consulte o guia de decisão do Fabric.

Detalhes do cenário

Quando os SMBs modernizam seus data warehouses locais para a nuvem, eles podem adotar ferramentas de Big Data para escalabilidade futura ou usar soluções tradicionais baseadas em SQL para eficiência de custo, manutenção e uma transição previsível. Uma abordagem híbrida permite a migração de propriedades de dados existentes usando ferramentas modernas e recursos de IA. As PMEs podem manter a execução de suas fontes de dados baseadas em SQL na nuvem e modernizá-las conforme necessário.

Este artigo descreve várias estratégias para as PMEs modernizarem armazenamentos de dados herdados e explorarem ferramentas e recursos de Big Data sem extrapolar os orçamentos e conjuntos de habilidades atuais. Essas soluções de data warehouse do Azure se integram aos serviços do Azure e da Microsoft, incluindo serviços de IA, Microsoft Dynamics 365 e Microsoft Power Platform.

Possíveis casos de uso

  • Faça a migração de um data warehouse relacional local tradicional com menos de 1 TB e use pacotes de SSIS para orquestrar procedimentos armazenados.

  • Malha dados existentes do Dynamics ou do Microsoft Power Platform Dataverse com fontes data lake em lote e em tempo real.

  • Use técnicas inovadoras para interagir com os dados centralizados do Azure Data Lake Storage Gen2. Essas técnicas incluem análise sem servidor, mineração de conhecimento, fusão de dados entre domínios e exploração de dados do usuário final, incluindo o Fabric Copilot.

  • Configure empresas de comércio eletrônico para adotar um data warehouse para otimizar suas operações.

Essa solução não é recomendada para:

  • Uma implantação greenfield de data warehouses.

  • Migração de data warehouses locais maiores que 1 TB ou projetados para atingir esse tamanho dentro de um ano.

Considerações

Essas considerações implementam os pilares do Azure Well-Architected Framework, que é um conjunto de princípios orientadores que você pode usar para melhorar a qualidade de uma carga de trabalho. Para obter mais informações, consulte Well-Architected Framework.

Otimização de custos

A Otimização de Custos concentra-se em maneiras de reduzir despesas desnecessárias e melhorar a eficiência operacional. Para obter mais informações, consulte a lista de verificação de revisão de design para Otimização de Custos.

  • A calculadora de preços do Azure permite modificar valores para entender como seus requisitos específicos afetam os custos. Você pode ver um exemplo de preço para um cenário de armazenamento de dados de PME na calculadora de preços do Azure.

  • O preço do Banco de Dados SQL depende das camadas de computação e serviço escolhidas e do número de vCores e unidades de transação de banco de dados. O exemplo descreve um banco de dados individual com computação provisionada e oito vCores e pressupõe que você precisa executar procedimentos armazenados no Banco de Dados SQL.

  • O preço do Data Lake Storage Gen2 depende da quantidade de dados que você armazena e da frequência com que os dados são usados. O preço de amostra abrange 1 TB de armazenamento de dados e outras suposições transacionais. O um 1 TB se refere ao tamanho do data lake e não ao tamanho do banco de dados herdado original.

  • O preço da malha depende do preço de capacidade do Fabric F ou do preço Premium por Pessoa. Os recursos sem servidor usam CPU e memória de sua capacidade dedicada adquirida.

  • O preço dos Hubs de Eventos depende da camada escolhida, do número de unidades de taxa de transferência provisionadas e do tráfego de entrada recebido. O exemplo pressupõe uma unidade de produtividade na camada Standard que lida com mais de um milhão de eventos por mês.

Colaboradores

Esse artigo é mantido pela Microsoft. Ele foi originalmente escrito pelos colaboradores a seguir.

Autor principal:

Para ver perfis não públicos do LinkedIn, entre no LinkedIn.

Próximas etapas