Disponibilidade do Eventhouse OneLake

Você pode criar uma cópia lógica dos dados do banco de dados KQL em uma casa de eventos ativando disponibilidade do OneLake. Ativar a disponibilidade do OneLake significa que você pode consultar os dados em seu banco de dados KQL no formato Delta Lake por meio de outros mecanismos de malha, como o modo Direct Lake no Power BI, Warehouse, Lakehouse, Notebooks e muito mais.

O Delta Lake é um formato de tabela unificado para data lake que permite acesso contínuo a dados em todos os motores de computação no Microsoft Fabric. Para obter mais informações sobre o Delta Lake, consulte O que é Delta Lake?.

Neste artigo, você aprenderá a ativar a disponibilidade de dados de banco de dados KQL no OneLake.

Como funciona

Você pode ativar a disponibilidade do OneLake ao nível da base de dados ou da tabela. Quando ativadas no nível do banco de dados, todas as novas tabelas e seus dados são disponibilizados no OneLake. Ao ativar o recurso, você também pode optar por aplicar essa opção a tabelas existentes selecionando a opção Aplicar a tabelas existentes, para incluir o preenchimento histórico. Ativar no nível da tabela apenas torna disponível essa tabela e os seus dados no OneLake. A política de retenção de dados do seu banco de dados KQL também é aplicada aos dados no OneLake. Os dados removidos do seu banco de dados KQL no final do período de retenção também são removidos do OneLake. Se desativar a disponibilidade do OneLake, os dados são suavemente eliminados do OneLake.

Enquanto a opção de disponibilidade do OneLake estiver ativada, não se podem executar as seguintes tarefas:

• Renomear tabelas
• Alterar esquemas de tabela
• Aplicar Segurança em Nível de Linha a tabelas
• Os dados não podem ser excluídos, truncados ou limpos

Se você precisar executar qualquer uma dessas tarefas, use as seguintes etapas:

1. Desative a disponibilidade do OneLake .

2. Execute a tarefa desejada.

3. Ative a disponibilidade do OneLake .

Pré-requisitos

• Um espaço de trabalho com uma capacidade habilitada para Microsoft Fabric
• Um banco de dados KQL com permissões de edição e dados

Ativar a disponibilidade do OneLake

Você pode ativar de disponibilidade do OneLake em um banco de dados ou tabela KQL.

1. Para ativar a disponibilidade do OneLake , selecione um banco de dados ou tabela.

2. Na seção OneLake do painel de detalhes, defina de Disponibilidade como Habilitado.

   

3. Na janela Ativar disponibilidade do Onelake, selecione Ativar.

   

4. Os detalhes do banco de dados ou da tabela são atualizados automaticamente.

   

Com a disponibilidade do OneLake ativada no seu banco de dados ou tabela KQL, agora pode aceder a todos os dados no caminho especificado do OneLake no formato Delta Lake. Também pode criar um atalho OneLake a partir de um Lakehouse, Data Warehouse ou consultar os dados diretamente através do modo Direct Lake do Power BI.

Comportamento adaptativo

A Eventhouse oferece um mecanismo robusto que agrupa de forma inteligente os fluxos de dados recebidos em um ou mais arquivos Parquet, estruturados para análise. É importante o envio em lote de fluxos de dados ao lidar com dados que chegam lentamente. Escrever muitos pequenos arquivos Parquet no lago pode ser ineficiente, resultando em custos mais altos e baixo desempenho.

O mecanismo adaptativo do Eventhouse pode atrasar as operações de gravação se não houver dados suficientes para criar arquivos Parquet ideais. Esse comportamento garante que os arquivos Parquet sejam ótimos em tamanho e sigam as práticas recomendadas do Delta Lake. O mecanismo adaptativo Eventhouse garante que os arquivos Parquet estejam preparados para análise e equilibra a necessidade de disponibilidade imediata de dados com considerações de custo e desempenho.

Por exemplo, use o seguinte comando para definir o atraso para 5 minutos:

.alter-merge table <TableName> policy mirroring dataformat=parquet with (IsEnabled=true, TargetLatencyInMinutes=5);

Você pode monitorar há quanto tempo novos dados foram adicionados no lago verificando a latência dos dados usando o comando .show table mirroring operations comando.

Os resultados são medidos a partir da última vez que os dados foram adicionados. Quando a latência resulta em 00:00:00, todos os dados no banco de dados KQL estão disponíveis no OneLake.

Ver ficheiros

Quando você ativa a disponibilidade do OneLake em uma tabela, uma pasta de log delta é criada junto com todos os arquivos JSON e Parquet correspondentes. Você pode visualizar os arquivos que foram disponibilizados no OneLake e suas propriedades enquanto permanece dentro da Inteligência em Tempo Real.

• Para visualizar os arquivos, passe o mouse sobre uma tabela no painel Explorer e, em seguida, selecione o menu Mais [...]>Ver ficheiros.

  

• Para visualizar as propriedades da pasta de log delta ou os arquivos individuais, passe o mouse sobre a pasta ou arquivo e, em seguida, selecione o menu Mais [...]>Propriedades.

• Para visualizar os arquivos na pasta delta log:

  1. Selecione a pasta _delta_log .
  2. Selecione um arquivo para exibir os metadados e o esquema da tabela. O editor que se abre está em formato somente leitura.

Política de espelhamento de acesso

Por padrão, quando a disponibilidade do OneLake está ativada, uma política de espelhamento é habilitada. Você pode usar a política para monitorizar a latência dos dados ou modificá-la para particionar tabelas delta.

Tabelas delta de partição

Você pode particionar suas tabelas delta para melhorar a velocidade de consulta. Para obter informações sobre quando particionar seus arquivos do OneLake, consulte Quando particionar tabelas. Cada partição é representada como uma coluna separada usando o PartitionName listado na lista Partições . Isso significa que sua cópia do OneLake tem mais colunas do que sua tabela de origem.

Para particionar as suas tabelas delta, use o comando .alter-merge table policy mirroring.

Consultar tabelas delta

Você pode usar o Notebook do Fabric para ler os dados do OneLake com o seguinte trecho de código.

No trecho de código, substitua <workspaceGuid>, <workspaceGuid>e <tableName> por seus próprios valores.

delta_table_path = 'abfss://`<workspaceGuid>`@onelake.dfs.fabric.microsoft.com/`<eventhouseGuid>`/Tables/`<tableName>`'

df = spark.read.format("delta").load(delta_table_path)

df.show()

delta_table_path = 'abfss://`<workspaceName>`@onelake.dfs.fabric.microsoft.com/`<itemName>`.KustoDatabase/Tables/`<tableName>`'

Conteúdos relacionados

• Para expor os dados no OneLake, consulte Criar um atalho no OneLake
• Para criar um atalho OneLake em Lakehouse, consulte O que são atalhos em lakehouse?
• Para consultar dados referenciados do OneLake em seu banco de dados ou tabela KQL, consulte Criar um atalho OneLake no banco de dados KQL