Nota
O acesso a esta página requer autorização. Pode tentar iniciar sessão ou alterar os diretórios.
O acesso a esta página requer autorização. Pode tentar alterar os diretórios.
Neste artigo, você aprenderá a obter dados do Armazenamento do Azure (contêiner ADLS Gen2, contêiner de blob ou blobs individuais). Você pode importar dados na sua tabela de forma contínua ou como uma importação única. Uma vez ingeridos, os dados ficam disponíveis para consulta.
Ingestão contínua (Pré-visualização): a ingestão contínua envolve a configuração de um pipeline de ingestão que permite a uma casa de eventos ouvir eventos do Armazenamento do Azure. O pipeline notifica a casa de eventos para extrair informações quando ocorrerem eventos inscritos. Os eventos são BlobCreated e BlobRenamed.
Importante
Este recurso está em pré-visualização.
Ingestão única: use este método para recuperar dados do Armazenamento do Azure como uma operação única.
Observação
- Um fluxo de ingestão contínua pode afetar sua cobrança. Para obter mais informações, consulte Eventhouse e Consumo do Banco de Dados KQL.
Advertência
Não há suporte para a ingestão a partir de uma conta de Armazenamento do Azure (continua e única vez) usando uma ligação privada.
Pré-requisitos
- Um espaço de trabalho com uma capacidade ativada por Microsoft Fabric.
- Um banco de dados KQL com permissões de edição.
- Uma conta de armazenamento do Azure.
Pré-requisitos para ingestão contínua
- Uma identidade de espaço de trabalho do Fabric. Meu espaço de trabalho não é suportado. Se necessário, crie um novo espaço de trabalho.
No ambiente do Azure:
- Registre o provedor de recursos da Grade de Eventos com sua assinatura do Azure.
- Atribua à identidade do espaço de trabalho permissões da função Leitor de Dados de Blob de Armazenamento.
- Crie um contêiner de blob para armazenar os arquivos de dados.
- Carregue um ficheiro de dados. A estrutura do arquivo de dados é usada para definir o esquema da tabela. Para obter mais informações, consulte Formatos de dados suportados pelo Real-Time Intelligence.
Observação
Deve carregar um ficheiro de dados:
- Antes da configuração para definir o esquema da tabela durante a instalação.
- Após a configuração para acionar a ingestão contínua, visualizar dados e verificar a conexão.
Adicionar a atribuição de função de identidade do espaço de trabalho à conta de armazenamento
Nas definições do espaço de trabalho no Fabric, copie a identidade do espaço de trabalho.
No portal do Azure, navegue até sua conta de Armazenamento do Azure e selecione Controle de Acesso (IAM)>Adicionar>atribuição de função.
Selecione Storage Blob Data Reader.
Na caixa de diálogo Adicionar atribuição de função , selecione + Selecionar membros.
Cole o ID de identidade do espaço de trabalho, selecione o aplicativo e depois Selecione>Revisar + atribuir.
Criar um contêiner com arquivo de dados
Na conta de armazenamento, selecione Contêineres.
Selecione + Contêiner, insira um nome para o contêiner e selecione Salvar.
Entre no contêiner, selecione carregar e carregue o arquivo de dados preparado anteriormente.
Para obter mais informações, consulte formatos suportados e compressões suportadas.
No menu de contexto, [...], selecione Propriedades do contêiner e copie a URL para entrada durante a configuração.
Fonte
Defina a fonte para obter dados.
No seu espaço de trabalho, abra a EventHouse e selecione o banco de dados.
Na faixa de opções do banco de dados KQL, selecione Obter dados.
Selecione a fonte de dados na lista disponível. Neste exemplo, você está ingerindo dados do armazenamento do Azure .
Configurar
Selecione uma tabela de destino. Se pretender ingerir dados numa nova tabela, selecione + Nova tabela e introduza um nome de tabela.
Observação
Os nomes das tabelas podem ter até 1.024 caracteres, incluindo espaços, alfanuméricos, hífenes e sublinhados. Não há suporte para caracteres especiais.
Na configuração da conexão de Armazenamento de Blob do Azure, verifique se a ingestão contínua está ativada. Ele está ativado por padrão.
Configure a conexão criando uma nova conexão ou usando uma conexão existente.
Para criar uma nova conexão:
Selecione Conectar a uma conta de armazenamento.
Use as descrições a seguir para ajudar a preencher os campos.
Configuração Descrição do campo Subscrição A assinatura da conta de armazenamento. Conta de armazenamento de blobs Nome da conta de armazenamento. Contentor O contêiner de armazenamento que contém o arquivo que você deseja ingerir. Observação
O uso de um link privado não é suportado.
No campo Conexão , abra a lista suspensa e selecione + Nova conexão e, em seguida, Salvar>fechar. As configurações de conexão são pré-preenchidas.
Observação
A criação de uma nova conexão resulta em um novo Eventstream. O nome é definido como <storate_account_name>_eventstream. Certifique-se de não remover o fluxo de eventos de ingestão contínua do espaço de trabalho.
Para usar uma conexão existente:
Selecione Selecionar uma conta de armazenamento existente.
Use as descrições a seguir para ajudar a preencher os campos.
Configuração Descrição do campo RTAStorageAccount Um fluxo de eventos conectado à sua conta de armazenamento a partir do Fabric. Contentor O contêiner de armazenamento que contém o arquivo que você deseja ingerir. Conexão Isto está pré-preenchido com a string de conexão No campo Conexão, abra a lista suspensa e selecione a string de conexão existente. Em seguida, selecione Salvar>fechar.
Opcionalmente, expanda Filtros de arquivo e especifique os seguintes filtros:
Configuração Descrição do campo Caminho da pasta Filtra dados para ingerir arquivos com um caminho de pasta específico. Extensão do arquivo Filtra dados para ingerir arquivos apenas com uma extensão de arquivo específica. Na seção Configurações do Eventstearm, você pode selecionar os eventos a serem monitorados em Configurações> avançadasTipo(s) de evento. Por padrão, Blob criado é selecionado. Você também pode selecionar Blob renomeado.
Selecione Avançar para visualizar os dados.
Inspecionar
A guia Inspecionar é aberta com uma pré-visualização dos dados.
Para concluir o processo de ingestão, selecione Concluir.
Observação
Para evocar dados de ingestão contínua e visualização, certifique-se de ter carregado um novo blob de armazenamento após a configuração.
Opcionalmente:
Use a lista suspensa do arquivo de definição de esquema para alterar o arquivo do qual o esquema é inferido.
Use a lista suspensa de tipo de arquivo para explorar as opções avançadas com base no tipo de dados.
Use o menu suspenso Table_mapping para definir um novo mapeamento.
Selecione </> para abrir o visualizador de comandos para visualizar e copiar os comandos automáticos gerados a partir de suas entradas. Você também pode abrir os comandos em um Queryset
Selecione o ícone de lápis para Editar colunas.
Editar colunas
Observação
- Para formatos tabulares (CSV, TSV, PSV), não é possível mapear uma coluna duas vezes. Para mapear para uma coluna existente, primeiro exclua a nova coluna.
- Não é possível alterar um tipo de coluna existente. Se você tentar mapear para uma coluna com um formato diferente, você pode acabar com colunas vazias.
As alterações que você pode fazer em uma tabela dependem dos seguintes parâmetros:
- Tipo de Tabela é novo ou existente
- O tipo de mapeamento é novo ou existente
Mapeando transformações
Alguns mapeamentos de formato de dados (Parquet, JSON e Avro) suportam transformações simples durante a ingestão. Para aplicar transformações de mapeamento, crie ou atualize uma coluna na janela Editar colunas.
As transformações de mapeamento podem ser executadas em uma coluna do tipo string ou datetime, com a fonte tendo o tipo de dados int ou long. Para obter mais informações, consulte a lista completa de transformações de mapeamento suportadas.
Opções avançadas com base no tipo de dados
Tabela (CSV, TSV, PSV):
Se estiver a ingerir formatos tabulares numa tabela existente, pode selecionar Avançadas>Manter o esquema da tabela. Os dados tabulares não incluem necessariamente os nomes das colunas usadas para mapear os dados de origem para as colunas existentes. Quando essa opção é marcada, o mapeamento é feito por ordem e o esquema da tabela permanece o mesmo. Se essa opção estiver desmarcada, novas colunas serão criadas para os dados de entrada, independentemente da estrutura dos dados.
Os dados tabulares não incluem necessariamente os nomes das colunas usadas para mapear os dados de origem para as colunas existentes. Para usar a primeira linha como nomes de coluna, selecione Primeira linha é o cabeçalho da coluna.
Captura de ecrã onde a primeira linha é a alternância do cabeçalho da coluna.
Tabela (CSV, TSV, PSV):
Se você estiver ingerindo formatos tabulares em uma tabela existente, poderá selecionar Table_mapping>Usar esquema existente. Os dados tabulares não incluem necessariamente os nomes das colunas usadas para mapear os dados de origem para as colunas existentes. Quando essa opção é marcada, o mapeamento é feito por ordem e o esquema da tabela permanece o mesmo. Se essa opção estiver desmarcada, novas colunas serão criadas para os dados de entrada, independentemente da estrutura dos dados.
Para usar a primeira linha como nomes de coluna, selecione Cabeçalho da primeira linha.
JSON:
Para determinar a divisão de colunas dos dados JSON, selecione Níveis aninhados, de 1 a 100.
Resumo
Na janela Resumo , todas as etapas são marcadas com marcas de seleção verdes quando a ingestão de dados é concluída com êxito. Você pode selecionar um cartão para explorar os dados, excluir os dados ingeridos ou criar um painel com métricas-chave.
Quando fecha a janela, pode ver a ligação no separador Explorer, em Fluxos de dados. A partir daqui, você pode filtrar os fluxos de dados e excluir um fluxo de dados.
Conteúdo relacionado
- Para gerenciar seu banco de dados, consulte Gerenciar dados
- Para criar, armazenar e exportar consultas, consulte Consultar dados em um conjunto de consultas KQL