Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
A exportação de dados em um workspace do Log Analytics permite que você exporte dados continuamente de acordo com as tabelas selecionadas no workspace. Você pode exportar para uma conta de Armazenamento do Microsoft Azure ou Hubs de Eventos do Azure conforme os dados chegam a um pipeline do Azure Monitor. Este artigo fornece detalhes sobre esse recurso e as etapas para configurar a exportação de dados nos seus espaços de trabalho.
Visão geral
Os dados no Log Analytics ficam disponíveis pelo período de retenção definido em sua área de trabalho. Eles são usados em várias experiências fornecidas no Azure Monitor e nos serviços do Azure. Há casos em que você precisa usar outras ferramentas:
- Conformidade de armazenamento protegido contra adulteração: Os dados não podem ser alterados no Log Analytics após serem ingeridos, mas podem ser eliminados. Exporte para uma Conta de Armazenamento configurada com políticas de imutabilidade para manter os dados protegidos contra adulterações.
- Integração com serviços do Azure e outras ferramentas: exporte para Hubs de Eventos à medida que os dados chegarem e forem processados no Azure Monitor.
- Retenção de longo prazo dos dados de auditoria e segurança: Exporte para uma Conta de Armazenamento na região da área de trabalho. Você também pode replicar dados para outras regiões usando qualquer uma das Opções de redundância do Armazenamento do Azure, incluindo GRS e GZRS.
Depois de configurar as regras de exportação de dados em um espaço de trabalho do Log Analytics, novos dados para tabelas em regras são exportados do pipeline do Azure Monitor para sua conta de armazenamento ou Hubs de eventos conforme chegam. O tráfego de exportação de dados está na rede de backbone do Azure e não sai da rede do Azure.
Os dados são exportados sem um filtro. Por exemplo, quando você configura uma regra de exportação de dados para uma tabela SecurityEvent, todos os dados enviados à tabela SecurityEvent são exportados a partir do momento da configuração. Como alternativa, você pode filtrar ou modificar os dados exportados configurando transformações no workspace que se aplicam aos dados de entrada, antes que eles sejam enviados aos workspaces do Log Analytics e aos destinos de exportação.
Outras opções de exportação
A exportação de dados do espaço de trabalho do Log Analytics exporta continuamente dados que são enviados para seu espaço de trabalho do Log Analytics. Há outras opções para exportar dados para cenários específicos:
- Se um recurso do Azure já estiver enviando logs para o seu espaço de trabalho do Log Analytics por meio das configurações de log de diagnóstico, considere atualizar diretamente as configurações de diagnóstico no recurso do Azure para adicionar o novo destino, em vez de utilizar regularmente uma exportação de dados. Essa abordagem tem menor latência em comparação com uma exportação de dados, mas não envia dados históricos.
- Agende uma exportação de dados com base em uma consulta de log que você define com a API de consulta do Log Analytics. Use o Azure Data Factory, o Azure Functions ou os Aplicativos Lógicos do Azure para orquestrar consultas em seu workspace e exportar dados para um destino. Esse método é semelhante ao recurso de exportação de dados, mas você pode usá-lo para exportar dados históricos do workspace usando filtros e a agregação. Esse método está sujeito a limites de consulta de log e não é destinado à escala. Para obter mais informações, confira Exportar dados de um workspace do Log Analytics para uma Conta de Armazenamento utilizando Logic Apps.
- Use uma exportação única para um computador local usando um script do PowerShell. Para saber mais, confira Invoke-AzOperationalInsightsQueryExport.
Permissões necessárias
Ação | Permissões necessárias |
---|---|
Criar ou atualizar regra de exportação de dados | Microsoft.OperationalInsights/workspaces/dataexports/write permissões para o espaço de trabalho do Log Analytics, conforme fornecido pela função interna do Log Analytics Contributor, por exemplo |
Excluir regra de exportação de dados | Microsoft.OperationalInsights/workspaces/dataexports/delete permissões para o espaço de trabalho do Log Analytics, conforme fornecido pela função interna do Log Analytics Contributor, por exemplo |
Exportar para a conta de armazenamento | Microsoft.Storage/storageAccounts/blobServices/containers/write permissões para a conta de armazenamento, conforme fornecido pela função interna do colaborador da conta de armazenamento, por exemplo |
Exportar para o Hub de Eventos | Microsoft.EventHub/namespaces/eventhubs/write , Microsoft.EventHub/namespaces/eventhubs/messages/write , Microsoft.EventHub/namespaces/authorizationRules/listkeys/action permissões para o Hubs de Eventos do Azure, conforme fornecido pelas funções internas do Proprietário de Dados do Hub de Eventos do Azure, por exemplo |
Logs de consulta em uma tabela | Microsoft.OperationalInsights/workspaces/query/<table>/read permissões para o espaço de trabalho do Log Analytics, conforme fornecido pela função interna do Log Analytics Reader, por exemplo |
Consultar logs em uma tabela (ação de tabela) | Microsoft.OperationalInsights/workspaces/tables/query/read permissões para o espaço de trabalho do Log Analytics, conforme fornecido pela função interna do Log Analytics Reader, por exemplo |
Limitações
- Os logs personalizados criados usando a API do Coletor de Dados HTTP não podem ser exportados, incluindo logs baseados em texto consumidos pelo agente do Log Analytics. Logs personalizados criados usando regras de coleta de dados, incluindo logs baseados em texto podem ser exportados.
- A exportação de dados dará suporte gradualmente a mais tabelas. Consulte a seção Tabelas sem suporte .
- O número máximo de regras ativas por workspace é 10, cada uma pode incluir várias tabelas.
- A conta de armazenamento deve ser única entre as regras no espaço de trabalho.
- Os planos de tabela com suporte são Analytics e Básico. O plano auxiliar não é suportado.
- Os destinos precisam estar na mesma região que o espaço de trabalho do Log Analytics.
- Não há suporte para exportar para a conta de Armazenamento Premium.
Integridade dos dados
A exportação de dados é otimizada para mover grandes volumes de dados para seus destinos. No caso de um destino com escala ou disponibilidade insuficiente, um processo de repetição continua por até 12 horas, o que pode resultar na duplicação de uma fração dos registros exportados. Siga as recomendações para destinos de Conta de Armazenamento e Hubs de Eventos para melhorar a confiabilidade. Se os destinos ainda não estiverem disponíveis após o período de repetição, os dados serão descartados.
Para saber mais sobre os limites de destino e os alertas recomendados, confira Criar ou atualizar uma regra de exportação de dados.
Modelo de preços
Os encargos de exportação de dados são baseados no número de bytes exportados para destinos em dados formatados em JSON e medidos em GB (10^9 bytes). Os cálculos de tamanho de exportação de dados não podem ser feitos usando uma consulta no workspace, pois o cálculo de tamanho não leva em conta o overhead da formatação JSON. Use o método deste script de exemplo do PowerShell para calcular o tamanho total de cobrança de um contêiner de blob. No momento, não há cobrança por exportação para nuvens soberanas. Uma notificação será enviada antes da habilitação.
Para obter mais informações, incluindo a linha do tempo de cobrança de exportação de dados, consulte os Preços do Azure Monitor. A cobrança pela exportação de dados foi habilitada no início de outubro de 2023.
Destinos de exportação
O destino da exportação de dados precisa estar disponível antes da criação das regras de exportação no workspace. Os destinos podem estar em assinaturas diferentes. Com o Azure Lighthouse, também é possível enviar dados para destinos em outro locatário do Microsoft Entra.
Conta de Armazenamento
Evite falhas de entrada de armazenamento devido à latência ou à exceção dos limites de taxa usando uma Conta de Armazenamento existente que não tenha outros dados que não sejam de monitoramento. Isso ajuda a controlar melhor o acesso aos dados e melhora a confiabilidade de exportação de dados.
Para enviar dados para uma Conta de Armazenamento imutável, defina a política imutável para a Conta de Armazenamento, conforme descrito em Definir e gerenciar políticas de imutabilidade para o Armazenamento de Blobs do Azure. Você deve seguir todos os passos deste artigo, incluindo habilitar gravações de blobs de acréscimo protegidos.
A conta de armazenamento não pode ser Premium, deve ser StorageV1 ou posterior e estar localizada na mesma região do seu espaço de trabalho. Se você precisar replicar seus dados para outras contas de armazenamento em outras regiões, use qualquer uma das opções de redundância do Armazenamento do Azure, incluindo GRS e GZRS.
Os dados são enviados para Contas de Armazenamento à medida que chegam ao Azure Monitor e são exportados para destinos localizados em uma região do workspace. Um contêiner é criado para cada tabela na Conta de Armazenamento com o nome am- seguido do nome da tabela. Por exemplo, a tabela SecurityEvent seria enviada a um contêiner chamado am-SecurityEvent.
Os blobs são armazenados em pastas de 5 minutos na seguinte estrutura de caminho: WorkspaceResourceId=/subscriptions/subscription-id/resourcegroups/<resource-group>/providers/microsoft.operationalinsights/workspaces/<workspace>/y=<ano numérico de quatro dígitos>/m=<mês numérico de dois dígitos>/d=<dia numérico de dois dígitos>/h=<hora de relógio de 24 horas de dois dígitos>/m=<minuto de relógio de 60 minutos de dois dígitos>/PT05M.json. Acréscimos a blobs são limitados a 50 K gravações. Mais blobs serão adicionados na pasta como PT05M_#.json*, onde "#" é o número incremental de blobs.
Observação
Os acréscimos aos blobs são escritos com base no campo "TimeGenerated" e ocorrem ao receber dados de origem. Os dados que chegam ao Azure Monitor com atraso ou são repetidos após a limitação de destinos são gravados em blobs de acordo com seu TimeGenerated.
O formato de blobs em uma Conta de Armazenamento está em linhas JSON, nas quais cada registro é delimitado por uma nova linha, sem matriz de registros externa e sem vírgulas entre os registros JSON.
Hubs de Eventos
Evite usar um Hub de Eventos que tenha dados existentes e sem monitoramento. Essa prática recomendada ajuda a evitar falhas de entrada devido à latência ou ao exceder os limites de taxa.
Os dados são enviados para o seu Hub de Eventos à medida que chegam ao Azure Monitor e são exportados para destinos localizados em uma região do workspace. Crie várias regras de exportação para o mesmo namespace dos Hubs de Eventos fornecendo um Event Hub name
diferente na regra. Quando um Event Hub name
não for fornecido, um Hub de Eventos padrão será criado para as tabelas que você exportar com o nome am- seguido do nome da tabela. Por exemplo, a tabela SecurityEvent seria enviada a um Hub de Eventos chamado am-SecurityEvent.
O número de Hubs de Eventos com suporte nos níveis de namespaces Básico e Standard é 10. Ao exportar mais de 10 tabelas para esses níveis, divida as tabelas entre várias regras de exportação para diferentes namespaces dos Hubs de Eventos ou forneça um nome de um Hub de Eventos para o qual exportar todas as tabelas.
Observação
- A camada do namespace Básico dos Hubs de Eventos é limitada. Ela oferece suporte a um tamanho de evento menor e não possui a opção de Auto-inflate para escalar automaticamente e aumentar o número de unidades de taxa de transferência. Como o volume de dados no seu espaço de trabalho aumenta com o tempo e, como consequência, o dimensionamento do Hubs de Eventos do Azure é necessário, use os níveis Standard, Premium ou Dedicated Event Hubs com o recurso Auto-inflate habilitado. Para obter mais informações, veja Dimensionar automaticamente as unidades de taxa de transferência dos Hubs de Eventos do Azure.
- A exportação de dados não consegue acessar recursos dos Hubs de Eventos quando as redes virtuais estão habilitadas. Você precisa selecionar a caixa de seleção Permitir que os serviços do Azure na lista de serviços confiáveis acessem essa Conta de Armazenamento para ignorar essa configuração do firewall em um Hub de Eventos de modo a conceder acesso aos seus Hubs de Eventos.
Consultar dados exportados
Exportar dados de espaços de trabalho para contas de armazenamento ajuda a satisfazer vários cenários mencionados na visão geral e pode ser consumido por ferramentas que podem ler blobs de contas de armazenamento. Os métodos a seguir permite consultar dados usando a linguagem de consulta do Log Analytics, que é a mesma para o Azure Data Explorer.
- Use o Azure Data Explorer para consultar dados no Azure Data Lake.
- Use o Azure Data Explorer para ingerir dados de uma Conta de Armazenamento.
- Use o workspace do Log Analytics para consultar dados ingeridos usando a API de Ingestão de Logs . Os dados ingeridos são enviados para uma tabela de log personalizada e não para a tabela original.
Habilitar exportação de dados
As etapas a seguir devem ser executadas para habilitar a exportação de dados do Log Analytics.
- Registrar o provedor de recursos
- Permitir serviços confiáveis da Microsoft
- Monitorar destinos (recomendado)
- Criar ou atualizar uma regra de exportação de dados
Registre o provedor de recursos
O provedor de recursos do Azure Microsoft.Insights precisa ser registrado na assinatura para habilitar a exportação de dados do Log Analytics.
Provavelmente, esse provedor de recursos provavelmente já é registrado para a maioria dos usuários do Azure Monitor. Para verificar, acesse Assinaturas no portal do Azure. Selecione sua assinatura e Provedores de recursos na seção Configurações do menu. Localize Microsoft.Insights. Se seu status for Registrado, então ele já está registrado. Caso contrário, selecione Registrar para registrá-lo.
Você também pode usar qualquer um dos métodos disponíveis para registrar um provedor de recursos, conforme descrito em Provedores de recursos do Azure e tipos. O seguinte comando de exemplo usa a CLI do Azure:
az provider register --namespace 'Microsoft.insights'
O seguinte comando de exemplo usa o PowerShell:
Register-AzResourceProvider -ProviderNamespace Microsoft.insights
Permitir serviços confiáveis da Microsoft
Se tiver configurado sua Conta de Armazenamento para permitir o acesso de redes selecionadas, você precisa adicionar uma exceção para permitir que o Azure Monitor grave na conta. Na guia Firewalls e redes virtuais da sua Conta de Armazenamento, selecione Permitir que serviços do Azure na lista de serviços confiáveis acessem essa Conta de Armazenamento.
Monitorar destinos
Importante
Os destinos de exportação têm limites e devem ser monitorados para minimizar limitações, falhas e latência. Para saber mais, confira Escalabilidade da Conta de Armazenamento e Cotas de namespace dos Hubs de Eventos.
As métricas a seguir estão disponíveis para a operação de exportação de dados e alertas
Nome da métrica | Descrição |
---|---|
Bytes Exportados | Número total de bytes exportados para o destino do espaço de trabalho do Log Analytics dentro do intervalo de tempo selecionado. O tamanho dos dados exportados é o número de bytes nos dados formatados JSON exportados. 1 GB = 10^9 bytes. |
Falhas de importação | Número total de solicitações de exportação com falha para o destino do espaço de trabalho do Log Analytics dentro do intervalo de tempo selecionado. Esse número inclui falha de tentativas de exportação devido à limitação de recursos de destino, erro de acesso proibido ou qualquer erro de servidor. Um processo de repetição lida com tentativas com falha e o número não é uma indicação de dados ausentes. |
Registros exportados | Número total de registros exportados do workspace do Log Analytics dentro do intervalo de tempo selecionado. Esse número conta registros para operações que terminaram com êxito. |
Monitorar uma Conta de Armazenamento
Use uma Conta de Armazenamento separada para exportação.
Configurar um alerta na métrica:
Escopo Namespace da métrica Métrica Agregação Limite nome-do-armazenamento Conta Entrada Soma 80% da entrada máxima por período de avaliação de alerta. Por exemplo, o limite é de 60 Gbps para uso geral v2 no Oeste dos EUA. O limite de alerta é de 1676 GiB por período de avaliação de 5 minutos. Ações de remediação de alertas:
- Use uma Conta de Armazenamento separada para exportação, que não seja compartilhada com dados que não sejam de monitoramento.
- As contas Standard do Armazenamento do Azure dão suporte a limites de entrada mais altos por solicitação. Para solicitar um aumento, entre em contato com o Suporte do Azure.
- Divida as tabelas entre várias Contas de Armazenamento adicionais.
Monitorar os Hubs de Eventos
Configure alertas nas métricas:
Escopo Namespace da métrica Métrica Agregação Limite namespaces-name Métricas padrão dos Hubs de Eventos Bytes recebidos Soma 80% da entrada máxima por período de avaliação de alerta. Por exemplo, o limite é de 1 MB/s por unidade (TU ou PU) e cinco unidades usadas. O limite é de 228 MiB por período de avaliação de 5 minutos. namespaces-name Métricas padrão dos Hubs de Eventos Solicitações de entrada Contagem 80% do máximo de eventos por período de avaliação de alerta. Por exemplo, o limite é de 1.000/s por unidade (TU ou PU) e cinco unidades são usadas. O limite é de 1.200.000 por período de avaliação de 5 minutos. namespaces-name Métricas padrão dos Hubs de Eventos Erros de cota excedida Contagem Entre 1% da solicitação. Por exemplo, as solicitações por 5 minutos são 600.000. O limite é de 6.000 por período de avaliação de 5 minutos. Ações de remediação de alertas:
- Utilize um namespace distinto dos Hubs de Eventos para exportação que não seja compartilhado com dados não relacionados a monitoramento.
- Configure o recurso de Ampliação automática para escalar automaticamente e aumentar o número de unidades de vazão para atender às necessidades de uso.
- Verifique o aumento das unidades de produtividade para acomodar o volume de dados.
- Divida as tabelas entre mais namespaces.
- Use as camadas Premium ou Dedicado para uma taxa de transferência mais alta.
Criar ou atualizar uma regra de exportação de dados
Uma regra de exportação de dados define o destino e as tabelas para as quais os dados são exportados. O provisionamento da regra leva cerca de 30 minutos antes do início da operação de exportação. Considerações sobre regras de exportação de dados:
- A conta de armazenamento deve ser única entre as regras no espaço de trabalho.
- Várias regras podem usar o mesmo namespace dos Hubs de Eventos quando você enviá-las para Hubs de Eventos separados.
- Exportar para uma Conta de Armazenamento: um contêiner diferente é criado na Conta de Armazenamento para cada tabela.
- Exportar para os Hubs de Eventos: se o nome de um Hub de Eventos não for fornecido, um Hub de Eventos diferente será criado para cada tabela. O número de Hubs de Eventos com suporte nos níveis de namespaces Básico e Standard é 10. Ao exportar mais de 10 tabelas para esses níveis, divida as tabelas entre várias regras de exportação para diferentes namespaces de Hubs de Eventos ou forneça o nome de um Hub de Eventos na regra para o qual exportar todas as tabelas.
Exibir configuração da regra de exportação de dados
Desabilitar ou atualizar uma regra de exportação
Você pode desabilitar as regras de exportação para interromper a exportação por determinado período, como quando o teste está sendo realizado. No menu do Workspace do Log Analytics no portal do Azure, selecione Exportação de Dados na seção Configurações. Selecione a alternância Status para desabilitar ou habilitar a regra de exportação.
Excluir uma regra de exportação
No menu do Workspace do Log Analytics no portal do Azure, selecione Exportação de Dados na seção Configurações. Selecione as reticências à direita da regra e selecione Excluir.
Exibir todas as regras de exportação de dados em um espaço de trabalho
No menu do Workspace do Log Analytics no portal do Azure, selecione Exportação de Dados na seção Configurações para ver todas as regras de exportação no workspace.
Tabelas sem suporte
Observação
Se a regra de exportação de dados incluir uma tabela sem suporte, a configuração terá sucesso, mas nenhum dado será exportado para essa tabela. Quando houver suporte para a tabela, a exportação de dados será iniciada em seguida. Estamos em um processo de adição de suporte para mais tabelas. Verifique este artigo regularmente.
Tabela | Limitações |
---|---|
ADXDataOperation | |
Alerta | Suporte parcial. Não há suporte para a ingestão de dados para alertas do Zabbix. |
Histórico de Alertas | |
AzureActivity | Suporte parcial. Os dados que chegam do agente de Log Analytics ou do Azure Monitor Agent têm suporte completo na exportação. Os dados que chegam por meio do agente de extensão Diagnostics são coletados por meio de armazenamento. Não há suporte para esse caminho na exportação. |
AzureDiagnostics | |
AzureMetrics | |
Mudança de Configuração | |
Dados de Configuração | Suporte parcial. Alguns dos dados são ingeridos por meio de serviços internos que não têm suporte para exportação. No momento, essa parte está ausente na exportação. |
DatabricksDatabricksSQL | |
DatabricksSQL | |
Lançamento de Aplicativo do Dispositivo | |
Calendário do Dispositivo | |
SessãoDeConexãoDoDispositivo | |
DeviceEtw | |
DeviceHealth | |
DeviceHeartbeat | |
ETWEvent | Suporte parcial. Os dados que chegam do agente de Log Analytics ou do Azure Monitor Agent têm suporte completo na exportação. Os dados que chegam por meio do agente de extensão Diagnostics são coletados por meio de armazenamento. Não há suporte para esse caminho na exportação. |
Evento | Suporte parcial. Os dados que chegam do agente de Log Analytics ou do Azure Monitor Agent têm suporte completo na exportação. Os dados que chegam por meio do agente de extensão Diagnostics são coletados por meio de armazenamento. Não há suporte para esse caminho na exportação. |
InsightsMetrics | Suporte parcial. Alguns dos dados são ingeridos por meio de serviços internos que não têm suporte para exportação. No momento, essa parte está ausente na exportação. |
Sessões de Rede | |
Operação | Suporte parcial. Alguns dos dados são ingeridos por meio de serviços internos que não têm suporte para exportação. No momento, essa parte está ausente na exportação. |
Status de Proteção | |
Evento Operacional do Service Fabric | Suporte parcial. Os dados que chegam do agente de Log Analytics ou do Azure Monitor Agent têm suporte completo na exportação. Os dados que chegam por meio do agente de extensão Diagnostics são coletados por meio de armazenamento. Não há suporte para esse caminho na exportação. |
ServiceFabricReliableActorEvent | Suporte parcial. Os dados que chegam do agente de Log Analytics ou do Azure Monitor Agent têm suporte completo na exportação. Os dados que chegam por meio do agente de extensão Diagnostics são coletados por meio de armazenamento. Não há suporte para esse caminho na exportação. |
ServiceFabricReliableServiceEvent | Suporte parcial. Os dados que chegam do agente de Log Analytics ou do Azure Monitor Agent têm suporte completo na exportação. Os dados que chegam por meio do agente de extensão Diagnostics são coletados por meio de armazenamento. Não há suporte para esse caminho na exportação. |
Atualizar | Suporte parcial. Alguns dos dados são ingeridos por meio de serviços internos que não têm suporte para exportação. No momento, essa parte está ausente na exportação. |
VMBoundPort | |
VMComputer | |
VMConnection | |
VMProcess | |
W3CIISLog | Suporte parcial. Os dados que chegam do agente de Log Analytics ou do Azure Monitor Agent têm suporte completo na exportação. Os dados que chegam por meio do agente de extensão Diagnostics são coletados por meio de armazenamento. Não há suporte para esse caminho na exportação. |
WireData | Suporte parcial. Alguns dos dados são ingeridos por meio de serviços internos que não têm suporte para exportação. No momento, essa parte está ausente na exportação. |