Regras de coleta de dados (DCRs) no Azure Monitor

As DCRs (regras de coleta de dados) fazem parte de um processo de coleta de dados semelhante a Extração, transformação e carregamento (ETL) que melhora os métodos de coleta de dados herdados para o Azure Monitor. Esse processo usa uma estratégia de ingestão de dados comum para todas as fontes de dados e um método padrão de configuração mais gerenciável e escalonável do que os métodos de coleta anteriores.

Para muitos cenários de monitoramento, você não precisa entender como um DCR é criado ou atribuído. Você pode simplesmente usar diretrizes no portal do Azure para habilitar e configurar a coleta de dados, enquanto o Azure Monitor cria e configura o DCR para você. Este artigo fornece mais detalhes sobre como os DCRs funcionam para que você comece a criá-los e configurá-los manualmente para que você possa personalizar o processo de coleta de dados.

As vantagens específicas da coleta de dados baseada em DCR incluem:

• Método consistente para configuração de diferentes fontes de dados.
• Capacidade de aplicar uma transformação para filtrar ou modificar dados de entrada antes de enviar para um destino.
• Opções de configuração escalonáveis que dão suporte à infraestrutura como processos de código e DevOps.
• Opção do pipeline do Azure Monitor em seu próprio ambiente para fornecer escalabilidade de alto nível, configurações de rede em camadas e conectividade periódica.

Exibindo DCRs

As regras de coleta de dados (DCRs) são armazenadas no Azure para que possam ser implantadas e gerenciadas centralmente, como qualquer outro recurso do Azure. Elas fornecem uma maneira consistente e centralizada de definir e personalizar diferentes cenários de coleta de dados.

Exiba todos os DCRs em sua assinatura na opção Regras de Coleta de Dados do menu Monitor no portal do Azure. Independentemente do método usado para criar a DCR e os detalhes dela, todas as DCRs na assinatura são listadas nesta tela.

Métodos de coleta de dados herdados substituídos

O processo de coleta de DCR foi substituído ou está no processo de substituição de outros métodos de coleta de dados no Azure Monitor. A tabela a seguir lista os métodos herdados com suas substituições baseadas em DCR. Espera-se que outros métodos de coleta de dados no Azure Monitor também sejam substituídos por DCRs no futuro.

Processo de coleta de dados

O processo de coleta de dados suportado por DCRs fornece um caminho de processamento comum para os dados recebidos. Cada cenário de coleta de dados é definido em um DCR. O DCR fornece instruções sobre como o Azure Monitor deve processar os dados recebidos. Dependendo do cenário, os DCRs especificam todos ou alguns dos seguintes:

• Dados a serem coletados e enviados para o Azure Monitor.
• Esquema dos dados de entrada.
• Transformações a serem aplicadas aos dados antes de serem armazenados.
• Destino para onde os dados devem ser enviados.

Associações de Regras de Coleta de Dados (DCRAs)

As DCRAs (associações de regra de coleta de dados) são criadas entre o recurso e o DCR para habilitar determinados cenários de coleta de dados. Trata-se de uma relação muitos-para-muitos, em que um único DCR pode ser associado a vários recursos e um único recurso pode ser associado a até 30 DCRs. Isso permite que você desenvolva uma estratégia para manter o monitoramento entre conjuntos de recursos com requisitos diferentes.

Usando uma DCR

Depois que um DCR é criado, há métodos diferentes para usá-lo com base no cenário de coleta de dados. A tabela a seguir lista os cenários comuns e o método usado para coletar dados em cada caso. Mais detalhes sobre cada um deles são fornecidos abaixo.

Cenários

As seções a seguir descrevem os cenários comuns para usar DCRs para coletar dados no Azure Monitor. Eles descrevem os detalhes incluídos no DCR e o método usado para especificar qual DCR usar nesse cenário específico.

Agente do Azure Monitor (AMA)

O AMA (agente do Azure Monitor) é usado para coletar dados de máquinas virtuais e clusters do Kubernetes. O diagrama a seguir ilustra a coleta de dados para AMA em execução em uma máquina virtual. Quando o agente é instalado, ele se conecta ao Azure Monitor para recuperar as DCRs associadas a ele. Nesse cenário, os DCRs especificam eventos e dados de desempenho a serem coletados. Para um cluster do Kubernetes, isso também incluiria métricas do Prometheus. O agente usa essas informações para determinar quais dados coletar do computador e enviar para o Azure Monitor. Depois que os dados são entregues, qualquer transformação especificada no DCR é executada para filtrar e modificar os dados e, em seguida, envia os dados para o workspace e tabela especificados.

Consulte Coletar dados do cliente de máquina virtual com o Azure Monitor e habilitar o monitoramento para clusters do Kubernetes para obter detalhes.

Hubs de eventos (versão prévia)

O diagrama a seguir ilustra como os dados são ingeridos em um workspace do Log Analytics diretamente dos Hubs de Eventos. Quando os dados são recebidos pelo hub de eventos, eles são entregues ao Azure Monitor e, em seguida, transformados e enviados para quaisquer destinos especificados em quaisquer DCRs associados a ele.

Consulte Ingerir eventos dos Hubs de Eventos do Azure nos Logs do Azure Monitor (versão prévia) para obter detalhes.

Métricas da plataforma (versão prévia)

As métricas de plataforma são coletadas automaticamente dos recursos do Azure e enviadas para as Métricas do Azure Monitor. O diagrama a seguir mostra o processo de uso de um DCR para enviar esses dados para um workspace do Log Analytics para análise usando consultas de log. Isso substitui o método atual de usar as configurações de diagnóstico para executar essa função.

Quando o DCR é criado, ele especifica o workspace e a tabela para onde os dados devem ser enviados. O DCR também inclui uma transformação que garante que os dados estão no formato correto para a tabela de destino. O DCR é associado ao recurso do qual as métricas da plataforma são coletadas.

Consulte a exportação de métricas por meio de regras de coleta de dados para obter detalhes.

Ingestão direta

Com a ingestão direta, uma DCR é especificada para processar os dados de entrada. Por exemplo, o diagrama a seguir ilustra dados de um aplicativo personalizado usando a API de ingestão de Logs. Cada chamada à API especifica o DCR que processa seus dados. O DCR entende a estrutura dos dados de entrada, inclui uma transformação que garante que os dados estão no formato da tabela de destino e especifica um workspace e uma tabela para enviar os dados transformados.

Consulte a API de ingestão de Logs para obter detalhes.

DCR de transformação do workspace

Os DCRs de transformação do workspace fornecem transformações para coleta de dados que não usam um DCR. Elas são aplicadas diretamente ao workspace do Log Analytics e são ativadas automaticamente quando são criadas.

Consulte Workspace Transformation DCR para obter detalhes.

Transformações

As transformações são consultas KQL incluídas em um DCR que são executadas em cada registro recebido. Elas permitem que você modifique os dados de entrada antes que eles sejam armazenados no Azure Monitor ou enviados para outro destino. Você pode filtrar dados desnecessários para reduzir os custos de ingestão, remover dados confidenciais que não devem ser mantidos no workspace do Log Analytics ou formatar dados para garantir que eles correspondam ao esquema de seu destino. As transformações também permitem cenários avançados, como enviar dados para vários destinos ou enriquecer dados com informações adicionais.

Pipeline do Azure Monitor

O pipeline do Azure Monitor estende o processo de coleta de dados para seu próprio data center. Ele habilita a coleta em escala e o roteamento de dados de telemetria antes de serem entregues à nuvem.

Casos de uso específicos para o pipeline do Azure Monitor são:

• Escalabilidade. O pipeline pode lidar com grandes volumes de dados de recursos monitorados que podem ser limitados por outros métodos de coleção, como o agente do Azure Monitor.
• Conectividade periódica. Alguns ambientes podem ter uma conectividade não confiável com a nuvem ou podem ter longos períodos inesperados sem conexão. O pipeline pode armazenar dados em cache localmente e sincronizar com a nuvem quando a conexão for restaurada.
• Rede em camadas. Em alguns ambientes, a rede é segmentada e os dados não podem ser enviados diretamente para a nuvem. O pipeline pode ser usado para coletar dados de recursos monitorados sem acesso à nuvem e gerenciar a conexão com o Azure Monitor na nuvem.

Regiões de DCR

As regras de coleta de dados estão disponíveis em todas as regiões públicas em que há suporte para workspaces do Log Analytics, além das nuvens do Azure Governamental e da China. Nuvens desconectadas ainda não são compatíveis. Uma DCR é criada e armazenada em uma região específica e o backup é feito para a região emparelhada dentro da mesma área geográfica. O serviço é implantado nas três zonas de disponibilidade dentro da região. Por esse motivo, é um serviço com redundância de zona, o que aumenta ainda mais a disponibilidade.

Residência de dados de região única é uma versão prévia do recurso para habilitar o armazenamento de dados do cliente em apenas uma região e está disponível atualmente apenas na região do Sudeste da Ásia (Singapura), na área geográfica do Pacífico Asiático e na região Sul do Brasil (Estado de São Paulo). A residência de região única é habilitada por padrão nessas regiões.

Próximas etapas

Para obter mais informações sobre como trabalhar com DCRs, consulte:

• Estrutura da regra de coleta de dados para uma descrição da estrutura JSON das DCRs e os diferentes elementos usados para diferentes fluxos de trabalho.
• Regras de coleta de dados (DCRs) de amostra para obter DCRs de amostra em diferentes cenários de coleta de dados.
• Crie e edite regras de coleta de dados (DCRs) no Azure Monitor para diferentes métodos e criar DCRs para diferentes cenários de coleta de dados.
• Limites de serviço do Azure Monitor para verificar os limites que se aplicam a cada DCR.