Compartilhar via

Prepare-se para a alteração de formato dos logs de plataforma do Azure Monitor arquivados em uma conta de armazenamento

Aviso

Se você estiver enviando logs de recursos ou métricas do Azure para uma conta de armazenamento usando configurações de diagnóstico ou logs de atividades para uma conta de armazenamento usando perfis de log, o formato dos dados na conta de armazenamento foi alterado para Linhas JSON em 1º de novembro de 2018. As instruções a seguir descrevem o impacto e como atualizar suas ferramentas para lidar com o novo formato.

O que mudou

O Azure Monitor oferece a capacidade de enviar logs de recursos e logs de atividades para uma conta de armazenamento do Azure, um namespace do Event Hubs ou para um workspace do Log Analytics no Azure Monitor. Para resolver um problema de desempenho do sistema, em 1º de novembro de 2018 às 12:00 meia-noite UTC o formato de envio de dados de log para o armazenamento de blobs foi alterado. Se você tiver ferramentas que estão lendo dados fora do armazenamento de blobs, será necessário atualizar suas ferramentas para entender o novo formato de dados.

  • Na quinta-feira, 1º de novembro de 2018 à meia-noite (UTC), o formato de blob mudou para ser Linhas JSON. Isso significa que cada registro será delimitado por uma nova linha, sem matriz de registros externos e sem vírgulas entre registros JSON.
  • O formato de blob foi alterado para todas as configurações de diagnóstico em todas as assinaturas ao mesmo tempo. O primeiro arquivo PT1H.json emitido para 1º de novembro usou esse novo formato. Os nomes de blob e contêiner permanecem os mesmos.
  • Definir uma configuração de diagnóstico antes de 1º de novembro significava que a emissão de dados no formato atual continuava até 1º de novembro.
  • Essa alteração ocorreu de uma só vez em todas as regiões de nuvem pública. A alteração ainda não ocorrerá nas nuvens do Microsoft Azure operado pela 21Vianet, Azure na Alemanha ou Azure para o Governo.
  • Essa alteração afeta os seguintes tipos de dados:
  • Essa alteração não afeta:
    • Logs de fluxo de rede
    • Os logs de serviço do Azure ainda não foram disponibilizados por meio do Azure Monitor (por exemplo, logs de recursos do Serviço de Aplicativo do Azure, logs de análise de armazenamento)
    • Roteamento de logs de recursos do Azure e logs de atividades para outros destinos (Hubs de Eventos, Log Analytics)

Como ver se você foi afetado

Você só será afetado por essa alteração se:

  1. Estão enviando dados de log para uma conta de armazenamento do Azure usando uma configuração de diagnóstico e
  2. Tenha ferramentas que dependam da estrutura JSON desses logs no armazenamento de dados.

Para identificar se você tem configurações de diagnóstico que estão enviando dados para uma conta de armazenamento do Azure, navegue até a seção Monitor do portal, clique em Configurações de Diagnóstico e identifique todos os recursos que têm o Status de Diagnóstico definido como Habilitado:

Painel Configurações de Diagnóstico do Azure Monitor

Se o Status de Diagnóstico estiver definido como habilitado, você terá uma configuração de diagnóstico ativa nesse recurso. Clique no recurso para ver se alguma configuração de diagnóstico está enviando dados para uma conta de armazenamento:

Conta de armazenamento habilitada

Se você tiver recursos enviando dados para uma conta de armazenamento usando essas configurações de diagnóstico de recurso, o formato dos dados nessa conta de armazenamento será afetado por essa alteração. A menos que você tenha ferramentas personalizadas que operem fora dessas contas de armazenamento, a alteração de formato não afetará você.

Detalhes da alteração de formato

O formato atual do arquivo PT1H.json no armazenamento de blobs do Azure usa uma matriz JSON de registros. Aqui está um exemplo de um arquivo de log KeyVault agora:

{
    "records": [
        {
            "time": "2016-01-05T01:32:01.2691226Z",
            "resourceId": "/SUBSCRIPTIONS/361DA5D4-A47A-4C79-AFDD-XXXXXXXXXXXX/RESOURCEGROUPS/CONTOSOGROUP/PROVIDERS/MICROSOFT.KEYVAULT/VAULTS/CONTOSOKEYVAULT",
            "operationName": "VaultGet",
            "operationVersion": "2015-06-01",
            "category": "AuditEvent",
            "resultType": "Success",
            "resultSignature": "OK",
            "resultDescription": "",
            "durationMs": "78",
            "callerIpAddress": "104.40.82.76",
            "correlationId": "",
            "identity": {
                "claim": {
                    "http://schemas.microsoft.com/identity/claims/objectidentifier": "d9da5048-2737-4770-bd64-XXXXXXXXXXXX",
                    "http://schemas.xmlsoap.org/ws/2005/05/identity/claims/upn": "live.com#username@outlook.com",
                    "appid": "1950a258-227b-4e31-a9cf-XXXXXXXXXXXX"
                }
            },
            "properties": {
                "clientInfo": "azure-resource-manager/2.0",
                "requestUri": "https://control-prod-wus.vaultcore.azure.net/subscriptions/361da5d4-a47a-4c79-afdd-XXXXXXXXXXXX/resourcegroups/contosoresourcegroup/providers/Microsoft.KeyVault/vaults/contosokeyvault?api-version=2015-06-01",
                "id": "https://contosokeyvault.vault.azure.net/",
                "httpStatusCode": 200
            }
        },
        {
            "time": "2016-01-05T01:33:56.5264523Z",
            "resourceId": "/SUBSCRIPTIONS/361DA5D4-A47A-4C79-AFDD-XXXXXXXXXXXX/RESOURCEGROUPS/CONTOSOGROUP/PROVIDERS/MICROSOFT.KEYVAULT/VAULTS/CONTOSOKEYVAULT",
            "operationName": "VaultGet",
            "operationVersion": "2015-06-01",
            "category": "AuditEvent",
            "resultType": "Success",
            "resultSignature": "OK",
            "resultDescription": "",
            "durationMs": "83",
            "callerIpAddress": "104.40.82.76",
            "correlationId": "",
            "identity": {
                "claim": {
                    "http://schemas.microsoft.com/identity/claims/objectidentifier": "d9da5048-2737-4770-bd64-XXXXXXXXXXXX",
                    "http://schemas.xmlsoap.org/ws/2005/05/identity/claims/upn": "live.com#username@outlook.com",
                    "appid": "1950a258-227b-4e31-a9cf-XXXXXXXXXXXX"
                }
            },
            "properties": {
                "clientInfo": "azure-resource-manager/2.0",
                "requestUri": "https://control-prod-wus.vaultcore.azure.net/subscriptions/361da5d4-a47a-4c79-afdd-XXXXXXXXXXXX/resourcegroups/contosoresourcegroup/providers/Microsoft.KeyVault/vaults/contosokeyvault?api-version=2015-06-01",
                "id": "https://contosokeyvault.vault.azure.net/",
                "httpStatusCode": 200
            }
        }
    ]
}

O novo formato usa linhas JSON, em que cada evento é uma linha e o caractere de nova linha indica um novo evento. Veja como será a aparência do exemplo acima no arquivo PT1H.json após a alteração:

{"time": "2016-01-05T01:32:01.2691226Z","resourceId": "/SUBSCRIPTIONS/361DA5D4-A47A-4C79-AFDD-XXXXXXXXXXXX/RESOURCEGROUPS/CONTOSOGROUP/PROVIDERS/MICROSOFT.KEYVAULT/VAULTS/CONTOSOKEYVAULT","operationName": "VaultGet","operationVersion": "2015-06-01","category": "AuditEvent","resultType": "Success","resultSignature": "OK","resultDescription": "","durationMs": "78","callerIpAddress": "104.40.82.76","correlationId": "","identity": {"claim": {"http://schemas.microsoft.com/identity/claims/objectidentifier": "d9da5048-2737-4770-bd64-XXXXXXXXXXXX","http://schemas.xmlsoap.org/ws/2005/05/identity/claims/upn": "live.com#username@outlook.com","appid": "1950a258-227b-4e31-a9cf-XXXXXXXXXXXX"}},"properties": {"clientInfo": "azure-resource-manager/2.0","requestUri": "https://control-prod-wus.vaultcore.azure.net/subscriptions/361da5d4-a47a-4c79-afdd-XXXXXXXXXXXX/resourcegroups/contosoresourcegroup/providers/Microsoft.KeyVault/vaults/contosokeyvault?api-version=2015-06-01","id": "https://contosokeyvault.vault.azure.net/","httpStatusCode": 200}}
{"time": "2016-01-05T01:33:56.5264523Z","resourceId": "/SUBSCRIPTIONS/361DA5D4-A47A-4C79-AFDD-XXXXXXXXXXXX/RESOURCEGROUPS/CONTOSOGROUP/PROVIDERS/MICROSOFT.KEYVAULT/VAULTS/CONTOSOKEYVAULT","operationName": "VaultGet","operationVersion": "2015-06-01","category": "AuditEvent","resultType": "Success","resultSignature": "OK","resultDescription": "","durationMs": "83","callerIpAddress": "104.40.82.76","correlationId": "","identity": {"claim": {"http://schemas.microsoft.com/identity/claims/objectidentifier": "d9da5048-2737-4770-bd64-XXXXXXXXXXXX","http://schemas.xmlsoap.org/ws/2005/05/identity/claims/upn": "live.com#username@outlook.com","appid": "1950a258-227b-4e31-a9cf-XXXXXXXXXXXX"}},"properties": {"clientInfo": "azure-resource-manager/2.0","requestUri": "https://control-prod-wus.vaultcore.azure.net/subscriptions/361da5d4-a47a-4c79-afdd-XXXXXXXXXXXX/resourcegroups/contosoresourcegroup/providers/Microsoft.KeyVault/vaults/contosokeyvault?api-version=2015-06-01","id": "https://contosokeyvault.vault.azure.net/","httpStatusCode": 200}}

Esse novo formato permite que o Azure Monitor envie ativamente arquivos de log usando blobs de acréscimo, que são mais eficientes para adicionar continuamente novos dados de evento.

Como atualizar

Você só precisará fazer atualizações se tiver ferramentas personalizadas que ingeram esses arquivos de log para processamento adicional. Se você estiver usando uma ferramenta de SIEM ou análise de log externa, recomendamos usar hubs de eventos para ingerir esses dados. A integração de hubs de eventos é mais fácil em termos de processamento de logs de muitos serviços e de marcação de posição em um log particular.

As ferramentas personalizadas devem ser atualizadas para lidar com o formato atual e o formato de Linhas JSON descritos acima. Isso garantirá que, quando os dados começarem a aparecer no novo formato, suas ferramentas não quebrem.

Próximas etapas