Nivelamento, escape e matriz de JSON

Seu ambiente Azure Time Series Insights Gen2 criará dinamicamente as colunas de seus armazenamentos quentes e frios, seguindo um conjunto específico de convenções de nomenclatura. Quando um evento é ingerido, um conjunto de regras é aplicado à carga JSON, bem como aos nomes de propriedade. Isso abrange o escape de determinados caracteres especiais e o nivelamento de objetos JSON aninhados. É importante ter conhecimento sobre dessas regras para compreender de que maneira a forma do JSON influenciará como os eventos são armazenados e consultados. Veja na tabela abaixo a lista completa de regras. Exemplos A & B também demonstram como você é capaz de agrupar várias séries temporais com eficiência em uma matriz.

Compreendendo o comportamento dual para matrizes

As matrizes de objetos serão armazenadas por inteiro ou divididas em vários eventos, dependendo de como você modelar seus dados. Isso permite que você use uma matriz para eventos em lote e evite repetir propriedades de telemetria definidas no nível do objeto raiz. O envio em lote pode ser vantajoso, pois resulta em menos Hubs de Eventos ou mensagens de Hub IoT enviadas.

No entanto, em alguns casos, matrizes que contêm objetos só são significativas no contexto de outros valores. A criação de vários eventos renderiza os dados sem significado. Para garantir que uma matriz de objetos seja armazenada as-is como um tipo dinâmico, siga as diretrizes de modelagem de dados abaixo e dê uma olhada no exemplo C

Como saber se minha matriz de objetos produzirá vários eventos

Se uma ou mais de suas IDs da Série Temporal estiverem aninhadas em objetos em uma matriz ou se a propriedade de carimbo de data/hora de origem do evento estiver aninhada, o mecanismo de ingestão a dividirá para criar vários eventos. Os nomes de propriedade que você forneceu para suas IDs de TS e/ou carimbo de data/hora devem seguir as regras de achatamento acima e, portanto, indicarão a forma do seu JSON. Veja os exemplos abaixo e confira o guia sobre como selecionar uma propriedade de ID de Série Temporal.

Exemplo A

ID da Série Temporal na raiz do objeto e no carimbo de data/hora aninhado
ID da Série Temporal do Ambiente:"id"
Carimbo de data/hora de origem do evento:"values.time"
Conteúdo JSON:

[
    {
        "id": "caaae533-1d6c-4f58-9b75-da102bcc2c8c",
        "values": [
            {
                "time": "2020-05-01T00:59:59.000Z",
                "value": 25.6073
            },
            {
                "time": "2020-05-01T01:00:29.000Z",
                "value": 43.9077
            }
        ]
    },
    {
        "id": "1ac87b74-0865-4a07-b512-56602a3a576f",
        "values": [
            {
                "time": "2020-05-01T00:59:59.000Z",
                "value": 0.337288
            },
            {
                "time": "2020-05-01T01:00:29.000Z",
                "value": 4.76562
            }
        ]
    }
]

Resultado no arquivo Parquet:
A configuração e o conteúdo acima produzirão três colunas e quatro eventos

Exemplo B

ID da série temporal composta com uma propriedade aninhada
ID da Série Temporal do Ambiente:"plantId" e "telemetry.tagId"
Carimbo de data/hora de origem do evento:"timestamp"
Conteúdo JSON:

[
    {
        "plantId": "9336971",
        "timestamp": "2020-01-22T16:38:09Z",
        "telemetry": [
            {
                "tagId": "100231-A-A6",
                "tagValue": -31.149018
            },
            {
                "tagId": "100231-A-A1",
                "tagValue": 20.560796
            },
            {
                "tagId": "100231-A-A9",
                "tagValue": 177
            },
            {
                "tagId": "100231-A-A8",
                "tagValue": 420
            },
        ]
    },
    {
        "plantId": "9336971",
        "timestamp": "2020-01-22T16:42:14Z",
        "telemetry": [
            {
                "tagId": "103585-A-A7",
                "value": -30.9918
            },
            {
                "tagId": "103585-A-A4",
                "value": 19.960796
            }
        ]
    }
]

Resultado no arquivo Parquet:
A configuração e o conteúdo acima produzirão quatro colunas e seis eventos

Exemplo C

ID da Série Temporal e o carimbo de data/hora estão na raiz do objeto
ID da Série Temporal Ambiental:"id"
Carimbo de data/hora de origem do evento:"timestamp"
Conteúdo JSON:

{
    "id": "800500054755",
    "timestamp": "2020-11-01T10:00:00.000Z",
    "datapoints": [{
            "value": 120
        },
        {
            "value": 124
        }
    ]
}

Resultado no arquivo Parquet:
A configuração e o conteúdo acima produzirão três colunas e um evento

Próximas etapas

• Entender as limitações de taxa de transferência do seu ambiente