Configurar pontos de extremidade de fluxo de dados

Importante

Esta página inclui instruções para gerenciar componentes do Azure IoT Operations usando manifestos de implantação do Kubernetes, que estão em versão prévia. Esse recurso é fornecido com várias limitações e não deve ser usado para cargas de trabalho de produção.

Consulte os Termos de Uso Complementares para Versões Prévias do Microsoft Azure para termos legais que se aplicam aos recursos do Azure que estão em versão beta, versão prévia ou ainda não lançados em disponibilidade geral.

Para começar a usar fluxos de dados, primeiro crie pontos de extremidade de fluxo de dados. Um ponto de extremidade de fluxo de dados é o ponto de conexão para o fluxo de dados. Você pode usar um ponto de extremidade como origem ou destino para o fluxo de dados. Alguns tipos de pontos de extremidade podem ser usados como origens e destino, enquanto outros são apenas destino. Um fluxo de dados precisa de pelo menos um ponto de extremidade de origem e um ponto de extremidade de destino.

Use a tabela a seguir para escolher o tipo de ponto de extremidade a ser configurado:

Tipo de ponto de extremidade	Descrição	Pode ser usado como uma origem	Pode ser usado como um destino	Suporte a grafos de fluxo de dados
MQTT	Para mensagens bidirecionais com agentes MQTT, incluindo o agente interno para as Operações do Azure IoT e a Grade de Eventos.	Sim	Sim	Origem e destino
Kafka	Para mensagens bidirecionais com agentes do Kafka, incluindo Hubs de Eventos do Azure.	Sim	Sim	Origem e destino
OpenTelemetry	Para enviar métricas e logs para coletores OpenTelemetry e plataformas de observabilidade como Grafana e Azure Monitor.	Não	Sim	Somente destino
Data Lake	Para carregar dados em contas de armazenamento do Azure Data Lake Gen2.	Não	Sim	Sem suporte
Microsoft Fabric OneLake	Para carregar dados em lakehouses do OneLake do Microsoft Fabric.	Não	Sim	Sem suporte
Azure Data Explorer	Para carregar dados em bancos de dados do Azure Data Explorer.	Não	Sim	Sem suporte
Armazenamento local	Para enviar dados para um volume persistente disponível localmente, opcionalmente configurável com o Armazenamento de Contêineres do Azure habilitado pelo Azure Arc.	Não	Sim	Sem suporte

Importante

Limitação de grafos de fluxo de dados: os WASM (gráficos de fluxo de dados) atualmente só dão suporte a pontos de extremidade MQTT, Kafka e OpenTelemetry. Os pontos de extremidade OpenTelemetry só podem ser usados como destinos em grafos de fluxo de dados. Não há suporte para outros tipos de ponto de extremidade para grafos de fluxo de dados. Para obter mais informações, consulte Problemas conhecidos.

Importante

Os pontos de extremidade de armazenamento exigem um esquema para serialização. Para usar o fluxo de dados com o Microsoft Fabric OneLake, o Azure Data Lake Storage, o Azure Data Explorer ou o Armazenamento Local, você deve especificar uma referência de esquema.

Para gerar o esquema de um arquivo de dados de exemplo, use o Auxiliar de Geração de Esquema.

Os fluxos de dados devem usar o ponto de extremidade do agente MQTT local

Ao criar um fluxo de dados, especifique os pontos de extremidade de origem e de destino. O fluxo de dados move dados do ponto de extremidade de origem para o ponto de extremidade de destino. Você pode usar o mesmo ponto de extremidade para vários fluxos de dados e pode usar o mesmo ponto de extremidade que a origem e o destino em um fluxo de dados.

No entanto, não há suporte para o uso de pontos de extremidade personalizados como a origem e o destino em um fluxo de dados. Essa restrição significa que o agente MQTT interno nas Operações do Azure IoT deve ser pelo menos um ponto de extremidade. Pode ser a origem, o destino ou ambos. Para evitar falhas de implantação de fluxo de dados, use o ponto de extremidade de fluxo de dados MQTT padrão como a origem ou o destino para cada fluxo de dados.

O requisito específico é que cada fluxo de dados deve ter a origem ou o destino configurado com um ponto de extremidade MQTT que tenha o host aio-broker. Portanto, não é estritamente necessário usar o ponto de extremidade padrão e você pode criar pontos de extremidade de fluxo de dados adicionais apontando para o agente MQTT local, desde que o host seja aio-broker. No entanto, para evitar confusão e problemas de gerenciamento, o ponto de extremidade padrão é a abordagem recomendada.

A tabela a seguir mostra os cenários com suporte:

Cenário	Com suporte
Ponto de extremidade padrão como origem	Sim
Ponto de extremidade padrão como destino	Sim
Ponto de extremidade personalizado como origem	Sim, se o destino for um ponto de extremidade padrão ou um ponto de extremidade de MQTT com host `aio-broker`
Ponto de extremidade personalizado como destino	Sim, se a origem for um ponto de extremidade padrão ou um ponto de extremidade de MQTT com host `aio-broker`
Ponto de extremidade personalizado como origem e destino	Não, a menos que um deles seja um ponto de extremidade de MQTT com o host `aio-broker`

Reutilizar pontos de extremidade

Pense em cada ponto de extremidade do fluxo de dados como um pacote de configurações que contém de onde os dados devem vir ou ir (o valor host), como autenticar com o ponto de extremidade e outras configurações, como configuração do TLS ou preferência de envio em lote. Portanto, você só precisa criá-lo uma vez e, em seguida, você pode reutilizá-lo em vários fluxos de dados em que essas configurações seriam as mesmas.

Para facilitar a reutilização de pontos de extremidade, o filtro de tópico do Kafka ou MQTT não faz parte da configuração do ponto de extremidade. Em vez disso, especifique o filtro de tópico na configuração de fluxo de dados. Isso significa que você pode usar o mesmo ponto de extremidade para vários fluxos de dados que usam filtros de tópico diferentes.

Por exemplo, você pode usar o ponto de extremidade de fluxo de dados do agente MQTT padrão. Você pode usá-lo para a origem e o destino com filtros de tópico diferentes:

Captura de tela usando a experiência de operações para criar um fluxo de dados de MQTT para MQTT.

Use o comando az iot ops dataflow apply para criar ou alterar um fluxo de dados.

az iot ops dataflow apply --resource-group <ResourceGroupName> --instance <AioInstanceName> --profile <DataflowProfileName> --name <DataflowName> --config-file <ConfigFilePathAndName>

O --config-file parâmetro é o caminho e o nome do arquivo de um arquivo de configuração JSON que contém as propriedades do recurso.

Neste exemplo, suponha um arquivo de configuração nomeado data-flow.json com o seguinte conteúdo armazenado no diretório base do usuário:

{
  "mode": "Enabled",
  "operations": [
    {
      "operationType": "Source",
      "sourceSettings": {
        "endpointRef": "default",
        "dataSources": [
          "example/topic/1"
        ]
      }
    },
    {
      "operationType": "Destination",
      "destinationSettings": {
        "endpointRef": "default",
        "dataDestination": "example/topic/2"
      }
    }
  ]
}

resource dataflow 'Microsoft.IoTOperations/instances/dataflowProfiles/dataflows@2024-11-01' = {
  parent: <DEFAULT_PROFILE_RESOURCE>
  name: 'broker-to-broker'
  extendedLocation: {
    name: <CUSTOM_LOCATION_RESOURCE>.id
    type: 'CustomLocation'
  }
  properties: {
    mode: 'Enabled'
    operations: [
      {
        operationType: 'Source'
        sourceSettings: {
          endpointRef: 'default'
          dataSources: [
            'example/topic/1'
          ]
        }
      }
      {
        operationType: 'Destination'
        destinationSettings: {
          endpointRef: 'default'
          dataDestination: 'example/topic/2'
        }
      }
    ]
  }
}

apiVersion: connectivity.iotoperations.azure.com/v1
kind: Dataflow
metadata:
  name: broker-to-broker
  namespace: azure-iot-operations
spec:
  profileRef: default
  operations:
    - operationType: Source
      sourceSettings:
        endpointRef: default
        dataSources:
        - example/topic/1
    - operationType: Destination
      destinationSettings:
        endpointRef: default
        dataDestination: example/topic/2

Da mesma forma, você pode criar vários fluxos de dados que usam o mesmo ponto de extremidade MQTT para outros pontos de extremidade e tópicos. Por exemplo, você pode usar o mesmo ponto de extremidade MQTT para um fluxo de dados que envia dados para um ponto de extremidade dos Hubs de Eventos.

Captura de tela usando a experiência de operações para criar um fluxo de dados de MQTT para Kafka.

Use o comando az iot ops dataflow apply para criar ou alterar um fluxo de dados.

az iot ops dataflow apply --resource-group <ResourceGroupName> --instance <AioInstanceName> --profile <DataflowProfileName> --name <DataflowName> --config-file <ConfigFilePathAndName>

O --config-file parâmetro é o caminho e o nome do arquivo de um arquivo de configuração JSON que contém as propriedades do recurso.

Neste exemplo, suponha um arquivo de configuração nomeado data-flow.json com o seguinte conteúdo armazenado no diretório base do usuário:

{
  "mode": "Enabled",
  "operations": [
    {
      "operationType": "Source",
      "sourceSettings": {
        "endpointRef": "default",
        "dataSources": [
          "example/topic/3"
        ]
      }
    },
    {
      "operationType": "Destination",
      "destinationSettings": {
        // The endpoint needs to be created before you can reference it here
        "endpointRef": "example-event-hub-endpoint",
        "dataDestination": "example/topic/4"
      }
    }
  ]
}

resource dataflow 'Microsoft.IoTOperations/instances/dataflowProfiles/dataflows@2024-11-01' = {
  parent: <DEFAULT_PROFILE_RESOURCE>
  name: 'broker-to-eh'
  extendedLocation: {
    name: <CUSTOM_LOCATION_RESOURCE>.id
    type: 'CustomLocation'
  }
  properties: {
    mode: 'Enabled'
    operations: [
      {
        operationType: 'Source'
        sourceSettings: {
          endpointRef: 'default'
          dataSources: [
            'example/topic/3'
          ]
        }
      }
      {
        operationType: 'Destination'
        destinationSettings: {
          // The endpoint needs to be created before you can reference it here
          endpointRef: 'example-event-hub-endpoint'
          dataDestination: 'example/topic/4'
        }
      }
    ]
  }
}

apiVersion: connectivity.iotoperations.azure.com/v1
kind: Dataflow
metadata:
  name: broker-to-eh
  namespace: azure-iot-operations
spec:
  profileRef: default
  operations:
    - operationType: Source
      sourceSettings:
        endpointRef: default
        dataSources:
        - example/topic/3
    - operationType: Destination
      destinationSettings:
        # The endpoint needs to be created before you can reference it here
        endpointRef: example-event-hub-endpoint
        dataDestination: example/topic/4

Semelhante ao exemplo de MQTT, você pode criar vários fluxos de dados que usam o mesmo ponto de extremidade Kafka para tópicos diferentes ou o mesmo ponto de extremidade do Data Lake para tabelas diferentes.

Próximas etapas

Crie um ponto de extremidade de fluxo de dados:

Comentários

Esta página foi útil?

Last updated on 2025-08-19

Compartilhar via

Configurar pontos de extremidade de fluxo de dados

Os fluxos de dados devem usar o ponto de extremidade do agente MQTT local

Reutilizar pontos de extremidade

Próximas etapas

Comentários

Recursos adicionais