Adicionar a origem CDC do MongoDB a um fluxo de eventos (versão prévia)

Este artigo mostra como adicionar uma fonte CDC (Captura de Dados de Alteração) do MongoDB a um fluxo de eventos.

O Conector CDC do MongoDB para Eventstream permite transmitir eventos CDC (Change Data Capture) do MongoDB para o Fabric Eventstream. Ele dá suporte a vários tipos de implantação do MongoDB, incluindo locais, hospedados em nuvem e MongoDB Atlas, permitindo uma ampla gama de cenários CDC. Com esse conector, você pode capturar alterações de banco de dados em tempo real e transmiti-las diretamente para Eventstream para processamento e análise imediatos.

Pré-requisitos

• Um workspace no modo de licença de avaliação ou capacidade do Fabric, com Permissões de Colaborador ou superior.
• Um cluster do MongoDB acessível a partir do endereço IP do cliente.
• É necessário habilitar o Change Data Capture (CDC) para as coleções que você deseja capturar.
• Um fluxo de eventos no Fabric. Se você não tiver um, crie um fluxo de eventos.

Configurar uma instância do MongoDB

Este exemplo usa o MongoDB Atlas, o serviço gerenciado do MongoDB no MongoDB Cloud.

Para capturar alterações, você deve habilitar o CDC (Change Data Capture) para as coleções de destino.

Execute o seguinte comando no shell do MongoDB para habilitar o CDC para uma coleção:

db.runCommand({
  collMod: "<collectionName>",
  changeStreamPreAndPostImages: { enabled: true }
});

Você também deve criar ou usar um usuário existente do MongoDB com a read função (ou superior) no banco de dados de destino. No MongoDB Atlas no MongoDB Cloud, acesse o Acesso ao Banco de Dados para verificar a função do usuário.

No MongoDB Atlas no MongoDB Cloud, vá para Acesso à Rede e adicione o endereço IP do cliente à Lista de Acesso a IP.

Adicionar o MongoDB (CDC) como uma origem

Caso ainda não tenha adicionado nenhuma fonte ao eventstream, selecione o bloco Usar fonte externa.

Caso esteja adicionando a fonte a um Eventstream já publicado, alterne para o modo Editar, selecione Adicionar fonte na faixa de opções e selecione Fontes externas.

Na página Selecionar uma fonte de dados , pesquise e selecione Conectar no bloco do MongoDB (CDC ).

Configurar e conectar-se ao MongoDB (CDC)

1. Selecione o tipo de instância do MongoDB: Atlas do MongoDB ou MongoDB (autogerenciado).

2. Conexão:

   1. Se você escolher o Atlas do MongoDB:

      1. Na tela Conectar , em Conexão, selecione Nova conexão para criar uma conexão de nuvem.

         

      2. Insira as seguintes configurações de conexão e credenciais de conexão:

      • Servidor: A cadeia de conexão do cluster Atlas, por exemplo cluster0.example.mongodb.net.

      • Cluster: esse campo é opcional. O nome do cluster já faz parte do Servidor, portanto, você pode deixar isso em branco.

      • Nome da conexão: gerado automaticamente ou você pode inserir um novo nome para essa conexão.

      • Nome de usuário e senha: credenciais para um usuário com pelo menos a read função. Verifique se o usuário tem acesso ao banco de dados e às coleções de destino.

        

   2. Se você escolher MongoDB (autogerenciado):

      1. Na tela Conectar , em Conexão, selecione Nova conexão para criar uma conexão de nuvem.

         

      2. Insira as seguintes configurações de conexão e credenciais de conexão:

      • Servidor: a cadeia de conexão do servidor MongoDB autogerenciado, por exemplo mongodb0.example.com:27017.

      • Nome da conexão: gerado automaticamente ou você pode inserir um novo nome para essa conexão.

      • Nome de usuário e senha: use um usuário com permissões de leitura ou superior para acessar o banco de dados e as coleções de destino.

        

3. Insira as informações a seguir para configurar a fonte de dados CDC do MongoDB e selecione Avançar.

   • Bancos de dados: Escolha Todos (Padrão) ou Insira os nomes do banco de dados. Se você escolher o último, forneça uma lista opcional separada por vírgulas de expressões regulares que correspondam aos nomes de banco de dados a serem monitorados.
   • Coleções: Selecione Todos (Padrão) ou Insira os nomes da coleção. Se você escolher o último, forneça uma lista separada por vírgulas de expressões regulares que correspondam a namespaces totalmente qualificados (por exemplo dbName.collectionName) das coleções do MongoDB a serem monitoradas.

4. Você pode expandir as configurações avançadas para acessar mais opções de configuração para a fonte CDC do MongoDB:

   • Modo de instantâneo: as opções são:
     • inicial (padrão): especifica que o conector lê um instantâneo quando nenhum deslocamento é encontrado ou então se o stream de alterações/oplog não contém mais o deslocamento anterior.
     • initial_only: o conector executa um instantâneo de banco de dados. Depois que o instantâneo for concluído, o conector para e não vai transmitir registros de eventos para alterações subsequentes no banco de dados.
     • no_data: o conector captura a estrutura de todas as tabelas relevantes, mas não cria eventos READ para representar o conjunto de dados no ponto da inicialização do conector.

   Você também pode editar o nome de origem selecionando o botão Lápis para o nome de origem na seção Detalhes do Fluxo à direita.

   

5. Na página Revisão + conexão , depois de examinar o resumo da origem CDC do MongoDB, selecione Adicionar para concluir a configuração.

   

Exibir fluxo de eventos atualizado

Você verá a origem do MongoDB (CDC) adicionada ao fluxo de eventos no modo de Edição.

Você verá o fluxo de eventos no modo ao vivo. Selecione Editar na faixa de opções para voltar ao modo Editar para atualizar o fluxo de eventos.

Limitation

• A origem CDC do MongoDB atualmente não dá suporte a recursos de CI/CD, incluindo Integração com Git e Pipeline de Implantação. A tentativa de exportar ou importar um item Eventstream com essa origem para um repositório Git pode resultar em erros.

Conteúdo relacionado

Outros conectores:

• Fluxos de dados do Amazon Kinesis
• Azure Cosmos DB
• Hubs de eventos do Azure
• Hub IoT do Azure
• Captura de dados de alterações (CDA) com o Banco de Dados SQL do Azure
• Kafka para Confluent
• Ponto de extremidade personalizado
• Pub/sub do Google Cloud
• CDC do banco de dados PostgreSQL
• Dados de exemplo
• Eventos do Armazenamento Blob do Azure
• Evento de espaço de trabalho do Fabric