Freigeben über


Hinzufügen einer MongoDB CDC-Quelle zu einem Eventstream (Vorschau)

In diesem Artikel wird gezeigt, wie Sie einem Eventstream eine MongoDB Change Data Capture(CDC)-Quelle hinzufügen.

Mit dem MongoDB CDC Connector für Eventstream können Sie Change Data Capture (CDC)-Ereignisse von MongoDB in Fabric Eventstream streamen. Es unterstützt mehrere MongoDB-Bereitstellungstypen, einschließlich lokaler, in der Cloud gehosteter und MongoDB-Atlas, die eine vielzahl von CDC-Szenarien ermöglichen. Mit diesem Connector können Sie Datenbankänderungen in Echtzeit erfassen und direkt in Eventstream streamen, um sofortige Verarbeitung und Analyse zu ermöglichen.

Voraussetzungen

  • Ein Arbeitsbereich im Fabric-Kapazitäts- oder Testlizenzmodus mit Mitwirkende oder höheren Berechtigungen.
  • Ein MongoDB-Cluster, auf den über Ihre Client-IP-Adresse zugegriffen werden kann.
  • Change Data Capture (CDC) ist für die Sammlungen aktiviert, die Sie erfassen möchten.
  • Ein Eventstream in Fabric. Wenn Sie keinen haben, erstellen Sie einen Eventstream.

Einrichten einer MongoDB-Instanz

In diesem Beispiel wird mongoDB Atlas, der verwaltete MongoDB-Dienst in der MongoDB-Cloud, verwendet.

Zum Erfassen von Änderungen müssen Sie die Änderungsdatenerfassung (Change Data Capture, CDC) für die Zielsammlungen aktivieren.

Führen Sie den folgenden Befehl in der MongoDB-Shell aus, um CDC für eine Sammlung zu aktivieren:

db.runCommand({
  collMod: "<collectionName>",
  changeStreamPreAndPostImages: { enabled: true }
});

Hinweis

Sie benötigen einen Benutzer mit der atlasAdmin Rolle, die die CollMod-Aktion enthält, um diesen Befehl auszuführen. Wenn Sie nicht über diese Berechtigungen verfügen, bitten Sie einen Kollegen mit der atlasAdmin Rolle, die Änderungsdatenerfassung (CDC) für die Zielsammlungen zu aktivieren, bevor Sie Änderungen in Ihrem Eventstream erfassen.

Sie müssen auch einen vorhandenen MongoDB-Benutzer mit der read Rolle (oder einer höheren) in der Zieldatenbank erstellen oder verwenden. Wechseln Sie in MongoDB Atlas in der MongoDB-Cloud zu Datenbankzugriff , um die Rolle des Benutzers zu überprüfen.

Screenshot, der zeigt, wie die Rolle für die MongoDB-Datenbank bearbeitet wird.

Wechseln Sie in MongoDB Atlas auf der MongoDB-Cloud zu Netzwerkzugriff , und fügen Sie Ihre Client-IP-Adresse zur IP-Zugriffsliste hinzu.

Screenshot, der zeigt, wie Id-Liste hinzugefügt wird.

Hinzufügen von MongoDB (CDC) als Quelle

Wenn Sie Ihrem Eventstream noch keine Quelle hinzugefügt haben, wählen Sie die Kachel Externe Quelle verwenden aus.

Screenshot der Auswahl der Kachel „Externe Quelle verwenden“.

Wenn Sie die Quelle zu einem bereits veröffentlichten Eventstream hinzufügen, wechseln Sie zum Bearbeitungsmodus, wählen Sie im Band Quelle hinzufügen und dann Externe Quellen aus.

Screenshot, der das Hinzufügen einer Quelle zum Menü Externe Quellen zeigt.

Suchen Sie auf der Seite "Datenquelle auswählen" auf der Kachel "MongoDB (CDC)" nach "Verbinden", und wählen Sie "Verbinden" aus.

Screenshot der Auswahl von MongoDB (CDC) als Quelltyp im Assistenten zum Abrufen von Ereignissen.

Konfigurieren und Herstellen einer Verbindung mit MongoDB (CDC)

  1. Wählen Sie den Typ der MongoDB-Instanz aus: entweder MongoDB Atlas oder MongoDB (selbstverwaltet).

  2. Verbindung:

    1. Wenn Sie MongoDB Atlas wählen:

      1. Wählen Sie auf dem Bildschirm "Verbinden " unter "Verbindung" die Option "Neue Verbindung " aus, um eine Cloudverbindung zu erstellen.

        Screenshot der Verbindungsseite.

      2. Geben Sie die folgenden Verbindungseinstellungen und Verbindungsanmeldeinformationen ein:

      • Server: Die Verbindungszeichenfolge für Ihren Atlas-Cluster, zum Beispiel cluster0.example.mongodb.net.

      • Cluster: Dieses Feld ist optional. Der Clustername ist bereits Teil des Servers, sodass Sie diesen Wert leer lassen können.

      • Verbindungsname: Automatisch generiert, oder Sie können einen neuen Namen für diese Verbindung eingeben.

      • Benutzername und Kennwort: Anmeldeinformationen für einen Benutzer mit mindestens der read Rolle. Stellen Sie sicher, dass der Benutzer Zugriff auf die Zieldatenbank und -sammlungen hat.

        Screenshot der Verbindungseinstellungen für MongoDB Atlas.

    2. Wenn Sie MongoDB (selbstverwaltet) auswählen:

      1. Wählen Sie auf dem Bildschirm "Verbinden " unter "Verbindung" die Option "Neue Verbindung " aus, um eine Cloudverbindung zu erstellen.

        Screenshot der Verbindungsseite.

      2. Geben Sie die folgenden Verbindungseinstellungen und Verbindungsanmeldeinformationen ein:

      • Server: Die Verbindungszeichenfolge für Ihren selbstverwalteten MongoDB-Server, z. B mongodb0.example.com:27017. .

      • Verbindungsname: Automatisch generiert, oder Sie können einen neuen Namen für diese Verbindung eingeben.

      • Benutzername und Kennwort: Verwenden Sie einen Benutzer mit lese- oder höheren Berechtigungen, um auf die Zieldatenbank und -sammlungen zuzugreifen.

        Screenshot der Verbindungseinstellungen für MongoDB (selbstverwaltet).

  3. Geben Sie die folgenden Informationen ein, um die MongoDB CDC-Datenquelle zu konfigurieren, und wählen Sie dann "Weiter" aus.

    • Datenbanken: Wählen Sie "Alle" (Standard) oder "Datenbankname(n)" ein. Wenn Sie letzteres auswählen, geben Sie eine optionale kommagetrennte Liste mit regulären Ausdrücken an, die den zu überwachenden Datenbanknamen entsprechen.
    • Sammlungen: Wählen Sie "Alle" (Standard) oder "Auflistungsnamen eingeben" aus. Wenn Sie Letzteres auswählen, stellen Sie eine durch Kommas getrennte Liste regulärer Ausdrücke bereit, die voll qualifizierte Namespaces (z. B. dbName.collectionName) der zu überwachenden MongoDB-Sammlungen entsprechen.
  4. Sie können erweiterte Einstellungen erweitern, um auf weitere Konfigurationsoptionen für die MongoDB CDC-Quelle zuzugreifen:

    • Momentaufnahmemodus: Optionen sind:
      • initial (default): Gibt an, dass der Verbinder eine Momentaufnahme liest, wenn entweder kein Offset gefunden wird oder wenn der Oplog-/Änderungsdatenstrom nicht mehr den vorherigen Offset enthält.
      • initial_only: Der Connector führt ein Datenbanksnapshot aus. Nach Abschluss der Momentaufnahme stoppt der Connector und streamt keine Ereignisdatensätze für nachfolgende Datenbankänderungen.
      • no_data: Der Verbinder erfasst die Struktur aller relevanten Tabellen, erstellt jedoch keine READ-Ereignisse, um den Datensatz an dem Anfangspunkt des Connectors darzustellen.

    Sie können auch den Quellnamen bearbeiten, indem Sie im Abschnitt Stream-Details auf der rechten Seite die Schaltfläche "Bleistift" für den Quellnamen auswählen.

    Screenshot der Auswahl von Tabellen, Server-ID und Port für die MongoDB(CDC)-Verbindung.

  5. Wählen Sie auf der Seite "Überprüfen + Verbinden " nach dem Überprüfen der Zusammenfassung für die MongoDB CDC-Quelle "Hinzufügen" aus, um die Konfiguration abzuschließen.

    Screenshot der Seite

Aktualisierten Ereignisstream anzeigen

Die MongoDB (CDC)-Quelle wird Ihrem Eventstream im Bearbeitungsmodus hinzugefügt.

Screenshot der hinzugefügten MongoDB CDC-Quelle im Bearbeitungsmodus mit hervorgehobener Schaltfläche

Der Eventstream wird im Livemodus angezeigt. Wählen Sie im Menüband "Bearbeiten" aus, um zum Bearbeitungsmodus zurückzukehren, um den Eventstream zu aktualisieren.

Screenshot der hinzugefügten MongoDB CDC-Quelle im Livemodus.

Einschränkung

  • Die MongoDB CDC-Quelle unterstützt derzeit keine CI/CD-Features, einschließlich Git-Integrations - und Bereitstellungspipeline. Der Versuch, ein Eventstream-Element mit dieser Quelle in ein Git-Repository zu exportieren oder zu importieren, kann zu Fehlern führen.

Andere Connectors: