Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
In diesem Artikel wird gezeigt, wie Sie einem Eventstream eine MongoDB Change Data Capture(CDC)-Quelle hinzufügen.
Mit dem MongoDB CDC Connector für Eventstream können Sie Change Data Capture (CDC)-Ereignisse von MongoDB in Fabric Eventstream streamen. Es unterstützt mehrere MongoDB-Bereitstellungstypen, einschließlich lokaler, in der Cloud gehosteter und MongoDB-Atlas, die eine vielzahl von CDC-Szenarien ermöglichen. Mit diesem Connector können Sie Datenbankänderungen in Echtzeit erfassen und direkt in Eventstream streamen, um sofortige Verarbeitung und Analyse zu ermöglichen.
Voraussetzungen
- Ein Arbeitsbereich im Fabric-Kapazitäts- oder Testlizenzmodus mit Mitwirkende oder höheren Berechtigungen.
- Ein MongoDB-Cluster, auf den über Ihre Client-IP-Adresse zugegriffen werden kann.
- Change Data Capture (CDC) ist für die Sammlungen aktiviert, die Sie erfassen möchten.
- Ein Eventstream in Fabric. Wenn Sie keinen haben, erstellen Sie einen Eventstream.
Einrichten einer MongoDB-Instanz
In diesem Beispiel wird mongoDB Atlas, der verwaltete MongoDB-Dienst in der MongoDB-Cloud, verwendet.
Zum Erfassen von Änderungen müssen Sie die Änderungsdatenerfassung (Change Data Capture, CDC) für die Zielsammlungen aktivieren.
Führen Sie den folgenden Befehl in der MongoDB-Shell aus, um CDC für eine Sammlung zu aktivieren:
db.runCommand({
collMod: "<collectionName>",
changeStreamPreAndPostImages: { enabled: true }
});
Hinweis
Sie benötigen einen Benutzer mit der atlasAdmin Rolle, die die CollMod-Aktion enthält, um diesen Befehl auszuführen. Wenn Sie nicht über diese Berechtigungen verfügen, bitten Sie einen Kollegen mit der atlasAdmin Rolle, die Änderungsdatenerfassung (CDC) für die Zielsammlungen zu aktivieren, bevor Sie Änderungen in Ihrem Eventstream erfassen.
Sie müssen auch einen vorhandenen MongoDB-Benutzer mit der read Rolle (oder einer höheren) in der Zieldatenbank erstellen oder verwenden. Wechseln Sie in MongoDB Atlas in der MongoDB-Cloud zu Datenbankzugriff , um die Rolle des Benutzers zu überprüfen.
Wechseln Sie in MongoDB Atlas auf der MongoDB-Cloud zu Netzwerkzugriff , und fügen Sie Ihre Client-IP-Adresse zur IP-Zugriffsliste hinzu.
Hinzufügen von MongoDB (CDC) als Quelle
Wenn Sie Ihrem Eventstream noch keine Quelle hinzugefügt haben, wählen Sie die Kachel Externe Quelle verwenden aus.
Wenn Sie die Quelle zu einem bereits veröffentlichten Eventstream hinzufügen, wechseln Sie zum Bearbeitungsmodus, wählen Sie im Band Quelle hinzufügen und dann Externe Quellen aus.
Suchen Sie auf der Seite "Datenquelle auswählen" auf der Kachel "MongoDB (CDC)" nach "Verbinden", und wählen Sie "Verbinden" aus.
Konfigurieren und Herstellen einer Verbindung mit MongoDB (CDC)
Wählen Sie den Typ der MongoDB-Instanz aus: entweder MongoDB Atlas oder MongoDB (selbstverwaltet).
Verbindung:
Wenn Sie MongoDB Atlas wählen:
Wählen Sie auf dem Bildschirm "Verbinden " unter "Verbindung" die Option "Neue Verbindung " aus, um eine Cloudverbindung zu erstellen.
Geben Sie die folgenden Verbindungseinstellungen und Verbindungsanmeldeinformationen ein:
Server: Die Verbindungszeichenfolge für Ihren Atlas-Cluster, zum Beispiel
cluster0.example.mongodb.net.Cluster: Dieses Feld ist optional. Der Clustername ist bereits Teil des Servers, sodass Sie diesen Wert leer lassen können.
Verbindungsname: Automatisch generiert, oder Sie können einen neuen Namen für diese Verbindung eingeben.
Benutzername und Kennwort: Anmeldeinformationen für einen Benutzer mit mindestens der
readRolle. Stellen Sie sicher, dass der Benutzer Zugriff auf die Zieldatenbank und -sammlungen hat.
Wenn Sie MongoDB (selbstverwaltet) auswählen:
Wählen Sie auf dem Bildschirm "Verbinden " unter "Verbindung" die Option "Neue Verbindung " aus, um eine Cloudverbindung zu erstellen.
Geben Sie die folgenden Verbindungseinstellungen und Verbindungsanmeldeinformationen ein:
Server: Die Verbindungszeichenfolge für Ihren selbstverwalteten MongoDB-Server, z. B
mongodb0.example.com:27017. .Verbindungsname: Automatisch generiert, oder Sie können einen neuen Namen für diese Verbindung eingeben.
Benutzername und Kennwort: Verwenden Sie einen Benutzer mit lese- oder höheren Berechtigungen, um auf die Zieldatenbank und -sammlungen zuzugreifen.
Geben Sie die folgenden Informationen ein, um die MongoDB CDC-Datenquelle zu konfigurieren, und wählen Sie dann "Weiter" aus.
- Datenbanken: Wählen Sie "Alle" (Standard) oder "Datenbankname(n)" ein. Wenn Sie letzteres auswählen, geben Sie eine optionale kommagetrennte Liste mit regulären Ausdrücken an, die den zu überwachenden Datenbanknamen entsprechen.
-
Sammlungen: Wählen Sie "Alle" (Standard) oder "Auflistungsnamen eingeben" aus. Wenn Sie Letzteres auswählen, stellen Sie eine durch Kommas getrennte Liste regulärer Ausdrücke bereit, die voll qualifizierte Namespaces (z. B.
dbName.collectionName) der zu überwachenden MongoDB-Sammlungen entsprechen.
Sie können erweiterte Einstellungen erweitern, um auf weitere Konfigurationsoptionen für die MongoDB CDC-Quelle zuzugreifen:
-
Momentaufnahmemodus: Optionen sind:
- initial (default): Gibt an, dass der Verbinder eine Momentaufnahme liest, wenn entweder kein Offset gefunden wird oder wenn der Oplog-/Änderungsdatenstrom nicht mehr den vorherigen Offset enthält.
- initial_only: Der Connector führt ein Datenbanksnapshot aus. Nach Abschluss der Momentaufnahme stoppt der Connector und streamt keine Ereignisdatensätze für nachfolgende Datenbankänderungen.
- no_data: Der Verbinder erfasst die Struktur aller relevanten Tabellen, erstellt jedoch keine READ-Ereignisse, um den Datensatz an dem Anfangspunkt des Connectors darzustellen.
Sie können auch den Quellnamen bearbeiten, indem Sie im Abschnitt Stream-Details auf der rechten Seite die Schaltfläche "Bleistift" für den Quellnamen auswählen.
-
Momentaufnahmemodus: Optionen sind:
Wählen Sie auf der Seite "Überprüfen + Verbinden " nach dem Überprüfen der Zusammenfassung für die MongoDB CDC-Quelle "Hinzufügen" aus, um die Konfiguration abzuschließen.
Aktualisierten Ereignisstream anzeigen
Die MongoDB (CDC)-Quelle wird Ihrem Eventstream im Bearbeitungsmodus hinzugefügt.
Der Eventstream wird im Livemodus angezeigt. Wählen Sie im Menüband "Bearbeiten" aus, um zum Bearbeitungsmodus zurückzukehren, um den Eventstream zu aktualisieren.
Einschränkung
- Die MongoDB CDC-Quelle unterstützt derzeit keine CI/CD-Features, einschließlich Git-Integrations - und Bereitstellungspipeline. Der Versuch, ein Eventstream-Element mit dieser Quelle in ein Git-Repository zu exportieren oder zu importieren, kann zu Fehlern führen.
Verwandte Inhalte
Andere Connectors: