Microsoft Fabric のミラーリング では、既存の Azure Cosmos DB データを Microsoft Fabric の残りのデータと統合するためのシームレスな ETL なしのエクスペリエンスが提供されます。 Azure Cosmos DB データは、トランザクション ワークロードや要求ユニット (RU) の使用にパフォーマンスに影響を与えることなく、ほぼリアルタイムで Fabric OneLake に継続的に直接レプリケートされます。
OneLake のデータは、オープンソースのデルタ形式で格納され、Fabric 上のすべての分析エンジンで自動的に使用できるようになります。
組み込みの Power BI 機能を使用して、DirectLake モードの OneLake のデータにアクセスできます。 Fabric の Copilot 強化により、生成 AI の機能を使用して、ビジネス データに関する重要な分析情報を取得できます。 Power BI に加えて、T-SQL を使用して複雑な集計クエリを実行したり、データ探索に Spark を使用したりできます。 ノートブック内のデータにシームレスにアクセスし、データ サイエンスを使用して機械学習モデルを構築できます。
Important
Azure Cosmos DB のミラーリングは現在 プレビュー段階です。 運用環境のワークロードは、プレビュー期間中はサポートされません。 現時点では、Azure Cosmos DB for NoSQL アカウントのみがサポートされています。
Fabric でミラーリングを使用する理由
Fabric のミラーリングでは、複数のベンダーの異なるサービスをまとめる必要はありません。 代わりに、分析ニーズを簡素化し、オープン性のために構築された、高度に統合されたエンドツーエンドの使いやすい製品を楽しむことができます。
Azure Cosmos DB の運用データに関する BI レポートまたは分析を探している場合、ミラーリングでは次の機能が提供されます。
- ETL なし、要求ユニットの使用量に影響を与えずに、Azure Cosmos DB データへのコスト効率に優れたほぼリアルタイムのアクセス
- Fabric OneLake にさまざまなソース間でデータを取り込むのが容易
- 高速読み取りの v オーダーによる差分テーブルの最適化
- Direct Lake および Power BI とのワンクリック統合 Copilot
- さまざまなソース間でデータを結合することで、豊富なビジネス分析情報を得る
- クエリとビューにアクセスするための高度なアプリ統合
OneLake データはオープンソースの Delta Lake 形式で格納されるため、Microsoft 内外のさまざまなソリューションで使用できます。 このデータ形式は、分析ニーズに合わせて単一のデータ資産を簡単に構築するのに役立ちます。
どのような分析エクスペリエンスが組み込まれていますか?
ミラー化されたデータベースは、 ファブリック データ ウェアハウス 内のアイテムであり、 Warehouse および SQL 分析エンドポイントとは異なります。
ミラー化されたすべての Azure Cosmos DB 項目は、Fabric ワークスペースで操作できる次の項目を作成します。
- ミラー化されたデータベース項目。 ミラーリングでは、 データの OneLake へのレプリケーションと Parquet への変換が、分析対応形式で管理されます。 これにより、データ エンジニアリング、データ サイエンスなどのダウンストリーム シナリオが可能になります。
- 自動的に生成される SQL 分析エンドポイント
ミラー化されたデータベース
ミラー化されたデータベースには、レプリケーションの状態と、Fabric OneLake でレプリケーションを停止または開始するためのコントロールが表示されます。 Azure Cosmos DB データ エクスプローラーを使用して、読み取り専用モードでソース データベースを表示することもできます。 データ エクスプローラーを使用すると、ソースの Azure Cosmos DB データベースでコンテナーを表示し、クエリを実行できます。 これらの操作は、Azure Cosmos DB アカウントからの要求ユニット (RU) を使用します。 ソース データベースに対する変更は、ファブリックのソース データベース ビューに直ちに反映されます。 データのみを表示できるため、Fabric からソース データベースへの書き込みは許可されません。
SQL 分析エンドポイント
ミラー化された各データベースには、自動生成された SQL 分析エンドポイントがあり、ミラーリング プロセスによって作成された OneLake の Delta テーブルの上に豊富な分析エクスペリエンスが提供されます。 読み取り専用のコピーであるため、データ オブジェクトを定義してクエリを実行できるが、SQL 分析エンドポイントからデータを操作できない、使い慣れた T-SQL コマンドにアクセスできます。
SQL 分析エンドポイントでは、次のアクションを実行できます。
- T-SQL を使用して Delta Lake テーブルを探索する。 各テーブルは、Azure Cosmos DB データベースからコンテナーにマップされます。
- コードなしのクエリとビューを作成し、コード行を記述せずに視覚的に調査します。
- 同じワークスペース内の他のミラー化されたデータベース、ウェアハウス、および Lakehouse のデータを結合してクエリを実行します。
- SQL クエリまたはビューに基づいて、BI レポートを簡単に視覚化および構築できます。
SQL クエリ エディターに加えて、ツールの広範なエコシステムがあります。 これらのツールには 、Visual Studio Code、 SQL Server Management Studio (SSMS)、GitHub Copilotを含む mssql 拡張機能が含まれます。 選択したツールから分析と分析情報の生成をスーパーチャージできます。
セマンティック モデル
データベースに Power BI セマンティック モデルを作成して、ビジネス メトリックの作成、共有、再利用を可能にすることができます。 詳細については、「 Power BI セマンティック モデルの作成」を参照してください。
ほぼリアルタイムのレプリケーションのしくみ
Azure Cosmos DB データベースでミラーリングを有効にすると、オンライン トランザクション処理 (OLTP) データに対する挿入、更新、削除操作が、分析のために Fabric OneLake に継続的にレプリケートされます。
継続的バックアップ機能は、ミラーリングの前提条件です。 Azure Cosmos DB アカウントで 7 日間または 30 日間の連続バックアップを有効にすることができます。 ミラーリング専用に継続的バックアップを有効にする場合は、コストがかからないため、7 日間の連続バックアップをお勧めします。
注
ミラーリングでは、変更データ キャプチャ ソースとして Azure Cosmos DB の分析ストアや変更フィードは使用されません。 これらの機能は、ミラーリングと共に引き続き個別に使用できます。
Azure Cosmos DB データを Fabric OneLake にレプリケートするには、数分かかる場合があります。 データの初期スナップショットまたは更新/削除の頻度によっては、レプリケーションに時間がかかる場合もあります。 レプリケーションは、トランザクション ワークロードに割り当てた要求ユニット (RU) には影響しません。
ミラーリングに期待すること
ミラーリングの前に考慮する必要がある考慮事項とサポートされるシナリオがいくつかあります。
セットアップに関する考慮事項
データベースをミラーリングするには、Azure で既にプロビジョニングされている必要があります。 前提条件として、アカウントで継続的バックアップを有効にする必要があります。
- 各データベースは、一度に個別にのみミラー化できます。 ミラー化するデータベースを選択できます。
- 同じワークスペース内で同じデータベースを複数回ミラーリングできます。 ベスト プラクティスとして、データベースの 1 つのコピーを、レイクハウス、ウェアハウス、またはその他のミラー化されたデータベース間で再利用できます。 同じデータベースに対して複数のミラーを設定する必要はありません。
- 異なる Fabric ワークスペースまたはテナント間で同じデータベースをミラーリングすることもできます。
- データベース内でミラーリングするコンテナーを選択できます。
- 新しいコンテナーの追加や既存のコンテナーの削除など、Azure Cosmos DB コンテナーへの変更は、Fabric にシームレスにレプリケートされます。 たとえば、コンテナーのない空のデータベースのミラーリングを開始し、ミラーリングは後の時点で追加されたコンテナーをシームレスに選択できます。
入れ子になったデータのサポート
入れ子になったデータは、SQL 分析エンドポイント テーブルに JSON 文字列として表示されます。 T-SQL クエリまたはビューで OPENJSON、 CROSS APPLY、および OUTER APPLY を使用して、このデータを選択的に拡張できます。 Power Query を使用している場合は、 ToJson 関数を適用してこのデータを展開することもできます。
自動スキーマ推論により、入れ子になったスキーマを明示的に定義しなくても、入れ子になったデータを OPENJSON でフラット化できます。 これは、動的または予測できない入れ子になったスキーマを持つワークロードに特に役立ちます。 詳細については、 入れ子になったデータのクエリを実行する方法を参照してください。
注
Fabric には、サイズが 8 KB の文字列列に制限があります。 詳細と現在の回避策については、 データ ウェアハウスの制限事項を参照してください。
スキーマの変更を処理する
ミラーリングでは、スキーマが変更された状態で、Azure Cosmos DB 項目間でプロパティが自動的にレプリケートされます。 アイテムで検出された新しいプロパティは新しい列として表示され、存在する場合は、不足しているプロパティは Fabric では null として表されます。
アイテム内のプロパティの名前を変更すると、Fabric テーブルは古い列と新しい列の両方を保持します。 古い列には null が表示され、新しい列には、名前の変更操作後にレプリケートされるすべての項目の最新の値が表示されます。
Azure Cosmos DB 項目のプロパティのデータ型を変更した場合、変換可能な互換性のあるデータ型に対して変更がサポートされます。 データ型が Delta での変換に互換性がない場合は、null 値として表されます。
SQL 分析エンドポイント テーブルは、差分データ型を T-SQL データ型に変換します。
列名の重複
Azure Cosmos DB では、JSON 標準に基づいて、大文字と小文字を区別しない列名がサポートされています。 ミラーリングでは、列名に _n を追加することで、これらの重複する列名がサポートされます。ここで、 n は数値になります。
たとえば、Azure Cosmos DB 項目に一意のプロパティとして addressName と AddressName がある場合、Fabric テーブルには対応する addressName 列と AddressName_1 列があります。 詳細については、 レプリケーションの制限事項を参照してください。
AI ワークロードのサポート
Azure Cosmos DB ミラーリングでは、ベクター検索とインデックス作成を使用するアカウントがサポートされており、AI と機械学習のワークロードで Microsoft Fabric の強力な分析を最大限に活用しながら、Azure Cosmos DB の高パフォーマンス ベクター機能を引き続き活用できます。
詳細については、Cosmos DB および Fabric データ サイエンスおよび AI エクスペリエンスのベクター検索とインデックス作成に関するドキュメントを参照してください。
セキュリティ
Microsoft Entra ID とロールベースのアクセス制御またはアカウント レベルのキーを使用して、ソースのアクセス許可に接続できます。
キーを使用してキーをローテーションまたは再生成する場合は、レプリケーションが機能するように接続を更新する必要があります。 詳細については、 接続を参照してください。 接続が設定されると、アカウント キーは他の Fabric ユーザーに直接表示されません。 Fabric で作成された接続にアクセスできるユーザーを制限できます。 ミラー化されたデータベースのデータ エクスプローラーまたは分析エンドポイントから Azure Cosmos DB データベースへの書き込みを許可することはできません。 ミラーリングでは現在、読み取り専用アカウント キーを使用した認証はサポートされていません。
Microsoft Entra ID 認証では、次の RBAC アクセス許可が必要です: Microsoft.DocumentDB/databaseAccounts/readMetadata & Microsoft.DocumentDB/databaseAccounts/readAnalytics。 詳細については、 データ プレーンのロールベースのアクセス制御に関するドキュメントを参照してください。
ヒント
データが Fabric OneLake にレプリケートされたら、このデータへのアクセスもセキュリティで保護する必要があります。
データ保護機能
詳細なセキュリティは、Microsoft Fabric のミラー化されたデータベースで構成できます。 詳細については、 Microsoft Fabric の詳細なアクセス許可に関するセクションを参照してください。
テーブルの列フィルターと述語ベースの行フィルターを、Microsoft Fabric のロールとユーザーにセキュリティで保護できます。
動的データ マスクを使用して、管理者以外のユーザーからの機密データをマスクすることもできます。
ネットワークのセキュリティ
現在、ミラーリングでは、OneLake のプライベート エンドポイントまたはカスタマー マネージド キー (CMK) はサポートされていません。 ミラーリングは、 すべてのネットワークよりも制限の少ないネットワーク セキュリティ構成を持つ Azure Cosmos DB アカウント、サービス エンドポイントの使用、プライベート エンドポイントの使用、IP アドレスの使用、またはアカウントへのパブリック ネットワーク アクセスを制限できるその他の設定の使用ではサポートされていません。 ミラーリングを使用するには、すべてのネットワークに対して Azure Cosmos DB アカウントを開く必要があります。
ディザスター リカバリーとレプリケーションの待機時間
Fabric では、Fabric テナントのホーム リージョン以外のリージョンのデータ センターにコンテンツをデプロイできます。 詳細については、 複数地域のサポートを参照してください。
プライマリ書き込みリージョンと複数の読み取りリージョンを持つ Azure Cosmos DB アカウントの場合、ミラーリングでは、ファブリック容量が構成されているリージョンに最も近い Azure Cosmos DB 読み取りリージョンが選択されます。 この選択は、ミラーリングの待機時間が短いレプリケーションを提供するのに役立ちます。
Azure Cosmos DB アカウントを復旧リージョンに切り替えると、ミラーリングによって最も近い Azure Cosmos DB リージョンが自動的に選択されます。
注
ミラーリングでは、複数の書き込みリージョンを持つアカウントはサポートされていません。
OneLake にレプリケートされる Cosmos DB データは、リージョン全体の停止を処理するように構成する必要があります。 詳細については、「 OneLake でのディザスター リカバリー」を参照してください。
ミラーリングを使用してデータを探索する
ミラーリングされたデータは、OneLake で直接表示およびアクセスできます。 さらにデータを移動することなく、ミラー化されたデータにシームレスにアクセスすることもできます。
ADLS Gen2 API または SDK、OneLake ファイル エクスプローラー、Azure Storage エクスプローラーを使用して OneLake にアクセスする方法について説明します。
SQL Server Management Studio (SSMS) などのツールから、または Microsoft Open Database Connectivity (ODBC) や Java Database Connectivity (JDBC) などのドライバーを使用して、SQL 分析エンドポイントに接続できます。 詳細については、 SQL 分析エンドポイントの接続に関するページを参照してください。
ミラー化されたデータには、次のようなサービスを使用してアクセスすることもできます。
- Azure Databricks、Azure HDInsight、Azure Synapse Analytics などの Azure サービス
- データ エンジニアリングとデータ サイエンスのシナリオにショートカットを使用する Fabric Lakehouse
- Fabric ワークスペース内の他のミラー化されたデータベースまたはウェアハウス
また、medallion アーキテクチャ ソリューションを構築し、ミラーリングされたデータベースに着陸するデータをブロンズ レイヤーとしてクリーニングおよび変換することもできます。 詳細については、 Fabric での medallion アーキテクチャのサポートに関する説明を参照してください。
Pricing
Cosmos DB データを Fabric OneLake にレプリケートするために使用されるファブリック コンピューティングは無料です。 OneLake のストレージは、容量サイズに基づくコストは無料です。 詳細については、 ミラーリングの OneLake の価格に関するページを参照してください。 SQL、Power BI、または Spark を使用してデータを照会するためのコンピューティング使用量は、ファブリック容量に基づいて引き続き課金されます。
Fabric ミラーリングでデータ エクスプローラーを使用している場合は、要求ユニット (RU) の使用量に基づいて一般的なコストが発生し、コンテナーを探索し、ソース Azure Cosmos DB データベース内の項目に対してクエリを実行します。 Azure Cosmos DB の継続的バックアップ機能は、ミラーリングの前提条件です。継続的バックアップの標準料金が適用されます。 継続的バックアップの課金では、ミラーリングに追加料金はかかりません。 詳細については、 Azure Cosmos DB の価格に関するページを参照してください。