適用対象:
NoSQL
MongoDB
グレムリン
Azure Synapse Link for Azure Cosmos DB は、クラウドネイティブのハイブリッド トランザクションと分析処理 (HTAP) の機能であり、Azure Cosmos DB でのオペレーショナル データを凖リアルタイムで分析できます。 Azure Synapse Link によって、Azure Cosmos DB と Azure Synapse Analytics の間に緊密でシームレスな統合が作成されます。
重要
Microsoft Fabric での Azure Cosmos DB のミラーリングが、NoSql API で利用できるようになりました。 この機能により、Azure Synapse Link のすべての機能に、より優れた分析パフォーマンスが提供され、データ資産を Fabric OneLake と統合し、Delta Parquet 形式でデータへのアクセスを開く機能が提供されます。 Azure Synapse Link を検討している場合は、ミラーリングを試して、組織全体の適合性を評価することをお勧めします。 Microsoft Fabric でミラーリングを始める方法。
完全に分離された列ストアである Azure Cosmos DB 分析ストアは、Azure Synapse Link と共に使用して、大規模な運用データに対する Azure Synapse Analytics での抽出-変換-読み込み (ETL) 分析を有効にすることができます。 ビジネス アナリスト、データ エンジニア、データ サイエンティストは、Synapse Spark または Synapse SQL を同じ意味で使用して、ほぼリアルタイムのビジネス インテリジェンス、分析、機械学習パイプラインを実行できるようになりました。 Azure Cosmos DB でのトランザクション ワークロードのパフォーマンスに影響を与えることなく、リアルタイム データを分析できます。
次の図では、Azure Synapse Link と Azure Cosmos DB および Azure Synapse Analytics との統合を示します。
メリット
ミッション クリティカルなトランザクション ワークロードのパフォーマンスへの影響を最小限に抑えながら、大規模なオペレーショナル データセットを分析するには、Azure Cosmos DB では従来、オペレーショナル データをエクスポートします。 これらの操作は ETL パイプラインによって実行され、多くのレイヤーのデータとジョブの管理が必要になり、トランザクション ワークロードに対する運用の複雑さとパフォーマンスの影響が生じます。 また、開始時からオペレーショナル データが分析されるまでの待機時間も長くなります。
従来の ETL ベースのソリューションと比較して、Azure Synapse Link for Azure Cosmos DB には次のような利点があります。
管理する ETL ジョブがないことによる複雑さの軽減
Azure Synapse Link では、Azure Synapse Analytics を使用して Azure Cosmos DB 分析ストアに直接アクセスすることができ、複雑なデータ移動がありません。 ETL や変更フィード ジョブがないので、オペレーショナル データに対して行われたすべての更新は、ほぼリアルタイムで分析ストアに表示されます。 追加のデータ変換を行うことなく、Azure Synapse Analytics から分析ストアに対して大規模な分析を実行できます。
オペレーショナル データに関するほぼリアルタイムの分析情報
Azure Synapse Link を使用すると、オペレーショナル データに関する豊富な分析情報を、ほぼリアルタイムで取得できます。 ETL ベースのシステムでは、多くのレイヤーでオペレーショナル データを抽出、変換、読み込む必要があるため、オペレーショナル データを分析するための待機時間が長くなる傾向があります。 Azure Cosmos DB 分析ストアと Azure Synapse Analytics のネイティブな統合により、オペレーショナル データをほぼリアルタイムで分析でき、新しいビジネス シナリオが可能になります。
運用ワークロードに対するパフォーマンスの侵害がない
Azure Synapse Link では、データの列ストア表現である Azure Cosmos DB 分析ストアに対して分析クエリを実行できます。 Azure Cosmos DB の行ベースのトランザクション ストアを介して、トランザクション ワークロード用にプロビジョニングされたスループットを使用してトランザクション操作を処理しながらクエリを実行できます。 分析ワークロードは、トランザクション ワークロードのトラフィックから独立しており、オペレーショナル データ用に割り当てたスループットは使用しません。
大規模な分析ワークロード用に最適化
Azure Cosmos DB 分析ストアは、コンピューティング ランタイムに依存せずに、分析ワークロードに対してスケーラビリティ、弾力性、パフォーマンスを提供するように最適化されています。 ストレージ テクノロジは、分析ワークロードを最適化するように自己管理されています。 Azure Synapse Analytics のサポートが組み込まれているため、このストレージ レイヤーに対するアクセスは簡単でハイ パフォーマンスです。
高いコスト効率
Azure Synapse Link を使うと、コスト効率のよいフル マネージドの運用分析用ソリューションを利用できます。 これにより、従来の ETL パイプラインでオペレーショナル データを分析するために必要であったストレージとコンピューティングの余分なレイヤーが不要になります。
Azure Cosmos DB 分析ストアは、使用量ベースの価格モデルに従います。このモデルは、データ ストレージと、実行された分析の読み書き操作およびクエリに基づいています。 トランザクション ワークロードに対して現在行っているような、スループットの割り当ては必要ありません。 Azure Synapse Analytics から高度なエラスティック コンピューティング エンジンを使用してデータにアクセスすることにより、ストレージとコンピューティングの実行のコスト効率が向上します。
ローカルに使用可能でグローバルに分散されたマルチリージョン書き込みの分析
Azure Cosmos DB のデータの最も近いリージョン コピーに対して、分析クエリを効率的に実行できます。 Azure Cosmos DB には、グローバルに分散された分析ワークロードとトランザクション ワークロードをアクティブ/アクティブ方式で実行するための最新の機能が用意されています。
オペレーショナル データの HTAP シナリオを有効にする
Azure Synapse Link によって、Azure Cosmos DB 分析ストアと Azure Synapse Analytics のランタイム サポートが統合されます。 この統合により、大規模なデータセットに対する運用データのリアルタイムの更新に基づいて分析情報を生成するクラウドネイティブの HTAP ソリューションを構築できます。 それによって、ライブの傾向に基づいてアラートを生成したり、ほぼリアルタイムのダッシュボードを作成したりする新しいビジネス シナリオや、ユーザーの行動に基づくビジネス エクスペリエンスが、可能になります。
Azure Cosmos DB 分析ストア
Azure Cosmos DB 分析ストアは、Azure Cosmos DB 内のオペレーショナル データの列指向の表現です。 この分析ストアは、大規模なオペレーショナル データ セットに対する高速でコスト効率の高いクエリに適しています。 このストアは、データをコピーしたり、トランザクション ワークロードのパフォーマンスに対する影響を与えたりすることなく、データを分析できます。
分析ストアは、Azure Cosmos DB のフル マネージド機能 (自動同期) として、トランザクション ワークロード内の高頻度の挿入、更新、削除をほぼリアルタイムで自動的に取得します。 変更フィードや ETL は必要ありません。
グローバルに分散された Azure Cosmos DB アカウントがある場合、コンテナーの分析ストアを有効にした後、そのアカウントのすべてのリージョンでそれを使用できるようになります。 詳細については、 Azure Cosmos DB 分析ストアの概要に関するページを参照してください。
Azure Synapse Analytics との統合
Azure Synapse Link では、Azure Synapse Analytics から Azure Cosmos DB コンテナーに直接接続し、別のコネクタを使用せずに分析ストアにアクセスできるようになりました。 Azure Synapse Analytics では、現在、Synapse Apache Spark およびサーバーレス SQL プールとの Azure Synapse Link がサポートされています。
Azure Synapse Analytics でサポートされているさまざまな分析ランタイム間の相互運用機能により、Azure Cosmos DB 分析ストアからデータを同時にクエリできます。 オペレーショナル データを分析するために、追加のデータ変換は必要ありません。 次のものを使用して、分析ストアのデータのクエリと分析を行うことができます。
Scala、Python、SparkSQL、C# が完全にサポートされている Synapse Apache Spark。 Synapse Spark は Data Engineering とデータ サイエンスのシナリオにおける中心的存在です
T-SQL 言語を使用するサーバーレス SQL プールと、使い慣れた BI ツール (Power BI Premium など) に対するサポート
注
Azure Synapse Analytics からは、Azure Cosmos DB コンテナー内の分析ストアとトランザクション ストアの両方にアクセスできます。 ただし、運用データに対して大規模な分析またはスキャンを実行する場合は、トランザクション ワークロードに対するパフォーマンスの影響を回避するために分析ストアを使用することをお勧めします。
注
Azure Cosmos DB コンテナーを Azure リージョンの Synapse ランタイムに接続することにより、そのリージョン内での分析を低待機時間で実行できます。
この統合により、次のようなさまざまなユーザーに対する HTAP シナリオが可能になります。
Power BI レポートをモデル化して発行し、Synapse SQL を介して Azure Cosmos DB のライブ運用データに直接アクセスする BI エンジニア。
Synapse SQL を使用してクエリを実行し、大規模なデータを読み取り、それらの結果を他のデータ ソースと組み合わせることによって、Azure Cosmos DB コンテナー内の運用データから分析情報を導き出したいと考えているデータ アナリスト 。
Synapse Spark を使用してモデルを改善し、複雑なデータ エンジニアリングを行わずにそのモデルをトレーニングする機能を見つけたいデータ サイエンティスト 。 また、Spark Synapse を使用してデータのスコアリングをリアルタイムで行うために、モデルのポスト推論の結果を Azure Cosmos DB に書き込むこともできます。
手動の ETL プロセスを使用せずに、Azure Cosmos DB コンテナーを介して SQL または Spark テーブルを作成して、コンシューマーがデータにアクセスできるようにする必要がある データ エンジニア 。
Azure Cosmos DB に対する Azure Synapse Analytics ランタイムのサポートの詳細については、Azure Synapse Link for Azure Cosmos DB でサポートされる機能に関するページを参照してください。
Azure Synapse Link for Azure Cosmos DB を使用する場合
Azure Cosmos DB を使用しており、オペレーショナル データに対して分析、BI、機械学習を実行したい場合は、Azure Synapse Link をお勧めします。 次に例を示します。
現在、別のコネクタを使用して Azure Cosmos DB の運用データに対して分析または BI を実行している場合
ETL プロセスを実行して運用データを別の分析システムに抽出する場合
このような場合、Azure Synapse Link では、トランザクション ストアのプロビジョニング済みスループットに影響を与えることなく、より統合された分析エクスペリエンスが提供されます。
Azure Synapse Link は、従来のデータ ウェアハウスの要件を探している場合は推奨されません。 これらの要件には、高いコンカレンシー、ワークロード管理、複数のデータ ソースにわたる集計の永続化が含まれる場合があります。 詳細については、「 Azure Cosmos DB: No-ETL 分析のユース ケース」を参照してください。
制限事項
Azure Synapse Link for Azure Cosmos DB は、NoSQL、Gremlin、および MongoDB API でサポートされています。 Cassandra API または Table API ではサポートされていません。
Synapse ワークスペースのデータ エクスプローラーでは、ツリー ビューに Gremlin グラフが一覧表示されません。 ただし、クエリは引き続き実行できます。
現時点では、Azure Synapse 専用 SQL プールを使用した Azure Cosmos DB 分析ストアへのアクセスはサポートされていません。
分析ストア データはバックアップされず、したがって復元できませんが、復元されたコンテナーで Azure Synapse Link を再び有効にすることにより、分析ストアを再構築できます。 詳細については、分析ストアのドキュメントを確認してください。
現時点では、コンテナーから Azure Synapse Link を無効にしたお客様は、継続的バックアップに移行できません。 この場合は、 cosmosdbsynapselink@microsoft.comにお問い合わせください。
Synapse からクエリを実行する場合、きめ細かいロールベースのアクセスはサポートされていません。 Synapse ワークスペースにアクセスでき、Azure Cosmos DB アカウントにアクセスできるユーザーは、そのアカウント内のすべてのコンテナーにアクセスできます。 現在、コンテナーへのより詳細なアクセスはサポートされていません。
現在、Azure Synapse ワークスペースでは、
Managed Identityを使用したリンクされたサービスはサポートされていません。 常にMasterKeyオプションを使用します。現在、運用環境では、複数リージョンの書き込みアカウントは推奨されていません。
セキュリティ
Azure Synapse Link を使用すると、Azure Cosmos DB のミッション クリティカルなデータに対してほぼリアルタイムの分析を実行できます。 重要なビジネス データがトランザクション ストアと分析ストアの両方に安全に格納されるようにすることは必要不可欠です。 Azure Synapse Link for Azure Cosmos DB は、次の機能によってこれらのセキュリティ要件を満たすように設計されています。
プライベート エンドポイントを使用したネットワーク分離 - トランザクション ストアおよび分析ストア内のデータへのネットワーク アクセスを個別に制御できます。 ネットワークの分離は、Azure Synapse ワークスペースのマネージド仮想ネットワーク内で、ストアごとに別個のマネージド プライベート エンドポイントを使用して行われます。 詳細については、 Azure Cosmos DB 分析ストアの Azure Private Link の構成に関するページを参照してください。
カスタマー マネージド キーを使用したデータの暗号化 - 同じカスタマー マネージド キーを自動かつ透過的な方法で使用して、トランザクション ストアおよび分析ストア全体のデータをシームレスに暗号化できます。 Azure Synapse Link では、Azure Cosmos DB アカウントのマネージド ID を使用したカスタマー マネージド キーの構成のみがサポートされています。 アカウントで Azure Synapse Link を有効にする前に、Azure Key Vault のアクセス ポリシーでアカウントのマネージド ID を構成する必要があります。 詳細については、「 Azure Key Vault を使用して Azure Cosmos DB アカウントのカスタマー マネージド キーを構成する」を参照してください。
セキュリティで保護されたキー管理 - Synapse Spark や Synapse サーバーレス SQL プールから分析ストア内のデータにアクセスするには、Synapse Analytics ワークスペース内で Azure Cosmos DB キーを管理する必要があります。 Spark ジョブや SQL スクリプトで Azure Cosmos DB アカウント キーをインラインで使用する代わりに、Azure Synapse Link にはより安全な機能が用意されています。
Synapse サーバーレス SQL プールを使用する場合は、アカウント キーを格納する SQL 資格情報を事前に作成し、
OPENROWSET関数でこれらのキーを参照することで、Azure Cosmos DB 分析ストアに対してクエリを実行できます。 詳細については、 サーバーレス SQL プールを使用して Azure Cosmos DB データのクエリを実行する方法に関するページを参照してください。Synapse Spark を使用するときは、Azure Cosmos DB データベースをポイントするリンク サービスのオブジェクトにアカウント キーを格納し、実行時に Spark 構成でキーを参照することができます。 詳細については、「 Apache Spark を使用して Azure Cosmos DB から専用 SQL プールにデータをコピーする」を参照してください。
価格
Azure Synapse Link の課金モデルには、Azure Cosmos DB 分析ストアと Synapse ランタイムを使用して発生するコストが含まれます。 詳細については、Azure Cosmos DB 分析ストアの価格に関するページおよび「Azure Synapse Analytics の価格」をご覧ください。