ベクトル検索用の Azure サービスを選択する

ベクトル検索は、データベースにベクトルの形で保存されている情報を検索する方法です。 ベクトルは、テキストや画像などのメディアの機能や特性を表す数値のグループです。 ベクトルは、従来のキーワードベースの検索方法よりも大幅に進歩しています。 情報内のセマンティック リレーションシップをキャプチャして比較することで、より高速で正確な結果が得られます。

Azure には、ベクター化されたデータを格納および検索するための複数の方法が用意されています。 この記事は、アプリケーションのベクトル検索に適した Azure サービスを理解して選択する必要があるアーキテクトと開発者に役立ちます。

この記事では、ベクトル検索機能に基づいて次のサービスを比較します。

• Azure AI 検索
• Azure Cosmos DB (NoSQL)
• Azure Cosmos DB for MongoDB (仮想コア)
• Azure Cosmos DB for PostgreSQL
• Azure Database for PostgreSQL
• Azure SQL データベース

アーキテクトと開発者は、「候補サービスの選択」と「機能マトリックス」のシステム要件の観点から利用可能なサービス比較する必要があります。

サービス候補を選択する

このセクションは、ニーズに最も適したサービスを選択するのに役立ちます。 選択肢を絞り込むには、まずシステム要件を検討します。

主な要件

従来のデータベース ソリューションと Azure AI Search のどちらを使用するかを決定するには、要件と、データに対してライブ ベクター検索とリアルタイム ベクター検索のどちらを実行できるかを検討します。 ベクトル化されたフィールドの値を頻繁に変更し、その変更をリアルタイムまたは凖リアルタイムで検索できる必要がある場合は、従来のリレーショナル データベースまたは NoSQL データベースがシナリオに最適です。 同様に、パフォーマンス 目標を満たすのに最適なソリューションは、既存のデータベースを使用することです。 ただし、ワークロードでリアルタイムまたはほぼリアルタイムのベクター検索可能性を必要とせず、ベクターのインデックスを管理できる場合は、AI Search を使用することをお勧めします。

従来のデータベース ソリューションを選択した場合、使用する特定の種類のデータベース サービスは、主にチームのスキル セットと現在操作しているデータベースによって異なります。 MongoDB などの特定の種類のデータベースを既に使用している場合は、その同じ種類のデータベースを使用することが、シナリオにとって最も簡単な解決策となる可能性があります。 「機能マトリックス」セクションに示すように、各データベース サービスにはベクトル検索に固有の機能と制限があります。 その情報を確認して、必要な機能が優先データベースの種類でサポートされていることを確認します。

コストの懸念が推進要因である場合は、新しいサービスやデータベース サービスの他のインスタンスを導入すると、新たな正味コストと複雑さが追加される可能性があるため、既存の設計を維持することがシナリオに最も適していると考えられます。 現在のデータベースをベクトル検索に使用すると、専用サービスを使用するよりもコストへの影響が少なくなる可能性があります。

AI Search ではなく従来のデータベースを使用することを選択した場合、一部の高度な検索機能は既定では利用できません。 たとえば、再ランク付けやハイブリッド検索を実行したい場合は、Transact-SQL (T-SQL) またはその他のコーディングを通じてその機能を有効にします。

機能マトリックス

このセクションの表は、機能の主な違いをまとめたものです。

基本機能

ベクター データ型、近似最近隣 (ANN) ベクター インデックス、ベクター ディメンションの制限、複数のベクター フィールド、および複数のベクター インデックスのネイティブ サポートは、サービス間で異なる場合があります。 ワークロードは、これらの特定の機能の一部に依存する場合があります。 次の表に示すように、各 Azure サービスの基本的なベクター機能について説明します。

1. ベクター検索のサポートは、PostgreSQL の拡張機能である pgvector によって提供されます。
2. 埋め込みのベクター検索は、Azure Cosmos DB for MongoDB (仮想コア) でサポートされています。
3. AI Search では、ベクターの使用がサポートされています。
4. ベクトルは、SQL Database の VARBINARY(8000) 列または変数に格納できます。
5. OpenAI からの埋め込みモデルには、text-embedding-ada-002 と text-embedding-3-small の両方に対して 1,536 次元、text-embedding-3-large 用に 3,072 ディメンションが含まれます。 Azure AI Vision マルチモーダル埋め込みモデルには、画像とテキストの両方に 1,024 のディメンションがあります。
6. ベクターには、最大 16,000 個のディメンションを含めることができます。 ただし、反転ファイル フラット (IVFFlat) と階層ナビゲーション可能小世界 (HNSW) アルゴリズムを使用したインデックス作成では、最大 2,000 次元のベクトルがサポートされます。
7. フラット インデックス型を使用してインデックスを作成するベクターは、最大 505 次元を持つことができます。 量子化されたFlat または DiskANN インデックスの種類を使用してインデックスを作成するベクターは、最大 4,096 次元を持つことができます。
8. SQL Database では、ベクター データ型がサポートされています。

検索方法

多くの場合、ワークロードでは、フルテキスト検索やハイブリッド検索 (フルテキスト検索またはセマンティック検索に加えてベクター検索) とベクター検索を組み合わせる必要があります。 ハイブリッド検索と再ランク付けの組み合わせにより、ワークロードの高い精度が実現します。 独自のコードを使用して、ハイブリッド検索と再ランク付けを手動で実装することも、ベクター ストアがこのワークロード要件をどのようにサポートしているかを検討することもできます。

1. PostgreSQL では、フルテキスト検索がサポートされています。
2. Azure Cosmos DB for MongoDB (仮想コア) では、テキスト インデックスを使用した検索とクエリがサポートされています。
3. フルテキスト検索は SQL Server でサポートされています。
4. SQL Server では、ベクター データがサポートされています。
5. ハイブリッド検索はファーストクラスの機能として提供されていませんが、サンプル コードを使用できます。
6. フルテキスト検索とベクター検索と相互ランク 融合 (RRF) を組み合わせたハイブリッド検索は、Azure Cosmos DB for MongoDB (仮想コア) でネイティブにサポートされています。
7. フルテキスト検索、ベクター検索、セマンティック ランク付けを組み合わせたハイブリッド検索は、Azure AI Search の最上位機能として提供されます。
8. Azure SQL Database と SQL Server のハイブリッド検索の例を使用できます。
9. セマンティック ランク付けは、フルテキスト検索とベクター検索の結果を再ランク付けする最上位の機能です。
10. Cosmos DB NoSQL では、フルテキスト スコアリングを使用したフルテキスト検索がサポートされています。
11. Cosmos DB NoSQL では、ハイブリッド検索がサポートされています。

ベクトル データ インデックス作成アルゴリズム

ベクトル データのインデックス作成は、ベクトルを効率的に格納および取得する機能です。 インデックス作成はデータ ソースの類似検索とニアレストネイバー クエリの速度と精度に影響を与えるため、この機能は重要です。

インデックスは通常、完全な k 近傍法 (Ek-NN) または ANN アルゴリズムに基づいています。 Ek-NN は、すべてのデータ ポイントを 1 つずつ網羅的に検索し、正確な k 個の最近傍を返します。 Ek-NN は、少量のデータでミリ秒単位で動作しますが、大量のデータの場合、待機時間が発生する場合があります。

DiskANN、 HNSW、 および IVFFlat は ANN アルゴリズム インデックスです。 適切なインデックス作成戦略を選択するには、データセットの性質、クエリの特定の要件、使用可能なリソースなど、さまざまな要因を慎重に考慮する必要があります。 DiskANN は、データセットの変更に適応し、計算リソースを節約できます。 HNSW は、高速なクエリ応答を必要とし、データセットの変更に適応できるシステムに優れています。 IVFFlat は、ハードウェア リソースが制限されている環境やクエリ ボリュームが多くない環境で有効です。

次の表は、指定されたベクター データ インデックス作成の種類を示しています。

1. 詳細については、「 DiskANN for Azure Database for PostgreSQL フレキシブル サーバー」を参照してください。
2. 詳細については、「 Azure Cosmos DB for MongoDB - ベクター検索の概要」を参照してください。
3. DiskANN ベースのベクター インデックス作成は、現在、Azure SQL の プライベート プレビュー で利用できます。
4. 詳細については、「 ベクター インデックス作成ポリシー」を参照してください。
5. コンテナーごとに使用できるベクター フィールドは 1 つだけです。
6. コンテナーごとに使用できるベクター インデックスは 1 つだけです。
7. インデックスは、 Scikit Learn や FAISS などの外部ライブラリを使用して作成できます。

類似性と距離の計算機能

ベクトル検索には、 コサインの類似性、 ドット積、 ユークリッド距離 の計算方法があります。 これらの方法は、2 つのベクトル間の類似度または 2 つのベクトル間の距離を計算するために使用されます。

予備的なデータ分析は、メトリックとユークリッド距離の両方からメリットを得られます。これにより、データ構造に関するさまざまな分析情報を抽出できます。 一般に、テキスト分類はユークリッド距離の下でより優れたパフォーマンスを発揮します。 特定のテキストに最も類似したテキストの検索は、通常、コサイン類似度を使用するとより適切に機能します。

Azure OpenAI 埋め込みでは、ドキュメントとクエリの間の計算の類似性にコサインの類似性が依存します。

1. 詳細については、Azure Cosmos DB for NoSQL の ベクター距離の計算 を参照してください。
2. 詳細については、Azure SQL Database と SQL Server の 距離計算の例 を参照してください。

Azure OpenAI とその他のコンポーネントとの統合

ベクター検索を実装する場合は、他の Microsoft コンポーネントとのリンクも検討できます。 たとえば、Azure OpenAI を使用すると、データのベクターを作成したり、ベクターの類似性検索用の入力クエリを作成したりできます。

1. Azure Cosmos DB for MongoDB (仮想コア) は、データ上の Azure OpenAI の データ ソースとしてサポートされています 。
2. AI Search は、データに対する Azure OpenAI の データ ソースとしてサポートされています 。
3. Azure AI 拡張機能を使用できます。
4. AI Search は、チャンクされたテキストをベクター化するスキルを提供します。
5. 埋め込みモデル デプロイ用のストアド プロシージャを作成できます。
6. このサービスは、メモリ コネクタとベクター データベース コネクタの両方としてサポートされています。 詳細については、 C# のドキュメントを参照してください。
7. このサービスは、メモリ コネクタとベクター データベース コネクタの両方としてサポートされています。 ドキュメントは 、C# と Python の両方で使用できます。
8. このサービスは、ベクター データベース コネクタとしてサポートされています。 ドキュメントは 、C# と Python の両方で使用できます。
9. このサービスは、メモリ コネクタとベクター データベース コネクタの両方としてサポートされています。 ドキュメントは 、C# と Python の両方で使用できます。
10. このサービスは メモリ コネクタとしてサポートされています。

寄稿者

Microsoft では、この記事を保持しています。 次の共同作成者がこの記事を書きました。

主要著者

• 大槌田 慶太 |シニア ソリューション エンジニア
• 斉藤 優 |ソリューション エンジニア

公開されていない LinkedIn プロフィールを見るには、LinkedIn にサインインしてください。

次のステップ

• AI Search を使用してナレッジ マイニングを実装する
• インテリジェントなアプリケーションと AI
• Azure SQL と Azure OpenAI を使用したベクター類似性検索
• Azure SQL と SQL Server でのネイティブ ベクターのサポート
• Azure Cosmos DB ベクトル データベース
• Azure ベクター データベースのサンプル

関連リソース

• データ ストア モデルについて
• Azure ソリューションのためのテクノロジの選択
• Azure Cosmos DB for NoSQL でのベクター検索