Generieren von Einbettungen für Suchabfragen und Dokumente

Azure AI Search hostet keine Einbettungsmodelle, daher sind Sie für das Erstellen von Vektoren für Abfrageeingaben und -ausgaben verantwortlich. Wählen Sie einen der folgenden Ansätze aus:

Wir empfehlen die integrierte Vektorisierung für die meisten Szenarien. Obwohl Sie jedes unterstützte Einbettungsmodell verwenden können, verwendet dieser Artikel Azure OpenAI-Modelle zur Veranschaulichung.

Verwendung von Einbettungsmodellen in Vektorabfragen

Einbettungsmodelle generieren Vektoren für Abfrageeingaben und Abfrageausgaben. Abfrageeingaben umfassen:

• Text oder Bilder, die während der Abfrageverarbeitung in Vektoren konvertiert werden. Im Rahmen der integrierten Vektorisierung führt ein Vektorizer diese Aufgabe aus.

• Vorkompilierte Vektoren. Sie können diese Vektoren generieren, indem Sie die Abfrageeingabe an ein Einbettungsmodell Ihrer Wahl übergeben. Implementieren Sie die Wiederholungslogik in Ihrer Workload, um eine Zinsbegrenzung zu vermeiden. Unsere Python-Demo verwendet Unfähigkeit.

Basierend auf der Abfrageeingabe ruft die Suchmaschine übereinstimmende Dokumente aus Ihrem Suchindex ab. Bei diesen Dokumenten handelt es sich um die Abfrageausgabe.

Ihr Suchindex muss bereits Dokumente mit mindestens einem Vektorfeld enthalten, das durch Einbettungen gefüllt ist. Sie können diese Einbettungen über integrierte oder manuelle Vektorisierung erstellen. Um genaue Ergebnisse sicherzustellen, verwenden Sie dasselbe Einbettungsmodell für die Indizierung und Abfrage.

Tipps für die Integration des Einbettungsmodells

• Identifizieren von Anwendungsfällen. Bewerten Sie bestimmte Anwendungsfälle, in denen die Integration des Einbettungsmodells für Vektorsuchfunktionen Ihrer Suchlösung einen Mehrwert bietet. Beispiele sind die multimodale Suche oder das Abgleichen von Bildinhalten mit Textinhalten, mehrsprachiger Suche und Ähnlichkeitssuche.

• Entwerfen Sie eine Blockierungsstrategie. Einbettungsmodelle haben Grenzwerte für die Anzahl der Token, die sie akzeptieren, sodass datenblöcke für große Dateien erforderlich sind.

• Optimieren Sie Kosten und Leistung. Die Vektorsuche ist ressourcenintensiv und unterliegt maximal zulässigen Grenzwerten. Vektorisieren Sie daher nur die Felder, die semantische Bedeutung enthalten. Reduzieren Sie die Vektorgröße , um weitere Vektoren für den gleichen Preis zu speichern.

• Wählen Sie das richtige Einbettungsmodell aus. Wählen Sie ein Modell für Ihren Anwendungsfall aus, z. B. Worteinbettungen für textbasierte Suchvorgänge oder Bildeinbettungen für visuelle Suchvorgänge. Erwägen Sie vortrainierte Modelle, z. B. text-embedding-ada-002 aus OpenAI oder die Image Retrieval REST-API von Azure AI Vision.

• Normalisieren Sie Vektorlängen. Um die Genauigkeit und Leistung der Ähnlichkeitssuche zu verbessern, normalisieren Sie Vektorlängen, bevor Sie sie in einem Suchindex speichern. Die meisten vortrainierten Modelle sind bereits normalisiert.

• Optimieren Sie das Modell. Optimieren Sie bei Bedarf das Modell in Ihren domänenspezifischen Daten, um die Leistung und Relevanz ihrer Suchanwendung zu verbessern.

• Testen und durchlaufen. Testen und verfeinern Sie kontinuierlich die Integration des Einbettungsmodells, um Ihre gewünschte Suchleistung und Benutzerzufriedenheit zu erzielen.

Erstellen von Ressourcen in der gleichen Region

Obwohl die integrierte Vektorisierung mit Azure OpenAI-Einbettungsmodellen keine Ressourcen in derselben Region erfordert, kann die Verwendung derselben Region die Leistung verbessern und die Latenz verringern.

So verwenden Sie dieselbe Region für Ihre Ressourcen:

1. Überprüfen Sie die regionale Verfügbarkeit von Texteinbettungsmodellen.

2. Überprüfen Sie die regionale Verfügbarkeit von Azure AI Search.

3. Erstellen Sie eine Azure OpenAI-Ressource und einen Azure AI Search-Dienst in derselben Region.

Auswählen eines Einbettungsmodells in Azure AI Foundry

Wenn Sie einem Agentworkflow im Azure AI Foundry-Portal Wissen hinzufügen, haben Sie die Möglichkeit, einen Suchindex zu erstellen. Ein Assistent führt Sie durch die Schritte.

Ein Schritt umfasst die Auswahl eines Einbettungsmodells zum Vektorisieren des Nur-Text-Inhalts. Die folgenden Modelle werden unterstützt:

• text-embedding-3-small
• text-embedding-3-large
• text-embedding-ada-002
• Cohere-embed-v3-english
• Cohere-embed-v3-multilingual

Ihr Modell muss bereits bereitgestellt werden, und Sie müssen über die Berechtigung zum Zugriff verfügen. Weitere Informationen finden Sie in der Bereitstellungsübersicht für Azure AI Foundry-Modelle.

Generieren einer Einbettung für eine improvisierte Abfrage

Wenn Sie keine integrierte Vektorisierung verwenden möchten, können Sie eine Einbettung manuell generieren und in die vectorQueries.vector Eigenschaft einer Vektorabfrage einfügen. Weitere Informationen finden Sie unter Erstellen einer Vektorabfrage in Azure AI Search.

In den folgenden Beispielen wird davon ausgegangen, dass das Modell "text-embedding-ada-002" verwendet wird. Ersetzen Und YOUR-API-KEYYOUR-OPENAI-RESOURCE durch Ihre Azure OpenAI-Ressourcendetails.

using System;
using System.Net.Http;
using System.Text;
using System.Threading.Tasks;
using Newtonsoft.Json;

class Program
{
    static async Task Main(string[] args)
    {
        var apiKey = "YOUR-API-KEY";
        var apiBase = "https://YOUR-OPENAI-RESOURCE.openai.azure.com";
        var apiVersion = "2024-02-01";
        var engine = "text-embedding-ada-002";

        var client = new HttpClient();
        client.DefaultRequestHeaders.Add("Authorization", $"Bearer {apiKey}");

        var requestBody = new
        {
            input = "How do I use C# in VS Code?"
        };

        var response = await client.PostAsync(
            $"{apiBase}/openai/deployments/{engine}/embeddings?api-version={apiVersion}",
            new StringContent(JsonConvert.SerializeObject(requestBody), Encoding.UTF8, "application/json")
        );

        var responseBody = await response.Content.ReadAsStringAsync();
        Console.WriteLine(responseBody);
    }
}

import java.net.HttpURLConnection;
import java.net.___URL;
import java.io.OutputStream;
import java.io.BufferedReader;
import java.io.InputStreamReader;

public class Main {
    public static void main(String[] args) {
        String apiKey = "YOUR-API-KEY";
        String apiBase = "https://YOUR-OPENAI-RESOURCE.openai.azure.com";
        String engine = "text-embedding-ada-002";
        String apiVersion = "2024-02-01";

        try {
            URL url = new URL(String.format("%s/openai/deployments/%s/embeddings?api-version=%s", apiBase, engine, apiVersion));
            HttpURLConnection connection = (HttpURLConnection) url.openConnection();
            connection.setRequestMethod("POST");
            connection.setRequestProperty("Authorization", "Bearer " + apiKey);
            connection.setRequestProperty("Content-Type", "application/json");
            connection.setDoOutput(true);

            String requestBody = "{\"input\": \"How do I use Java in VS Code?\"}";

            try (OutputStream os = connection.getOutputStream()) {
                os.write(requestBody.getBytes());
            }

            try (BufferedReader br = new BufferedReader(new InputStreamReader(connection.getInputStream()))) {
                StringBuilder response = new StringBuilder();
                String line;
                while ((line = br.readLine()) != null) {
                    response.append(line);
                }
                System.out.println(response);
            }
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

const apiKey = "YOUR-API-KEY";
const apiBase = "https://YOUR-OPENAI-RESOURCE.openai.azure.com";
const engine = "text-embedding-ada-002";
const apiVersion = "2024-02-01";

async function generateEmbedding() {
  const response = await fetch(
    `${apiBase}/openai/deployments/${engine}/embeddings?api-version=${apiVersion}`,
    {
      method: "POST",
      headers: {
        "Authorization": `Bearer ${apiKey}`,
        "Content-Type": "application/json",
      },
      body: JSON.stringify({
        input: "How do I use JavaScript in VS Code?",
      }),
    }
  );

  const data = await response.json();
  console.log(data.data[0].embedding);
}

generateEmbedding();

!pip install openai

import openai

openai.api_type = "azure"
openai.api_key = "YOUR-API-KEY"
openai.api_base = "https://YOUR-OPENAI-RESOURCE.openai.azure.com"
openai.api_version = "2024-02-01"

response = openai.Embedding.create(
    input="How do I use Python in VS Code?",
    engine="text-embedding-ada-002"
)
embeddings = response['data'][0]['embedding']
print(embeddings)

POST https://YOUR-OPENAI-RESOURCE.openai.azure.com/openai/deployments/text-embedding-ada-002/embeddings?api-version=2024-02-01
  Authorization: Bearer YOUR-API-KEY
  Content-Type: application/json
    
  {
    "input": "How do I use REST APIs in VS Code?"
  }

Die Ausgabe ist ein Vektorarray von 1.536 Dimensionen.

Verwandte Inhalte

• Grundlegendes zu Einbettungen von Azure OpenAI in Azure AI Foundry-Modellen
• Generieren von Einbettungen mit Azure OpenAI
• Lernprogramm: Erkunden von Azure OpenAI-Einbettungen und Dokumentsuche
• Tutorial: Auswählen eines Modells (RAG-Lösungen in Azure KI-Suche)