Compartilhar via


Usar um fluxo de trabalho dos Aplicativos Lógicos do Azure para indexação automatizada no Azure AI Search

No Azure AI Search, você pode usar o assistente Importar dados (novos) no portal do Azure para criar um fluxo de trabalho de aplicativo lógico que indexa e vetoriza seu conteúdo. Essa funcionalidade é equivalente a um indexador e uma fonte de dados que gera um pipeline de indexação e cria conteúdo pesquisável.

Depois de criar um fluxo de trabalho no assistente, você pode gerenciar o fluxo de trabalho nos Aplicativos Lógicos do Azure junto com seus outros fluxos de trabalho. Nos bastidores, o assistente segue um modelo de fluxo de trabalho que extrai (ingerir) conteúdo de uma fonte para indexação na Pesquisa de IA. Os conectores usados nesse cenário são predefinidos e já existem nos Aplicativos Lógicos do Azure, portanto, o modelo de fluxo de trabalho apenas fornece detalhes para que esses conectores criem conexões com a fonte de dados, a Pesquisa de IA e outros itens para concluir o fluxo de trabalho de ingestão.

Características principais

A integração dos Aplicativos Lógicos do Azure no Azure AI Search adiciona suporte para:

  • Mais fontes de dados da Microsoft e de outros provedores
  • Vetorização integrada
  • Indexação agendada ou sob demanda
  • Detecção de alterações de documentos novos e existentes

As entradas do assistente Importar dados (novos) incluem:

  • Uma fonte de dados com suporte
  • Um modelo de incorporação de texto com suporte

Após a conclusão do assistente, você terá os seguintes componentes:

Componente Localização Description
Índice de pesquisa Pesquisa de IA do Azure  Contém conteúdo indexado de um conector dos Aplicativos Lógicos com suporte. O esquema de índice é um índice padrão criado pelo assistente. Você pode adicionar elementos extras, como perfil de pontuação ou configuração semântica, mas não pode alterar campos existentes. Você exibe, gerencia e acessa o índice de pesquisa no Azure AI Search.
Fluxo de trabalho e recurso do aplicativo lógico Aplicativo Lógico do Azure Você pode exibir o fluxo de trabalho em execução ou abrir o designer nos Aplicativos Lógicos do Azure para editar o fluxo de trabalho, como faz regularmente se você tiver iniciado a partir dos Aplicativos Lógicos do Azure. Você pode editar e estender o fluxo de trabalho, mas tenha cuidado para não interromper o pipeline de indexação. O fluxo de trabalho criado pelo assistente usa a opção de hospedagem Consumo.
Modelos de aplicativo lógico Aplicativo Lógico do Azure Até dois modelos criados por fluxo de trabalho: um para indexação sob demanda e um segundo modelo para indexação agendada. Você pode modificar o agendamento de indexação na etapa Indexar vários documentos do fluxo de trabalho.

Pré-requisitos

Examine os seguintes requisitos antes de começar:

  • Você deve ser um Proprietário ou Colaborador em sua assinatura do Azure, com permissões para criar recursos.

  • Azure AI Search, camada básica ou superior caso queira usar uma identidade de serviço de pesquisa para conexões com uma fonte de dados do Azure; caso contrário, você poderá usar qualquer camada, sujeito aos limites da camada.

  • OpenAI do Azure, com uma implantação do modelo de incorporação com suporte. A vetorização é integrada ao fluxo de trabalho. Se você não precisar de vetores, poderá ignorar os campos ou tentar outra estratégia de indexação.

  • Azure Logic Apps é uma região com suporte. Ele deve ter uma identidade gerenciada atribuída pelo sistema se você quiser usar a autenticação de identidade do Microsoft Entra para conexões, em vez de chaves de API.

Observação

Um fluxo de trabalho de aplicativo lógico é um recurso faturável. Para obter mais informações, consulte os preços dos Aplicativos Lógicos do Azure.

Regiões com suporte

A funcionalidade de ponta a ponta está disponível nas seguintes regiões, que fornecem a conexão com a fonte de dados, processamento de documentos, fragmentos de documentos, suporte para modelos de incorporação do OpenAI do Azure e o suporte de indexação interna para extrair os dados. As seguintes regiões do Azure para Aplicativos Lógicos fornecem a ação de indexação sobre ParseDocument a qual a integração se baseia.

  • Leste dos EUA
  • Leste dos EUA 2
  • Centro-Sul dos EUA
  • Oeste dos EUA 2
  • Oeste dos EUA 3
  • Sul do Brasil
  • Leste da Austrália
  • Ásia Oriental
  • Sudeste Asiático
  • Europa Setentrional
  • Suécia Central
  • Sul do Reino Unido

Modelos com suporte

O caminho do aplicativo lógico por meio do assistente Importar dados (novo) dá suporte a uma seleção de modelos de inserção.

Implante um dos seguintes modelos de inserção no Azure OpenAI para seu fluxo de trabalho de ponta a ponta.

  • text-embedding-3-small
  • text-embedding-3-large
  • text-embedding-ada-002

Conectores com suporte

Os conectores a seguir são úteis para indexar dados não estruturados, como um complemento para indexadores clássicos que visam principalmente dados estruturados.

Ações com suporte

A integração de aplicativos lógicos inclui as seguintes ações de indexação. Para obter mais informações, consulte Conectar-se aos serviços de IA do Azure a partir de fluxos de trabalho nos Aplicativos Lógicos do Azure.

  • Verifique se há novos dados.
  • Obtenha os dados. Uma ação HTTP que recupera o documento carregado usando a URL do arquivo da saída do gatilho.
  • Compor detalhes do documento. Uma ação de Operação de Dados que concatena vários itens.
  • Crie uma cadeia de caracteres de tokens. Uma ação de Operações de Dados que produz uma string de token usando a saída da ação Compor.
  • Crie pedaços de conteúdo. Uma ação de Operações de Dados que divide a cadeia de tokens em partes, com base no número de caracteres ou tokens por pedaço de conteúdo.
  • Converter dados tokenizados em JSON. Uma ação de operações de dados que converte as partes da cadeia de caracteres de token em uma matriz JSON.
  • Selecionar itens da matriz JSON. Uma ação de operações de dados que seleciona múltiplos itens do array JSON.
  • Gerar as incorporações. Uma ação do Azure OpenAI que cria inserções para cada item de matriz JSON.
  • Selecione incorporações e outras informações. Uma operação de dados que seleciona embeddings e outras informações de documentos.
  • Indexar os dados. Uma ação do Azure AI Search que indexa os dados com base em cada inserção selecionada.

Ele também dá suporte às seguintes ações de consulta:

  • Aguarde o prompt de entrada. Um gatilho que sonda ou aguarda a chegada de novos dados, com base em uma recorrência agendada ou em resposta a eventos específicos, respectivamente.
  • Mensagem do sistema de entrada para o modelo. Uma ação de Operações de Dados que fornece dados de entrada para treinar o modelo.
  • Exemplos de perguntas e respostas de entrada. Uma ação de operações de dados que fornece perguntas de exemplo de clientes e papéis associados para treinar o modelo.
  • Mensagem do sistema de entrada para consulta de pesquisa. Uma ação de operações de dados que fornece entrada de consulta de pesquisa para treinar o modelo.
  • Gerar consulta de pesquisa. Uma ação de Código Embutido que usa JavaScript para criar uma consulta de pesquisa para o repositório de vetores, com base nas saídas das ações de Composição anteriores.
  • Converter consulta em inserção. Uma ação do Azure OpenAI que se conecta à API de conclusão do chat, que garante respostas confiáveis em conversas de chat.
  • Obter um embedding. Uma ação do Azure OpenAI que obtém uma única inserção de vetor.
  • Pesquise o banco de dados de vetor. Uma ação do Azure AI Search que executa pesquisas no repositório de vetores.
  • Criar prompt. Uma ação de Código Embutido que usa JavaScript para criar prompts.
  • Executar a conclusão do chat. Uma ação do Azure OpenAI que se conecta à API de conclusão do chat, que garante respostas confiáveis em conversas de chat.
  • Retornar uma resposta. Uma ação De solicitação que retorna os resultados para o chamador quando você usa o gatilho De solicitação.

Limitações

  • O índice de pesquisa é gerado usando um esquema fixo (ID do documento, conteúdo e conteúdo vetorizado), somente com extração de texto. Você pode modificar o índice desde que a atualização não afete os campos existentes.
  • A vetorização dá suporte apenas à inserção de texto.
  • Não há suporte para a detecção de exclusão. Você deve excluir manualmente documentos órfãos do índice.
  • Documentos duplicados no índice de pesquisa são um problema conhecido nesta versão prévia. Considere excluir objetos e recomeçar se isso se tornar um problema.
  • Não há suporte para pontos de extremidade privados no fluxo de trabalho do aplicativo lógico criado pelo assistente do portal. O fluxo de trabalho é hospedado usando a opção de hospedagem Consumo e está sujeito a suas restrições. Para usar a opção de hospedagem Standard , use uma abordagem programática para criar o fluxo de trabalho.
  • Todas as ações estão disponíveis em geral, exceto para

Criar um fluxo de trabalho de aplicativo lógico

Siga estas etapas para criar um fluxo de trabalho de aplicativo lógico para indexar conteúdo no Azure AI Search.

  1. Inicie o assistente Importar dados (novo) no portal do Azure.

  2. Escolha um conector de Aplicativos Lógicos do Azure com suporte.

    Captura de tela da página de fonte de dados escolhida no assistente Importar dados (novo).

  3. Em Conectar-se aos seus dados, forneça um prefixo de nome usado para o índice de pesquisa e o fluxo de trabalho. Ter um nome comum ajuda você a gerenciá-los juntos.

  4. Especifique a frequência de indexação. Caso você escolha um horário, um modelo que inclui uma opção de agendamento será utilizado para criar o fluxo de trabalho. Você pode modificar o agendamento de indexação na etapa Indexar vários documentos do fluxo de trabalho depois que ele for criado.

  5. Selecione um tipo de autenticação em que o fluxo de trabalho do aplicativo lógico se conecta ao mecanismo de pesquisa e inicia o processo de indexação. O fluxo de trabalho pode se conectar usando chaves da API da Pesquisa de IA do Azure ou o assistente pode criar uma atribuição de função que concede permissões à identidade gerenciada atribuída pelo sistema dos Aplicativos Lógicos, supondo que exista uma.

  6. Selecione Avançar para continuar para a próxima página.

  7. No Vectorize seu texto, forneça a implantação do modelo e as informações de conexão do Azure OpenAI. Escolha a assinatura e o serviço, um modelo de inserção de texto com suporte e o tipo de autenticação que o fluxo de trabalho usa para se conectar ao Azure OpenAI.

  8. Selecione Avançar para continuar para a próxima página. Examine a configuração.

  9. Selecione Criar para iniciar o processamento.

    O fluxo de trabalho é executado como um fluxo de trabalho sem servidor em Aplicativos Lógicos (Consumo), separado do serviço de Pesquisa de IA. 

  10. Confirme a criação de índice no portal do Azure, na página Índices no Azure AI Search. O Gerenciador de Pesquisa é a primeira guia. Selecione Pesquisar para retornar algum conteúdo.

Modificar objetos existentes

Você pode fazer as seguintes modificações em um índice de pesquisa sem interromper a indexação:

Você pode fazer as seguintes atualizações em um fluxo de trabalho sem interromper a indexação:

  • Modifique arquivos de lista na pasta para alterar o número de documentos enviados à indexação.
  • Modifique o Texto da Parte para variar as entradas do token. O tamanho do token recomendado é de 512 tokens para a maioria dos cenários.
  • Modifique o Texto da Parte para adicionar uma duração de sobreposição da página.
  • Modifique a etapa Indexar vários documentos para controlar a frequência de indexação se você escolher a indexação agendada no assistente.

No designer de aplicativos lógicos, examine o fluxo de trabalho e cada etapa no pipeline de indexação. O fluxo de trabalho especifica extração de documentos, agrupamento de documento padrão (habilidade de Divisão de Texto), inserção (habilidade de inserção do Azure OpenAI), mapeamentos de campo de saída e, por fim, indexação.

Captura de tela do fluxo de trabalho no designer de aplicativo lógico.

Gerenciamento de modelo e fluxo de trabalho

O assistente cria modelos e fluxos de trabalho quando você especifica um indexador de Aplicativos Lógicos. Para criá-los e gerenciá-los, incluindo a exclusão de modelo, use o designer de aplicativo lógico. O painel do serviço de pesquisa do portal do Azure não fornece gerenciamento de modelo ou fluxo de trabalho e atualmente não há suporte programático nas APIs do Azure AI Search.