Monitorar seus aplicativos de IA generativos (versão prévia)

Monitorar seus aplicativos de IA generativa nunca foi tão importante, devido à complexidade e rápida evolução do setor de IA. O Azure AI Foundry Observability, integrado ao Azure Monitor Application Insights, permite que você monitore continuamente seus aplicativos de IA implantados para garantir que eles sejam executados, seguros e produzam resultados de alta qualidade na produção. Além dos recursos de monitoramento contínuo, também fornecemos recursos de avaliação contínua para agentes para aprimorar ainda mais o painel de Observabilidade da Fábrica de IA do Azure com visibilidade de métricas críticas adicionais de qualidade e segurança.

Como habilitar o monitoramento

Para usar recursos de monitoramento no Azure AI Foundry, você precisa conectar um recurso do Application Insights ao seu projeto do Azure AI Foundry.

1. Navegue até Monitoramento no painel de navegação esquerdo do portal do Azure AI Foundry.
2. Selecione a guia Análise de aplicativos .
3. Crie um novo recurso do Application Insights se você ainda não tiver um.
4. Conecte o recurso ao projeto do AI Foundry.

Coletando dados de produção para monitoramento

A partir daqui, você pode começar a coletar telemetria do seu aplicativo que pode ser monitorada em nossas exibições internas. Para fazer isso, recomendamos:

• Instrumentar rastreamentos permite capturar dados telemétricos detalhados do seu aplicativo. Esses dados fornecem insights sobre o desempenho, a latência e o comportamento do aplicativo em produção.

• As avaliações contínuas ajudam a monitorar a qualidade e a segurança do agente na produção avaliando suas saídas em relação a métricas e limites predefinidos.

Exibindo resultados de monitoramento

No portal do Azure AI Foundry, a exibição do painel de análise de aplicativos usa sinais do Azure Monitor Application Insights, consultando-o por meio de Pastas de Trabalho do Azure e criando visualizações.

Essas exibições foram projetadas para trazer métricas importantes : consumo de token, latência, exceções, qualidade de resposta em um único painel de vidro que fornece transparência às equipes para acompanhar a integridade e a qualidade operacionais, entender tendências e avaliar continuamente para melhorar seu aplicativo.

Siga estas etapas para acessar e usar a exibição de monitoramento interna no seu Projeto de Fábrica de IA:

1. Navegue até o projeto do AI Foundry no portal do Azure AI Foundry.
2. Selecione Monitoramento no painel de navegação esquerdo.
3. Na guia Análise de aplicativos , examine a visão geral da integridade do aplicativo.
4. Use filtros para especificar um intervalo de tempo, um aplicativo e/ou um modelo para extrair insights detalhados.
5. Se você observar problemas, como a diminuição das métricas de qualidade, vá para Rastreamento para depurar problemas em seu aplicativo.
6. Para personalizar ainda mais sua experiência de monitoramento e usar recursos avançados no Azure Monitor, role até a parte inferior e selecione Exibir no Azure Monitor Application Insights.

Personalizar e compartilhar seu painel

O Application Insights é uma ferramenta poderosa para o APM (monitoramento de desempenho de aplicativos) que fornece insights sobre a integridade e o desempenho de seus aplicativos.

Você pode abrir o painel Análise de aplicativos na galeria de pastas de trabalho do Azure Monitor Application Insights selecionando o link Exibir no Azure Monitor Application Insights no final da página.

Esse painel é aberto como uma pasta de trabalho editável em que você pode personalizar a pasta de trabalho e salvar de acordo com suas necessidades.

1. Selecione Editar na barra de comandos.

2. Modifique os elementos conforme necessário de acordo com seu caso de uso. Selecione ... em um elemento para editar, adicionar, mover/redimensionar, clonar ou remover. Por exemplo, você pode adicionar um bloco usando KQL para rastrear um atributo personalizado que está coletando e que não é mostrado em nossa visualização padrão.

3. Salve as alterações mais recentes e crie modos de exibição diferentes conforme necessário selecionando Salvar.

4. Compartilhe com sua equipe selecionando o ícone Compartilhar na barra de comandos.

Explorar e analisar com a Linguagem de Consulta Kusto (KQL)

KQL (Linguagem de Consulta Kusto) é uma linguagem de consulta poderosa usada no Azure para explorar, analisar e visualizar grandes volumes de dados de telemetria e log.

Na visualização do painel Análise de aplicativos, você pode Abrir link de consulta selecionando o ícone no canto superior direito de um bloco ou gráfico específico.

Depois de selecionar isso, você poderá visualizar e executar as mesmas consultas KQL que alimentam sua visão de monitoramento e aprofundar nos dados relacionados.

Configurar alertas do Azure

Você pode definir regras de Alerta do Azure com base nas consultas KQL anteriores para detectar proativamente problemas com suas operações de pós-produção no futuro. Selecione ... para exibir mais opções como Nova regra de alerta.

Selecionar o botão Nova regra de alerta abre um assistente para criar uma regra de alerta no sinal relacionado.

Para saber mais sobre como configurar e gerenciar alertas do Azure para resolver problemas proativamente, consulte Alertas no Azure Monitor.

Conteúdo relacionado

• Monitorar implantações de modelo