IA responsável em cargas de trabalho do Azure

O objetivo da IA ​​responsável no design da carga de trabalho é ajudar a garantir que o uso de algoritmos de IA seja justo, transparente e inclusivo. Os princípios de segurança do Microsoft Azure Well-Architected Framework são inter-relacionados e se concentram em de confidencialidade e de integridade. As medidas de segurança devem estar em vigor para manter a privacidade do usuário, proteger os dados e proteger a integridade do design. O design não deve ser usado indevidamente para fins não intencionais.

Em cargas de trabalho de IA, os modelos geralmente usam lógica opaca para tomar decisões. Os usuários devem confiar na funcionalidade do sistema e se sentir confiantes de que os modelos tomam essas decisões com responsabilidade. Comportamentos inaceitáveis, como manipulação, toxicidade de conteúdo, violação de IP e respostas fabricadas, devem ser evitados.

Considere um caso de uso no qual uma empresa de entretenimento de mídia deseja fornecer recomendações usando modelos de IA. Se a empresa não implementar a IA responsável e os protocolos de segurança adequados, um ator incorreto poderá assumir o controle dos modelos. O modelo pode recomendar conteúdo que cause danos. Para a organização, esse comportamento pode resultar em danos à marca, ambientes não seguros e problemas legais. Portanto, manter a vigilância apropriada em todo o ciclo de vida do sistema é essencial e inegociável.

Você deve priorizar o gerenciamento de segurança e carga de trabalho e ter em mente os resultados humanos ao tomar decisões de design. Familiarize-se com a estrutura da Microsoft para IA responsável e garanta que você avalie e implemente os princípios da estrutura em seu design. A imagem a seguir mostra os principais conceitos da estrutura.

Este artigo fornece recomendações sobre a tomada de decisões responsável, validação da entrada do usuário e ajuda a garantir uma experiência segura do usuário. Ele também fornece diretrizes sobre segurança de dados para ajudar a proteger os dados do usuário.

Recomendações

A tabela a seguir resume as recomendações neste artigo.

Desenvolver políticas para IA responsável

Documente sua abordagem para uso responsável de IA. Declara explicitamente as políticas que você aplica em cada estágio do ciclo de vida para que a equipe de carga de trabalho entenda suas responsabilidades. Os padrões da Microsoft para IA responsável fornecem diretrizes, mas você deve definir o que essas diretrizes significam especificamente para seu contexto.

Por exemplo, as políticas devem incluir itens de lista de verificação para mecanismos que dão suporte à transparência de dados do usuário e à configuração de consentimento. Idealmente, esses mecanismos devem permitir que os usuários optem por não incluir dados. Pipelines de dados, análises, treinamento de modelos e outros estágios devem respeitar essa escolha. Outro exemplo são os procedimentos para lidar com o RTBF. Consulte o departamento de ética da sua organização e a equipe jurídica para tomar decisões informadas.

Crie políticas transparentes para uso de dados e tomada de decisão algorítmica para ajudar os usuários a entender e confiar no processo. Documente essas decisões para manter um histórico claro para possíveis litígios futuros.

A implementação responsável de IA inclui três funções principais: a equipe de pesquisa, a equipe de política e a equipe de engenharia. A colaboração entre essas equipes deve ser operacionalizada. Se sua organização tiver uma equipe existente, aproveite o trabalho deles. Caso contrário, estabeleça essas práticas por conta própria.

Cada equipe deve ter suas próprias responsabilidades. Por exemplo:

• A equipe de pesquisa realiza a descoberta de riscos consultando diretrizes organizacionais, padrões do setor, leis, regulamentações e táticas conhecidas de equipe vermelha.

• A equipe de política desenvolve políticas específicas para a carga de trabalho. Eles incorporam diretrizes da organização matriz e regulamentos governamentais.

• A equipe de engenharia implementa as políticas em seus processos e entregas. A equipe valida e testa a adesão.

Cada equipe formaliza suas diretrizes, mas a equipe de carga de trabalho deve ser responsável por suas próprias práticas documentadas. A equipe deve documentar claramente quaisquer etapas extras ou desvios intencionais para garantir que não haja ambiguidade sobre o que é permitido. A equipe também deve ser transparente sobre possíveis deficiências ou resultados inesperados na solução.

Impor governança em políticas para IA responsável

Projete sua carga de trabalho para estar em conformidade com a governança organizacional e regulatória. Por exemplo, se a transparência for um requisito organizacional, determine como ela se aplica à sua carga de trabalho. Identifique as áreas em seu design, ciclo de vida, código ou outros componentes em que você deve introduzir recursos de transparência para atender a esse padrão.

Entenda a governança, a responsabilidade, os conselhos de revisão e os mandatos de relatórios necessários. Verifique se seu conselho de governança aprova e ratifica os designs de carga de trabalho para evitar redesenhos e mitigar questões de segurança ou privacidade. Talvez seja necessário passar por várias camadas de aprovação. O diagrama a seguir descreve uma estrutura de governança típica em uma organização.

Para obter mais informações sobre políticas organizacionais e aprovadores, consulte Definir uma estratégia de IA responsável.

Torne a experiência do usuário segura

As experiências do usuário devem ser baseadas nas diretrizes do setor. Use a Microsoft Human-AI Experiences Design Library, que inclui princípios e fornece diretrizes de implementação. Ele também fornece exemplos de produtos da Microsoft e de outras fontes do setor.

Há responsabilidades de carga de trabalho ao longo do ciclo de vida da interação do usuário. Eles começam com a intenção de um usuário de usar o sistema e continuam durante uma sessão e durante quaisquer interrupções que os erros do sistema causam. Considere as seguintes práticas:

• Criar transparência. Lembre os usuários de como o sistema gera respostas para sua consulta.

  Inclua links para fontes de dados que o modelo consulta para previsões. Essa prática aumenta a confiança do usuário mostrando-lhes as origens das informações. O design de dados deve incluir essas fontes nos metadados. Por exemplo, quando o orquestrador em um aplicativo de recuperação aumentada executa uma pesquisa, ele recupera 20 partes de documento e envia as 10 partes principais para o modelo como contexto. As dez partes principais pertencem a três documentos diferentes. A interface do usuário pode referenciar esses três documentos de origem quando exibir a resposta do modelo. Essa transparência aumenta a confiança do usuário.

  A transparência torna-se mais importante quando você usa agentes, que atuam como intermediários entre interfaces front-end e sistemas de back-end. Por exemplo, em um sistema de tíquetes, o código de orquestração interpreta a intenção do usuário e faz chamadas de API (interface de programação de aplicativo) aos agentes para recuperar as informações necessárias. Expor essas interações ajuda a conscientizar o usuário sobre as ações do sistema.

  Para fluxos de trabalho automatizados que incluem vários agentes, crie arquivos de log que registram cada etapa. Os arquivos de log podem ajudá-lo a identificar e corrigir erros. Eles também dão aos usuários uma explicação para as decisões, que operacionalizam a transparência.

  Atenção

  Ao implementar recomendações de transparência, evite sobrecarregar o usuário com muita informação. Adotar uma abordagem gradual usando métodos de interface do usuário minimamente disruptivos.

  Por exemplo, exiba um tooltip que mostre uma pontuação de confiança do modelo. Você pode incorporar links, como links para documentos de origem, que os usuários podem selecionar para obter mais detalhes. Esse método iniciado pelo usuário mantém a interface não disruptiva e permite que os usuários busquem mais informações somente se optarem por.

• Coletar comentários. Implemente mecanismos de feedback.

  Evite sobrecarregar os usuários com questionários extensos após cada resposta. Em vez disso, use mecanismos de comentários rápidos e simples, como polegares para cima ou polegares para baixo, ou um sistema de classificação para aspectos específicos da resposta em uma escala de 1 a 5. Esses métodos ajudam a melhorar o sistema ao longo do tempo e permitem comentários granulares sem serem intrusivos. Esteja atento a possíveis problemas de imparcialidade nos comentários porque pode haver razões secundárias por trás das respostas do usuário.

  A implementação de um mecanismo de comentários afeta a arquitetura devido à necessidade de armazenamento de dados. Trate comentários como dados do usuário e aplique níveis de controle de privacidade conforme necessário.

  Além do feedback de resposta, colete feedback sobre a eficácia da experiência do usuário. Colete métricas de envolvimento por meio do conjunto de ferramentas de monitoramento do sistema.

  Verifique se o mecanismo de comentários fornece funcionalidade para permitir que os usuários contestem decisões de IA. Por exemplo, uma instituição financeira pode usar a IA para aprovar ou rejeitar automaticamente aplicativos de crédito, e os usuários devem ser capazes de contestar rejeições. Estabeleça procedimentos claros para que a equipe de carga de trabalho examine e resolva decisões contestadas.

• Aplique salvaguardas éticas para áudio e vídeo gerados por IA. Os usuários têm o direito de saber quando estão interagindo com mídia gerada por IA em vez de conteúdo criado por humanos. Implemente mecanismos de divulgação claros que informam os usuários quando o conteúdo é gerado por IA sem interromper a experiência do usuário e fornecem opções para interação humana quando os usuários preferem ou exigem supervisão humana para cenários confidenciais.

  Considere implementar marca d'água de conteúdo ou marcação de metadados para mídia gerada por IA para dar suporte à transparência e à rastreabilidade. Documente sua abordagem para lidar com solicitações de verificação de conteúdo e estabeleça políticas claras para divulgação de autenticidade de conteúdo.

Implementar salvaguardas de IA agentes

Para agentes que acessam dados públicos e privados, executando tarefas em sistemas internos e externos e conduzindo decisões de forma autônoma, implemente a auditabilidade das atividades do agente, o controle de acesso baseado em função e a funcionalidade de disjuntor para evitar resultados catastróficos.

Os sistemas de IA agentic exigem práticas especializadas de IA responsável, além dos modelos tradicionais de aprendizado de máquina, baseados em três aspectos fundamentais.

• Controle de entrada e saída de dados robustos. Estabeleça uma governança abrangente para fluxos de dados dentro e fora de sistemas agente. Isso inclui validar a qualidade e a segurança dos dados nos limites do sistema, garantir a autorização adequada para o acesso a dados e manter uma separação clara entre diferentes contextos de agente e sistemas externos.

• Validação de dados e garantia de integridade. Mantenha a qualidade e a consistência dos dados em todas as interações de vários agentes. Isso envolve o monitoramento contínuo de transformações de dados, trilhas de auditoria abrangentes para processos de tomada de decisão e mecanismos de verificação para evitar corrupção de dados ou manipulação entre fluxos de trabalho do agente.

• Execução de agentes autônomos com barreiras de segurança independentes. Implante mecanismos de supervisão que operam independentemente dos próprios agentes. Isso inclui sistemas de monitoramento que podem detectar comportamentos anômalos, controles automatizados que podem interromper execuções problemáticas e recursos de intervenção humana que permitem que os operadores substituam as decisões do agente a qualquer momento.

Considerações sobre complexidade do agente

Diferentes tipos de agentes exigem diferentes níveis dessas proteções porque os riscos potenciais e o impacto de suas ações aumentam com suas capacidades e autonomia. À medida que os agentes passam de tarefas de recuperação simples para uma tomada de decisão autônoma complexa, a necessidade de mecanismos abrangentes de supervisão e controle torna-se mais crítica.

Além disso, o nível de complexidade aumenta significativamente, tornando mais difícil implementar princípios responsáveis de IA, como equidade e transparência:

• Agentes de recuperação (somente leitura): Concentre-se nos controles de acesso a dados e no log de auditoria.

• Agentes baseados em tarefas (leitura e gravação): Exigir autorização abrangente e monitoramento de transações.

• Agentes totalmente autônomos (várias interações): Precisam dos três aspectos com o nível mais alto de supervisão.

Operacionalizar medidas de segurança de conteúdo

Integre a segurança de conteúdo a cada estágio do ciclo de vida da IA usando código de solução personalizado, ferramentas apropriadas e práticas de segurança eficazes. Considere as seguintes estratégias:

• Anonimizar dados. À medida que os dados são movidos da ingestão para treinamento ou avaliação, implemente verificações ao longo do caminho para minimizar o risco de vazamento de informações pessoais e evitar a exposição bruta de dados do usuário. Use ferramentas inteligentes como a detecção de PII (Informações de Identificação Pessoal) da Linguagem de IA do Azure para detectar e redigir automaticamente informações pessoais, como números de telefone, endereços de email e outros tipos de informações pessoais.

• Conteúdo moderado. Use a API de segurança de conteúdo que avalia solicitações e respostas em tempo real. Verifique se essas APIs estão acessíveis.

• Identificar e atenuar ameaças. Aplique práticas de segurança conhecidas aos cenários de IA. Por exemplo, realize a modelagem de ameaças e documente as ameaças e como as atenua. Práticas de segurança típicas, como exercícios de equipe vermelha, se aplicam a cargas de trabalho de IA. As equipes vermelhas podem testar se os modelos podem ser manipulados para gerar conteúdo prejudicial. Essas atividades devem ser integradas às operações de IA.

  Para obter informações, consulte Planeje o agrupamento vermelho para grandes modelos de linguagem e suas aplicações.

• Use as métricas corretas. Use métricas que medem efetivamente o comportamento do modelo. As métricas variam dependendo do tipo de modelo de IA. Em alguns casos, a medida de modelos generativos pode não se aplicar a modelos de regressão. Por exemplo, um modelo prevê a expectativa de vida e os resultados afetam as taxas de seguro. Questões de imparcialidade neste modelo podem resultar em danos relacionados à imparcialidade. Esse problema decorre de desvios no teste de métrica principal porque as métricas de precisão e imparcialidade normalmente são interconectadas. Melhore a precisão para ajudar a reduzir danos relacionados à justiça.

• Adicione a instrumentação apropriada. Os resultados do modelo de IA devem ser explicáveis. Você precisa justificar e traçar como as inferências são feitas, incluindo os dados de treinamento, os recursos calculados e os dados de base. Na IA discriminativa, você pode justificar as decisões passo a passo. No entanto, para modelos generativos, explicar os resultados pode ser complexo. Documente o processo de tomada de decisão para abordar possíveis implicações legais e fornecer transparência.

  Você deve implementar esse aspecto explicativo durante todo o ciclo de vida da IA. A limpeza, a linhagem, os critérios de seleção e o processamento de dados são estágios críticos em que as decisões devem ser rastreadas.

• Crie escotilhas de escape em seu design agente. Para soluções agentes, implemente mecanismos que permitam a intervenção humana ou tenham precedência em pontos críticos de decisão. Essa abordagem garante que comportamentos arriscados possam ser evitados ou corrigidos no início do processo de execução. As escotilhas de escape são particularmente importantes em fluxos de trabalho agente complexos em que vários agentes interagem e tomam decisões autônomas que podem ter implicações significativas de negócios ou segurança.

  Crie sua arquitetura para habilitar o rastreamento contínuo e o monitoramento de interações do agente em todo o ecossistema digital. Implemente agentes de governança que operam em diferentes componentes do sistema para identificar e sinalizar preocupações antes que eles aumentem. Considere estes padrões essenciais:

  • Agentes coordenadores que monitoram a execução de tarefas e escalonam anomalias para operadores humanos quando limites predefinidos são excedidos ou padrões incomuns são detectados.
  • Postos de controle com intervenção humana em que os agentes pausam a execução para validação antes de prosseguir com ações de alto risco ou de alto impacto.

  Crie pontos de interceptação em todas as conjunturas críticas no caminho de execução, incluindo decisões de roteamento, opções de alocação de recursos e integrações externas do sistema. Essa abordagem de várias camadas oferece várias oportunidades para evitar consequências não intencionais, mantendo a eficiência do sistema.

• Tome decisões técnicas sobre o sistema de IA auditável. Verifique se as decisões tomadas sobre tecnologias de IA são registradas e auditáveis. Você pode incluir o registro dessas decisões em uma trilha de auditoria maior para a carga de trabalho, mas verifique se os detalhes necessários estão incluídos para atender aos padrões e requisitos de governança e conformidade. As decisões para tecnologias de IA podem incluir:

  • Seleções de modelo
  • Atualizações de modelo
  • Ajustes de algoritmo e hipermetrâmetros
  • Alterações no design de processamento de dados

Ferramentas

Integre ferramentas para segurança de conteúdo e rastreabilidade de dados, como Microsoft Purview. As APIs de Segurança de Conteúdo de IA do Azure podem ser chamadas de seus testes para facilitar o teste de segurança de conteúdo.

O Azure AI Foundry fornece métricas que avaliam o comportamento do modelo. Para obter mais informações, consulte Métricas de avaliação e monitoramento para IA generativa.

Para modelos de treinamento, consulte as métricas fornecidas pelo Azure Machine Learning.

Inspecionar dados de entrada e saída

Ataques de injeção imediata, como jailbreak, são uma preocupação comum para cargas de trabalho de IA. Nesse caso, alguns usuários podem tentar usar indevidamente o modelo para fins não intencionais. Para ajudar a garantir a segurança, inspeciona dados para evitar ataques e filtrar o conteúdo inadequado. Aplique essa análise à entrada do usuário e às respostas do sistema para ajudar a garantir uma moderação completa de conteúdo em fluxos de entrada e fluxos de saída.

Em alguns casos, você precisa fazer várias invocações de modelo, como por meio do Azure OpenAI em Modelos de Fundição, para atender a uma única solicitação de cliente. Nesses cenários, a aplicação de verificações de segurança de conteúdo a cada invocação pode ser dispendiosa e desnecessária. Considere centralizar esse trabalho na arquitetura, mantendo a segurança como uma responsabilidade do lado do servidor. Suponha que uma arquitetura tenha um gateway na frente do ponto de extremidade de inferência do modelo para descarregar recursos específicos de back-end. Você pode projetar esse gateway para lidar com verificações de segurança de conteúdo para solicitações e respostas que o back-end pode não dar suporte nativamente. Embora um gateway seja uma solução comum, uma camada de orquestração pode lidar com essas tarefas efetivamente em arquiteturas mais simples. Em ambos os casos, você pode aplicar seletivamente essas verificações quando necessário, o que otimiza o desempenho e o custo.

As inspeções devem ser multimodais e abranger vários formatos. Quando você usa entradas multimodais, como imagens, é importante analisá-las para identificar mensagens ocultas que possam ser prejudiciais ou violentas. Essas mensagens podem não estar imediatamente visíveis, portanto, exigem uma inspeção cuidadosa. Use ferramentas como APIs de segurança de conteúdo para essa finalidade.

Para ajudar a impor políticas de privacidade e segurança de dados, inspecione os dados do usuário e os dados de base para garantir conformidade com as regulamentações de privacidade. Verifique se os dados estão higienizados ou filtrados à medida que fluem pelo sistema. Por exemplo, dados de conversas anteriores de suporte ao cliente podem servir como dados de referência. Esses dados devem ser higienizados antes da reutilização.

Manipular dados do usuário adequadamente

As práticas responsáveis envolvem o tratamento cuidadoso do gerenciamento de dados do usuário. Esse gerenciamento inclui saber quando usar dados e quando evitar depender de dados do usuário.

• Pratique a inferência sem compartilhar dados do usuário. Para compartilhar com segurança os dados do usuário com outras organizações para obter insights, use um modelo de câmara de compensação. Nesse cenário, as organizações fornecem dados a um parceiro confiável que treina o modelo usando os dados agregados. Em seguida, todas as instituições podem usar esse modelo e compartilhar insights sem expor conjuntos de dados individuais. O objetivo é usar os recursos de inferência do modelo sem compartilhar dados de treinamento detalhados.

• Promover a diversidade e a inclusividade. Quando os dados do usuário forem necessários, use uma variedade diversificada de dados, incluindo gêneros sub-representados e criadores, para atenuar os danos relacionados à imparcialidade. Implemente recursos que incentivem os usuários a explorar conteúdo novo e variado. Monitore o uso continuamente e ajuste as recomendações para evitar a superrepresentação de qualquer tipo de conteúdo único.

• Respeite o RTBF. Evite usar dados do usuário quando possível. Ajude a garantir a conformidade com o RTBF, tendo as medidas necessárias em vigor para garantir que os dados do usuário sejam excluídos diligentemente.

  Para ajudar a garantir a conformidade, pode haver solicitações para remover dados do usuário do sistema. Para modelos menores, você pode remover dados do usuário retreinando o modelo usando dados que excluem informações pessoais. Para modelos maiores, que podem consistir em vários modelos menores e treinados independentemente, o processo é mais complexo e o custo e o esforço são significativos. Procure orientação jurídica e ética sobre como lidar com essas situações e garanta que as orientações sejam incluídas nas suas políticas de para IA responsável.

• Retenha os dados com responsabilidade. Quando a exclusão de dados não for possível, obtenha o consentimento explícito do usuário para a coleta de dados e forneça políticas de privacidade claras. Colete e retenha dados somente quando absolutamente necessário. Tenha operações em vigor para remover dados agressivamente quando eles não forem mais necessários. Por exemplo, limpe o histórico de bate-papo assim que possível e anonimize os dados confidenciais antes da retenção. Use métodos avançados de criptografia para esses dados em repouso.

• Suporte à explicabilidade. Rastreie decisões no sistema para dar suporte aos requisitos de explicabilidade. Desenvolva explicações claras sobre como os algoritmos de recomendação funcionam. Forneça aos usuários informações sobre por que o conteúdo específico é recomendado para eles. O objetivo é garantir que as cargas de trabalho de IA e seus resultados sejam transparentes e justificáveis detalhando como tomam decisões, quais dados usam e como os modelos foram treinados.

• Criptografar dados do usuário. Os dados de entrada devem ser criptografados em cada estágio do pipeline de processamento de dados a partir do momento em que o usuário insere dados. Esses estágios incluem dados à medida que eles se movem de um ponto para outro, dados que são armazenados e dados que são inferidos, se necessário. Equilibre a segurança e a funcionalidade e tente manter os dados privados durante todo o seu ciclo de vida.

• Forneça controles de acesso robustos. Vários tipos de identidades podem acessar dados do usuário. Implemente o controle de acesso baseado em função para o plano de controle e o plano de dados para que ele cubra a comunicação do usuário e do sistema para o sistema.

  Mantenha a segmentação de usuário adequada para proteger a privacidade. Por exemplo, o Microsoft 365 Copilot pode pesquisar e fornecer respostas com base nos documentos e emails específicos de um usuário, garantindo que apenas o conteúdo relevante para esse usuário seja acessado.

• Reduza a área da superfície. Uma estratégia fundamental do pilar Well-Architected Framework Security é minimizar a superfície de ataque e proteger os recursos. Você deve aplicar essa estratégia a práticas de segurança de ponto de extremidade padrão controlando firmemente os pontos de extremidade da API, expondo apenas dados essenciais e evitando informações desnecessárias em respostas. Balancee a opção de design entre flexibilidade e controle.

  Certifique-se de que não haja nenhum ponto de extremidade anônimo. Em geral, evite dar aos usuários mais controle do que o necessário. Na maioria dos cenários, os usuários não precisam ajustar hiperparâmetros, exceto em ambientes experimentais. Para casos de uso típicos, como interagir com um agente virtual, os usuários só devem controlar aspectos essenciais para ajudar a garantir a segurança limitando o controle desnecessário.

Para obter mais informações, consulte Design de aplicativo para cargas de trabalho de IA no Azure.

Próxima etapa