Compartilhar via

Categorias personalizadas (versão prévia)

A Segurança de Conteúdo de IA do Azure permite que você crie e gerencie suas próprias categorias de conteúdo para moderação e filtragem aprimoradas que correspondam às suas políticas ou casos de uso específicos.

Tipos de personalização

Você pode definir e usar categorias personalizadas por meio de vários métodos. Esta seção detalha e compara esses métodos.

API Funcionalidade
API de categorias personalizadas (padrão) Use um modelo de aprendizado de máquina personalizável para criar, obter, consultar e excluir uma categoria personalizada. Ou liste todas as suas categorias personalizadas para outras tarefas de anotação.
API de categorias personalizadas (rápidas) Use um LLM (modelo de linguagem grande) para aprender rapidamente padrões de conteúdo específicos em incidentes de conteúdo emergentes.

API de categorias personalizadas (padrão)

A API de categorias personalizadas (padrão) permite definir categorias específicas às suas necessidades, fornecer dados de exemplo, treinar um modelo de machine learning personalizado e usá-lo para classificar o novo conteúdo de acordo com as categorias aprendidas.

Essa API fornece o fluxo de trabalho padrão para personalização com modelos de machine learning. Dependendo da qualidade dos dados de treinamento, ele pode atingir níveis de desempenho muito bons, mas pode levar várias horas para treinar o modelo.

Essa implementação funciona no conteúdo de texto, não no conteúdo de imagem.

API de categorias personalizadas (rápida)

A API de categorias personalizadas (rápida) é mais rápida e flexível do que o método padrão. Use-o para identificar, analisar, conter, erradicar e recuperar de incidentes cibernéticos que envolvem conteúdo inadequado ou prejudicial em plataformas online.

Um incidente pode envolver um conjunto de padrões de conteúdo emergentes (texto, imagem ou outras modalidades) que violam as diretrizes da comunidade da Microsoft ou as próprias políticas e expectativas dos clientes. Você precisa atenuar esses incidentes de forma rápida e precisa para evitar possíveis problemas ao vivo ou danos a usuários e comunidades.

Essa implementação funciona em conteúdo de texto e conteúdo de imagem.

Dica

Outra maneira de lidar com incidentes de conteúdo emergente é usar Listas de Bloqueios, mas essa opção só permite correspondência exata de texto e nenhuma correspondência de imagem. A API de categorias personalizadas (rápidas) oferece os seguintes recursos avançados:

  • correspondência de texto semântico usando a pesquisa de inserção com um classificador leve
  • correspondência de imagem com um modelo leve de acompanhamento de objetos e pesquisa de inserção

Como ele funciona

O recurso de categorias personalizadas de Segurança de Conteúdo de IA do Azure usa um processo de várias etapas para criar, treinar e usar modelos de classificação de conteúdo personalizados. Aqui está o fluxo de trabalho:

Etapa 1: Definição e configuração

Ao definir uma categoria personalizada, você precisa ensinar à IA que tipo de conteúdo deseja identificar. Esta etapa envolve fornecer um nome de categoria claro e uma definição detalhada que encapsula as características do conteúdo.

Em seguida, você coleta um conjunto de dados equilibrado com exemplos positivos e (opcionalmente) negativos para ajudar a IA a aprender as nuances da sua categoria. Esses dados devem representar a variedade de conteúdo que o modelo encontra em um cenário do mundo real.

Etapa 2: Treinamento do modelo

Depois de preparar seu conjunto de dados e definir categorias, o serviço de Segurança de Conteúdo de IA do Azure treina um novo modelo de aprendizado de máquina. Esse modelo usa suas definições e o conjunto de dados carregados para executar o aumento de dados usando um modelo de linguagem grande. Como resultado, o conjunto de dados de treinamento é maior e de maior qualidade. Durante o treinamento, o modelo de IA analisa os dados e aprende a diferenciar o conteúdo que se alinha com a categoria e o conteúdo especificados que não o fazem.

Etapa 3: Avaliação do modelo

Após o treinamento, avalie o modelo para garantir que ele atenda aos seus requisitos de precisão. Teste o modelo com o novo conteúdo que ele não recebeu durante o treinamento. A fase de avaliação ajuda você a identificar possíveis ajustes necessários para fazer antes de implantar o modelo em um ambiente de produção.

Etapa 4: Uso do modelo

Use a API analyzeCustomCategory para analisar o conteúdo do texto e determinar se ele corresponde à categoria personalizada que você definiu. O serviço retorna um booliano que indica se o conteúdo está alinhado com a categoria especificada.

Limitações

Disponibilidade do idioma

As APIs de categorias personalizadas dão suporte a todos os idiomas compatíveis com a moderação de texto de Segurança de Conteúdo. Confira Suporte a linguagens.

Limitações de entrada

Consulte a tabela a seguir para obter as limitações de entrada da API de categorias personalizadas (padrão):

Objeto Limitação
Idiomas com suporte Somente inglês
Número de categorias por usuário 3
Número de versões por categoria 3
Número de compilações simultâneas (processos) por categoria 1
Operações de inferência por segundo 5
Número de amostras em uma versão de categoria Amostras positivas (obrigatórias): mínimo 50, máximo 5K
No total (amostras negativas e positivas): 10K
Não são permitidas amostras duplicadas.
Tamanho do arquivo de amostra máximo de 128000 bytes
Comprimento de uma amostra de texto máximo de 125 mil caracteres
Comprimento de uma definição de categoria máximo de 1000 caracteres
Comprimento de um nome de categoria máximo de 128 caracteres
Comprimento de uma URL de blob máximo de 500 caracteres

Disponibilidade de região

Para usar essas APIs, você deve criar seu recurso de Segurança de Conteúdo de IA do Azure em uma das regiões com suporte. Para obter mais informações, consulte a disponibilidade da região.

Próxima etapa

Siga um guia de instruções para usar as APIs de segurança de conteúdo de IA do Azure para criar categorias personalizadas.