Testes A/B no Dynamics 365 Customer Insights - Journeys

Customer Insights – O Journeys usa testes A/B para examinar seus percursos de cliente baseados em gatilhos, para que você aprenda a melhor maneira de alcançar seus clientes.

Os testes A/B medem qual canal ou estratégia de conteúdo leva a um maior sucesso. Cada teste compara um grupo de controle (versão A) a uma variante (versão B). O grupo de controle obtém a experiência padrão e o grupo variante obtém uma experiência ou mensagem diferente. Comparar os resultados mostra qual opção é mais eficaz.

O teste A/B precisa que um público-alvo grande seja eficaz. Testes com menos de 1.000 pessoas podem produzir resultados irregulares, como tamanhos de grupos desiguais. Testes com grupos muito pequenos quase sempre criam distribuições desproporcionais. Por exemplo, se o público tiver 10 membros, um poderá ir para a variante A e nove para a variante B. Isso é esperado quando o público-alvo é muito pequeno para o modelo estatístico distribuir uniformemente.

Exemplo 1: criação de um teste A/B para jornadas baseadas em gatilho

Suponha que você queira testar dois emails diferentes em um percurso baseado em gatilho que começa quando alguém termina uma compra.

1. Crie o conteúdo inicial no editor de email como sempre. Aperfeiçoe o conteúdo e verifique se há erros para garantir que ele possa ir ao ar.

2. Quando o conteúdo estiver pronto, vá para Customer Insights – Jornadasde> do> e selecione um existente em1. Depois de selecionar um percurso, selecione o sinal de adição (+) para adicionar um elemento.

   • Selecione Testar qual variação apresenta o melhor desempenho.
   • Selecione os canais que você deseja testar. Por exemplo, selecione um email para a versão A e um para a versão B e, em seguida, selecione Criar teste.no B e, em seguida, selecione Criar teste.

3. Quando você seleciona o bloco de teste A/B, o painel lateral é aberto.

   

   O painel contém os seguintes parâmetros:

• Nome em exibição: para identificar seu teste, insira um nome para ele. Esse nome é exibido no painel de teste A/B e na análise da jornada do cliente quando você observa quais testes estão sendo executados.
• Versões: escolha o conteúdo para o canal que você preparou na etapa um (neste caso, os dois emails que você deseja testar). Você pode fazer isso por meio de uma lista suspensa selecionando os blocos filhos no criador de jornada ou fazendo uma seleção no painel lateral.
• Público-alvo Inicial: este é o grupo de público-alvo que você deseja excluir do teste A/B antes de obter os resultados. Essa opção só está disponível para jornadas baseadas em segmento, pois você já tem um número total de clientes para ajudá-lo a decidir quantos deseja reter. As jornadas baseadas em gatilho não têm essa opção, pois os clientes entram quando concluem uma ação. Assim, o número total de clientes que entram na jornada é desconhecido.
• Distribuição de experimentos: escolha a distribuição de público-alvo desejada. O controle deslizante está automaticamente em 50-50, mas você pode definir o controle deslizante para a distribuição desejada. O mínimo que uma versão pode receber é 10% e o máximo é 90%. Lembre-se de que, tradicionalmente, a versão A é o seu grupo de controle e a versão B é a sua variante.
• Métrica vencedora: defina a condição vencedora para o teste escolhendo uma métrica vencedora: a versão com mais eventos de meta de percurso atingidos, mais cliques ou mais aberturas. Nesse caso, convém aumentar as taxas de abertura, logo, você escolherá a opção da taxa de abertura.
• Este teste termina: escolha entre terminar o teste automaticamente ou em uma data e hora específicas. Deixar que o teste determine um vencedor ocorre automaticamente quando os resultados atingem significância estatística. Isso significa que, uma vez que um vencedor claro é determinado, o sistema envia a versão vencedora para o resto do seu público. A versão perdedora será descartada. Se você escolher a significância estatística como uma opção para encerrar o teste A/B, mas não houver um vencedor claro depois de 30 dias, o sistema enviará automaticamente a versão padrão. Se você terminar o teste mais cedo, pode levar até quatro horas para liberar o grupo de controle.
• Versão padrão: por último, escolha uma versão padrão; no caso, o teste não termine com êxito. Se um vencedor não for determinado pelo prazo especificado através da data e hora, a versão padrão será enviada automaticamente.

1. Quando você estiver pronto para publicar o percurso, o teste A/B terá esta aparência:

   

Exemplo 2: criação de um teste A/B para jornadas baseadas em segmento

Suponha que você queira criar uma jornada para receber novos membros que ingressarem em seu programa de fidelidade este mês. Convém aumentar a taxa de abertura testando duas linhas de assunto diferentes.

Conclua as etapas de um a três descritas no primeiro exemplo, mas observe que o painel lateral parece diferente. Com percursos baseados em segmento, você começa com um número total de clientes. Essa configuração permite criar dois tipos de testes A/B.

1. Teste A/B sem grupo de controle: esse teste A/B funciona como percursos baseados em gatilho, em que os clientes passam pelo teste conforme chegam até que um vencedor seja determinado.

   

2. Teste A/B com um grupo de controle: essa opção permite especificar exatamente quantos clientes testar. Por exemplo, se o segmento tiver 100 membros de fidelidade, você poderá primeiro testar em 20% ou 20 membros, com cada versão recebendo 10 membros. Após o teste A/B, os 80 membros restantes recebem a versão vencedora. Você pode ajustar o público-alvo inicial e a distribuição conforme necessário.

   

Para este exemplo, estamos usando um teste A/B com um grupo de controle. Todas as outras configurações são iguais às do exemplo um.

Monitore o ciclo de vida de seus testes A/B

Depois de publicar seu percurso, abra-o para acompanhar o ciclo de vida de seus testes.

• Rascunho: esses testes ainda não foram executados; então, você ainda pode editar as configurações.
• Em andamento: esses testes estão em execução. As configurações estão bloqueadas e você não pode fazer alterações significativas.
• Parados: esses testes são interrompidos, e o profissional de marketing pode escolher qual versão enviar.
• Finalizados: esses testes terminam quando um vencedor estatisticamente significativo é encontrado ou quando eles chegam a uma data e hora definidas. Os testes encerrados não podem ser reutilizados.

Entenda seus resultados

Existem três resultados de resultados de teste A/B possíveis:

• Teste concluído com um vencedor claro: o teste mostra que uma versão tem um desempenho melhor que a outra. A versão vencedora tem um selo de "vencedor" e vai para qualquer novo cliente que insira o percurso.
• O teste não foi conclusivo: o teste mostra que os destinatários têm a probabilidade de se envolver com a versão A como com a versão B. Nesse caso, a versão padrão vai para qualquer novo cliente que insira o percurso.
• O teste foi interrompido: você ou um colega de trabalho interrompeu o teste antes que ele pudesse ser concluído. Nesse caso, a versão especificada por você ou seu colega de trabalho vai para qualquer novo cliente que insira o percurso.

Perguntas frequentes

• Posso criar um teste A/B com mais de duas versões?
  • Não, agora não.
• Por que não estou vendo a opção do grupo de controles para percursos segmentados?
  • Se você adicionar um branch de atributo ou qualquer bloco que altere o número total no segmento, a opção de grupo de controle desaparecerá porque o sistema não poderá saber quantos clientes reter até que o teste seja concluído.
• Por que meu teste está terminando inesperadamente?
  • Se você optar por encerrar o teste com significância estatística, o sistema tentará escolher um vencedor nos primeiros 30 dias após a publicação do percurso. Se nenhuma versão for vencedora, o teste terminará e a versão padrão irá para o público restante.
• Por que meu resultado do teste A/B está sendo mostrado como "Inconclusivo"?
  • Um teste A/B poderá retornar um resultado "Inconclusivo" se o experimento não puder concluir sua fase de avaliação. Isso geralmente acontece quando o teste ou jornada termina antes que o sistema tenha tempo suficiente para coletar e analisar dados suficientes para escolher um vencedor estatisticamente significativo. Para ajudar a obter resultados precisos:
    • Deixe pelo menos cinco horas entre o início e o final do teste (hora de término do teste ou hora de término da jornada).
    • Verifique se a jornada tem volume e engajamento suficientes para uma análise estatística significativa.
    • Permitir que o processo de avaliação seja executado em segundo plano; pode levar várias horas para ser concluída, dependendo do volume de tráfego e envolvimento.