Compartilhar via


Integrar dados no Microsoft Dataverse

O Integrador de Dados (para Administradores) é um serviço de integração ponto a ponto usado para integrar dados ao Dataverse. Ele dá suporte à integração de dados entre aplicativos de finanças e operações e o Dataverse. Também dá suporte à integração de dados nos aplicativos de finanças e operações e no Dynamics 365 Sales. Este serviço está disponível para o público em geral desde julho de 2017.

Observação

É altamente recomendável que os clientes comecem a usar gravação dupla, que oferece uma integração bidirecional rigidamente combinada entre aplicativos de finanças e operações e o Dataverse. Qualquer alteração de dados em aplicativos de finanças e operações causa gravações no Dataverse, e qualquer alteração de dados no Dataverse causa gravações em aplicativos de finanças e operações. Esse fluxo de dados automatizado fornece uma experiência de usuário integrada entre os aplicativos. Mais informações: Gravação dupla

Como você pode usar o Integrador de Dados para sua empresa?

O Integrador de Dados (para Administradores) também dá suporte a cenários de integração com base em processos, como o Prospect to Cash, que fornece sincronização direta entre os aplicativos de finanças e operações e o Dynamics 365 Sales. Os modelos do Prospect to Cash que estão disponíveis com o recurso de integração de dados permitem o fluxo de dados para contas, contatos, produtos, cotações de venda, ordens de venda e faturas de venda entre os aplicativos de finanças e operações e o Sales. Enquanto os dados estiverem fluindo entre aplicativos de finanças e operações e o Sales, você poderá realizar atividades de venda e de marketing no Sales, e você poderá lidar com o preenchimento da ordem usando o gerenciamento de estoque em aplicativos de finanças e operações.

Prospect to Cash.

A integração do Prospect to Cash permite que os vendedores lidem e monitorem seus processos de venda com o poder do Dynamics 365 Sales, enquanto todos os aspectos de preenchimento e faturamento acontecem usando a funcionalidade avançada em aplicativos de finanças e operações. Com a integração do Prospect to Cash ao Microsoft Dynamics 365, você obtém o poder combinado de ambos os sistemas.

Para obter mais informações sobre a integração do Prospect to Cash, consulte a documentação sobre a solução Prospect to Cash.

Integração do Field Service e integração do PSA (Project Service Automation) também são compatíveis para integração de dados.

Plataforma do Integrador de Dados

O Integrador de Dados (para Administradores) consiste na plataforma de Integração de Dados, modelos prontos para o uso fornecidos pelas nossas equipes de aplicativos (por exemplo, aplicativos de finanças e operações e Dynamics 365 Sales) e modelos personalizados criados por nossos clientes e parceiros. Criamos uma plataforma independente de aplicativo que pode escalar entre várias fontes. Basicamente, você estabelece conexões (com pontos de extremidade da integração), escolhe um dos modelos personalizáveis com mapeamentos predefinidos (que pode personalizar ainda mais), cria e executa o projeto da integração de dados.

Os modelos de integração servem como um blueprint com entidades predefinidas e mapeamentos de campo para habilitar o fluxo de dados da origem ao destino. Ele fornece a capacidade de transformar os dados antes de importá-los. Muitas vezes, o esquema entre os aplicativos de origem e destino podem ser muito diferentes, e um modelo com entidades predefinidas e mapeamentos de campo funciona como um excelente ponto de partida para um projeto de integração.

Plataforma de integração de dados

Como configurar um projeto de integração de dados

Existem três etapas principais:

  1. Criar uma conexão (forneça credenciais para as fontes de dados).

  2. Crie um conjunto de conexões (identifique ambientes para as conexões criadas na etapa anterior).

  3. Crie um projeto de integração de dados usando um modelo (crie ou use mapeamentos predefinidos para uma ou mais entidades).

Depois de criar um projeto de integração, você obterá a opção de executar o projeto manualmente e configurará uma atualização baseada em agenda para o futuro. O restante deste artigo estende essas três etapas.

Observação

A interface do usuário para gerenciamento de projetos do Data Integrator está hospedada em https://dataintegrator.trafficmanager.net. As políticas da sua organização podem exigir a adição deste site à sua lista de permissões para acessar a interface.

Como criar uma conexão

Antes de poder criar um projeto de integração de dados, será preciso uma conexão para cada sistema com que você pretende trabalhar no portal do Microsoft Power Apps. Pense nessas conexões como seus pontos de integração.

  1. Vá para Power Apps.

  2. No painel de navegação à esquerda, selecione Conexões e Nova conexão. Se o item não estiver no painel de navegação esquerdo, selecione Mais para encontrá-lo.

  3. Você pode selecionar uma conexão na lista de conexões ou procurar uma.

  4. Depois de selecionar sua conexão, selecione Criar. Em seguida, suas credenciais são solicitadas.

Depois que você der suas credenciais, a conexão estará listada nas conexões.

Observação

Verifique se a conta especificada por você para cada conexão tem acesso a entidades dos aplicativos correspondentes. Além disso, a conta para cada conexão pode estar em um locatário diferente.

Como criar um conjunto de conexões

Os conjuntos de conexões compreendem duas conexões, ambientes para as conexões, informações de mapeamento de organizações e chaves de integração que podem ser reutilizadas entre os projetos. Você pode começar a usar um conjunto de conexões para desenvolvimento e então trocar para um diferente para a produção. Uma informação armazenada em um conjunto de conexões é composta pelos mapeamentos da unidade organizacional — por exemplo, os mapeamentos entre a entidade legal (ou empresa) de aplicativos de finanças e operações e a organização ou as unidades de negócios do Dynamics 365 Sales. Você pode armazenar vários mapeamentos organizacionais em um conjunto de conexões.

  1. Vá para Centro de administração do Power Platform.

  2. Selecione Gerenciar>Integração de dados no painel de navegação esquerdo.

  3. Selecione Novo conjunto de conexões na barra de comandos.

  4. Forneça um nome para seu conjunto de conexões.

  5. Escolha as conexões que você criou anteriormente e selecione o ambiente adequado.

  6. Repita as etapas ao escolher sua próxima conexão (pense nelas como origem e destino sem ordem específica).

  7. Especifique o mapeamento da organização para a unidade de negócios (se você estiver integrando aplicativos de finanças e operações e sistemas de vendas).

    Nota

    Você pode especificar diversos mapeamentos para cada conjunto de conexões.

  8. Depois que você tiver preenchido todos os campos, selecione Salvar.

O novo conjunto de conexões que você acabou de criar é exibido na guia Conjuntos de conexões.

Seu conjunto de conexões está pronto para ser usado em diversos projetos de integração.

Como criar um projeto de integração de dados

Os projetos habilitam o fluxo de dados entre sistemas. Um projeto contém mapeamentos para uma ou mais entidades. Os mapeamentos indicam quais campos são mapeados para quais outros campos.

  1. Vá para Centro de administração do Power Platform.

  2. Selecione Gerenciar>Integração de dados no painel de navegação esquerdo.

  3. Na guia Projetos, selecione Novo Projeto na barra de comandos.

  4. Forneça um nome para seu projeto de integração.

  5. Selecione um dos modelos disponíveis (ou crie seu próprio modelo). Nesse caso, estamos migrando a entidade Products dos aplicativos de finanças e operações para Sales.

  6. Selecione Avançar e escolha um conjunto de conexões criado anteriormente (ou crie um novo conjunto de conexões).

  7. Verifique se você escolheu o correto ao confirmar os nomes da conexão e do ambiente. Selecione Avançar e então escolha a entidade legal para mapeamentos da unidade de negócios.

  8. Revise e aceite o aviso de privacidade e consinta na tela seguinte.

  9. Avance à criação do projeto e o execute, o que acaba iniciando o projeto.

Na tela, você percebe diversas guias – Agendamento e Histórico de execução – com alguns botões – Adicionar tarefa, Atualizar entidades e Consulta Avançada – que serão descritas mais à frente neste artigo.

Histórico de execução

Sempre que você executa um projeto, de maneira manual ou agendada, ele gera um log detalhado que mostra o nome do projeto, o carimbo de data/hora atualizado mais recentemente com o status. Você pode exibir isso no histórico de execuções de cada projeto. O histórico de execuções do projeto será mantido por 45 dias depois dos quais elas serão apagadas automaticamente.

O histórico de execução também mostra o status da execução, juntamente com o número de upserts e quaisquer erros.

  • Para falhas na execução, você pode analisar para exibir a causa raiz.
  • Se a execução do projeto estiver no estado "ERRO", ele repetirá a execução na próxima execução agendada.
  • Se a execução do projeto estiver no estado "AVISO", você deverá corrigir os problemas na origem. O projeto repete a execução na próxima execução agendada.

Para projetos com avisos ou erros, você pode optar por "reexecutar" manualmente.

Como configurar uma atualização baseada em agenda

Existem dois tipos de execuções/gravações disponíveis:

  • Gravações manuais (executar e atualizar manualmente o projeto)
  • Gravações baseadas em agenda (atualização automática)

Depois de criar um projeto de integração, você terá a opção de executá-lo manualmente ou de configurar gravações baseadas em agenda, o que permite a você configurar a atualização automática para os projetos.

Para configurar gravações baseadas em agendamento, siga estas etapas:

  1. Vá para Centro de administração do Power Platform.
  2. Selecione Gerenciar>Integração de dados no painel de navegação esquerdo.
  3. Na guia Projetos, selecione o projeto e ...>Agendar.
  4. Selecione Recorrer a cada e assim que você tiver concluído todos os campos, selecione Salvar agenda.

Você pode definir uma frequência de um minuto ou criar uma recorrência de um determinado número de horas, dias, semanas ou meses. Observe que a próxima atualização não será iniciada até que a tarefa do projeto anterior conclua sua execução.

Em Notificações, você pode aceitar notificações de alerta baseadas em email, o que alerta você de execuções do trabalho concluídas com avisos ou falhas por causa de erros. Você pode fornecer vários destinatários, incluindo os grupos separados por vírgulas.

Observação

  • Você pode agendar 50 projetos de integração em qualquer período por locatário pago. Entretanto, você pode criar mais projetos e executá-los interativamente. Para locatários de avaliação, existe uma limitação adicional de que um projeto agendado só pode ser executado nas primeiras 50 vezes.
  • Embora você possa agendar projetos para execução a cada minuto, isso pode sobrecarregar muito os aplicativos e afetar o desempenho geral. Nós incentivamos os usuários a testarem execuções de projeto sob condições de carga verdadeiras e a otimizarem o desempenho com atualizações menos frequentes. Em ambientes de produção, não é recomendável executar mais de cinco projetos por minuto por locatário.
  • Para otimizar o desempenho e não sobrecarregar os aplicativos, as execuções de projeto estão limitadas a 500 mil linhas por execução por projeto.
  • Sempre que você executa um projeto, de maneira manual ou agendada, ele gera um log detalhado que mostra o nome do projeto, o carimbo de data/hora atualizado mais recentemente com o status. Você pode exibir isso no histórico de execuções de cada projeto. O histórico de execuções do projeto será mantido por 45 dias depois dos quais elas serão apagadas automaticamente.

Personalização de projetos, modelos e mapeamentos

Usar um modelo para criar um projeto de integração de dados. Um modelo mercantiliza o movimento de dados que, por sua vez, ajuda o usuário ou administrador corporativo acelere a integração de dados de origens para o destino e reduz a carga e o custo gerais. Um usuário ou administrador corporativo pode começar com um modelo pronto para uso publicado pela Microsoft ou seu parceiro e então personalizá-lo antes de criar um projeto. É possível então salvar o projeto como um modelo e compartilhar com sua organização e/ou criar um novo projeto.

Um modelo fornece uma origem, um destino e uma direção de fluxo de dados. Você precisa ter isso em mente enquanto personaliza ou cria o próprio modelo.

Você pode personalizar projetos e modelos destas formas:

  • Personalize mapeamentos de campos.
  • Personalize um modelo adicionando uma entidade à sua escolha.

Como personalizar mapeamentos de campos

Para criar um conjunto de conexões, siga estas etapas:

  1. Vá para Centro de administração do Power Platform.
  2. Selecione Gerenciar>Integração de dados no painel de navegação esquerdo.
  3. Na guia Projetos, selecione o projeto para o qual você deseja personalizar mapeamentos de campo, selecione ...>Detalhes do conjunto de conexões.
  4. Selecione a guia Organizações e + Adicionar mapeamento.
  5. Depois que você tiver personalizado os mapeamentos de campo, selecione Salvar na barra de comandos.

Como criar seu próprio modelo

Criar o próprio modelo modificando modelos existentes

  1. Entre no centro de administração do Power Platform.

  2. Selecione Gerenciar>Integração de dados no painel de navegação esquerdo.

  3. Na guia Modelos, crie um projeto selecionando um modelo existente que corresponda à origem ao destino escolhidos, além da direção do fluxo.

  4. Escolha a conexão apropriada.

  5. Para salvar ou executar o projeto, selecione Adicionar tarefa na barra de comandos.

    A caixa de diálogo Adicionar tarefa é aberta.

  6. Forneça um nome de tarefa significativo e adicione entidades de origem e destino à sua escolha.

  7. A lista suspensa mostra todas as entidades de origem e destino.

    Personalize a tarefa2 de adição do modelo.

    Neste caso, uma nova tarefa foi criada para sincronizar a entidade Usuário do SalesForce para a entidade Usuários no Dataverse.

    Personalize a tarefa3 de adição do modelo.

  8. Depois de criar a tarefa, você poderá exibir a nova tarefa listada e excluir a original.

  9. Você acabou de criar um novo modelo — neste caso, um modelo para efetuar pull dos dados da entidade Usuário do SalesForce para o Dataverse. Selecione Salvar para salvar sua personalização.

  10. Siga as etapas necessárias para personalizar mapeamentos de campos para esse novo modelo. Você pode executar esse projeto e salvá-lo como um modelo na guia Projeto. Ao salvar como um modelo, dê um nome e uma descrição. Você também pode compartilhar o modelo com todos em sua organização.

    Nome e descrição.

Criar o próprio modelo com base em um modelo em branco

  1. Entre no centro de administração do Power Platform.

  2. Vá até Gerenciar>Integração de dados no painel de navegação esquerdo.

  3. Selecione Novo projeto e forneça um nome para o projeto. Por exemplo, Demo_CreateYourOwnTemplate project.

  4. Na página de listagem Selecionar um modelo, escolha um modelo genérico em branco. Para este exemplo, escolha o modelo Vendas para finanças e operações já que queremos mover dados dos aplicativos de finanças e operações para o Dynamics 365 Sales.

  5. Siga as etapas de 6 a 9 em Como criar outro projeto de integração de dados para criar o projeto da integração de dados desejado. Em seguida, selecione Salvar.

  6. A página Tarefas é exibida, vazia pois é um modelo em branco sem nenhuma tarefa. Selecione Adicionar tarefa para escolher uma entidade na lista suspensa e adicione uma nova tarefa.

    Neste caso, para fins de demonstração, criamos uma tarefa Vendas de atividades para finanças e operações escolhendo a entidade Atividades para aplicativos de finanças e operações e o Dynamics 365 Sales. Selecione Criar.

  7. Uma nova tarefa Vendas de atividades para finanças e operações foi adicionada. Selecione Salvar para salvar suas alterações.

  8. O projeto foi criado. Na guia Projetos, selecione o projeto e ... >Salvar como modelo.

  9. Dê um nome e uma descrição, além de selecionar Salvar. Além disso, selecione Compartilhar com todos em minha organização para compartilhar esse modelo.

O modelo recém-criado é exibido na página de lista Modelos.

Além disso, depois de criar um novo projeto de integração quando escolher Selecione um modelo, você notará o modelo recém-criado na guia Modelos.

Transformação e filtragem avançadas de dados

Com o suporte do Power Query, há filtragem e transformação de dados avançadas dos dados de origem disponíveis. O Power Query permite que os usuários remodelem os dados para atender às suas necessidades, com uma experiência do usuário fácil de usar, envolvente e sem código. Você pode habilitar isso projeto por projeto.

Habilitar filtragem e consulta avançadas

  1. Vá para Centro de administração do Power Platform.

  2. Selecione Gerenciar>Integração de dados no painel de navegação esquerdo.

  3. Na guia Projetos, selecione o projeto no qual você deseja habilitar a consulta avançada, selecione ...>Detalhes do Projeto,. Em seguida, selecione Consulta avançada na barra de comandos.

  4. Você recebe um aviso de que a habilitação de uma consulta avançada é uma operação única e que não pode ser desfeita. Selecione OK para prosseguir e então selecione a seta de mapeamento de origem e destino.

  5. Você recebe uma página de mapeamento de entidades familiar com um link para abrir Consulta Avançada e Filtragem.

  6. Selecione para vincular para iniciar a interface do usuário da Consulta Avançada e Filtragem, o que oferece a você dados do campo de origem em colunas do tipo Microsoft Excel.

    Selecione para vincular.

  7. No menu superior, você tem diversas opções para transformar dados, como Adicionar outra coluna, Duplicar coluna e Extrair.

    Adicione uma coluna.

  8. Você também pode clicar duas vezes em qualquer coluna para obter mais opções, como Remover colunas, Remover duplicatas e Dividir coluna.

    Clique com o botão direito do mouse na coluna.

  9. Você também pode filtrar selecionando cada coluna e usando filtros do tipo Excel.

    Habilite a filtragem.

  10. As transformações de valor padrão podem ser obtidas usando a coluna condicional. Para fazer isso, na lista suspensa Adicionar Coluna, selecione Adicionar Outra Coluna e insira o nome da nova coluna. Preencha Em seguida e Caso contrário com aquele que deve ser o valor padrão, usando qualquer campo e valor para Se e Igual a.

    Adicione uma coluna condicional.

  11. Observe a cláusula each no editor fx, na parte superior.

    Editor fx.

  12. Corrija a cláusula each no editor fx e selecione OK.

    Corrija a cláusula each.

  13. Sempre que fizer uma alteração, você aplicará uma etapa. Você pode ver as etapas aplicadas no painel à direita (role até a parte inferior para ver a última etapa). Você pode desfazer uma etapa caso seja necessário editar. Além disso, você pode ir para o Editor avançado clicando com o botão direito do mouse em QrySourceData no painel esquerdo, na parte superior, para exibir a linguagem M, que é executada nos bastidores com as mesmas etapas.

    Editor avançado.

  14. Selecione OK para fechar a interface Consulta Avançada e Filtragem e, na página da tarefa de mapeamento, selecione a coluna recém-criada como a origem para criar o mapeamento que você deseja.

Para obter mais informações sobre o Power Query, vá até a documentação do Power Query.

Observação

  • Assim que Consulta e Filtragem Avançadas é habilitada, as transformações por meio de Fn não são compatíveis e, em vez disso, elas devem ser definidas usando Consulta e Filtragem Avançadas.

  • A realização de junções em várias fontes de dados (por meio do botão Obter dados ou da consulta M) não é compatível com Consulta e Filtragem Avançadas.

  • Se você encontrar limites de avaliação do Power Query com o erro:

    O trabalho do powerquery falhou com erro: Exception ExceptionType:MashupEvaluationException, ExceptionMessage:EvaluationQuotaReached, EvaluationResponse:{"ResultType":"ErrorCode","Code":"EvaluationQuotaReached"

    Revise as orientações sobre Limites do Power Query Online.

  • A modificação direta de url no editor de mashup não é compatível. Só o filtro aplicado usando a interface do usuário do editor de mashup ou especificado no campo de edição do filtro de origem na página de mapeamento é usado.

Ajuste de desempenho

Há vários fatores que afetam o desempenho de um cenário de integração. O desempenho é altamente dependente de:

  • Quais aplicativos você está integrando: aplicativos de finanças e operações e Dataverse.
  • Quais entidades são usadas: forma, validação e lógica comercial das entidades (padrão e personalizações).

O Integrador de Dados obtêm os dados do aplicativo de origem e os envia por push para o aplicativo de destino. As principais considerações de desempenho são como os aplicativos de origem e destino escalam com as entidades envolvidas. Ele aproveita as melhores tecnologias disponíveis para efetuar pull/push dos dados com um bom desempenho.

Os aplicativos de finanças e operações usam a estrutura de gerenciamento de dados, o que proporciona uma maneira de extrair e enviar por push dados da maneira mais eficiente. A estrutura do gerenciamento de dados é usada para gerenciar entidades de dados e pacotes da entidade de dados em aplicativos de finanças e operações.

Os aplicativos do Dynamics 365 com o Dataverse usam APIs OData com paralelismo para maximizar o desempenho.

Você pode usar as configurações a seguir para ajustar o desempenho dos aplicativos de finanças e operações com base na carga, na entidade e nos recursos.

Exportação de dados dos aplicativos de finanças e operações

  • Exportação direta (Ignorar Preparo Ativado): verifique se as entidades usadas na integração dão suporte à exportação direta (Ignorar Preparo Ativado). Isso permite que a exportação seja executada em massa e a tabela de preparo seja ignorada. Se você executar com Ignorar Preparo Desativado, ele fará fallback para chamadas linha por linha, e os dados serão inseridos na tabela de preparo.
  • Habilitar o controle de alterações para entidades: o controle de alterações permite a exportação incremental de dados dos aplicativos de finanças e operações usando gerenciamento de dados. Em uma exportação incremental, somente registros alterados são exportados. Para habilitar uma exportação incremental, você deverá habilitar o controle de alterações em entidades. Sem controle de alterações, você faz exportações completas, o que pode afetar o desempenho. Para cenários complexos, use consultas personalizadas no controle de alterações.

Importar dados para aplicativos de finanças e operações

  • Verifique se a entidade tem um bom desempenho. Se possível, crie entidades baseadas em conjuntos.
  • Se o número de linhas a serem importadas for alto e a entidade não der suporte a operações de conjunto: o gerenciamento de dados pode ser configurado para importar a entidade com tarefas em paralelo. Isso pode ser configurado no gerenciamento de dados (parâmetros) por meio da configuração dos parâmetros de execução da entidade. Isso usa estrutura em lote para criar tarefas em paralelo, que se baseia na disponibilidade de recursos para execução em paralelo.
  • Desativação de validações (opcional): embora o Integrador de Dados não ignore nenhuma lógica de negócios e validação, você pode desativar aquelas que não sejam necessárias para melhorar o desempenho.

Importar/Exportar dados de/para aplicativos do Customer Engagement

Assegure-se de que os índices sejam definidos para as chaves de integração.

Atualizações do Integrador de Dados – novos recursos com uma interface do usuário intuitiva que oferece uma experiência fluida.