Partilhar via

Guia de início rápido: criar um pool do Apache Spark sem servidor usando o Synapse Studio

O Azure Synapse Analytics oferece vários mecanismos de análise para ajudá-lo a ingerir, transformar, modelar, analisar e fornecer seus dados. O pool Apache Spark oferece recursos de computação de big data de código aberto. Depois de criar um pool do Apache Spark em seu espaço de trabalho Synapse, os dados podem ser carregados, modelados, processados e servidos para obter insights.

Este guia de início rápido descreve as etapas para criar um pool do Apache Spark em um espaço de trabalho Synapse usando o Synapse Studio.

Important

Billing for Spark instances is prorated per minute, whether you are using them or not. Certifique-se de desligar sua instância do Spark depois de terminar de usá-la ou definir um curto tempo limite. Para obter mais informações, consulte a secção Limpar recursos deste artigo.

Nota

Synapse Studio will continue to support terraform or bicep-based configuration files.

Se não tiver uma subscrição do Azure, crie uma conta gratuita antes de começar.

Pré-requisitos

Inicie sessão no portal do Azure

Inicie sessão no portal do Azure

  1. Navegue até o espaço de trabalho Synapse onde o pool do Apache Spark será criado digitando o nome do serviço (ou nome do recurso diretamente) na barra de pesquisa. Screenshot from the Azure portal of the search bar with Synapse workspaces typed in.

  2. Na lista de espaços de trabalho, digite o nome (ou parte do nome) do espaço de trabalho a ser aberto. Neste exemplo, usamos um espaço de trabalho chamado contosoanalytics. Captura de tela do portal do Azure da lista de espaços de trabalho Synapse filtrados para mostrar aqueles que contêm o nome Contoso.

Launch Synapse Studio

Na visão geral do espaço de trabalho, selecione a URL da Web do espaço de trabalho para abrir o Synapse Studio.

Captura de tela do portal do Azure de uma visão geral do espaço de trabalho Synapse com Launch Synapse Studio realçado.

Criar o pool do Apache Spark no Synapse Studio

Important

O Azure Synapse Runtime for Apache Spark 2.4 foi preterido e oficialmente não tem suporte desde setembro de 2023. Como o Spark 3.1 e o Spark 3.2 também estão anunciados como o fim do suporte, recomendamos que os clientes migrem para o Spark 3.3.

  1. Na página inicial do Synapse Studio, navegue até o Hub de Gerenciamento na navegação à esquerda, selecionando o ícone Gerenciar . Captura de tela do portal do Azure da home page do Synapse Studio com a seção Hub de Gerenciamento realçada.

  2. Uma vez no Hub de Gerenciamento, navegue até a seção Pools do Apache Spark para ver a lista atual de pools do Apache Spark disponíveis no espaço de trabalho. Captura de tela do portal do Azure do hub de gerenciamento do Synapse Studio com a navegação de pools do Apache Spark selecionada.

  3. Selecione + Novo e o novo assistente de criação do pool do Apache Spark aparecerá.

  4. Insira os seguintes detalhes na guia Noções básicas :

    Setting Valor sugerido Descrição
    Nome do pool do Apache Spark Um nome de pool válido, como contosospark Este é o nome que o pool do Apache Spark terá.
    Node size Pequeno (4 vCPU / 32 GB) Defina isso para o menor tamanho para reduzir os custos deste início rápido
    Autoscale Disabled We won't need autoscale in this quickstart
    Número de nós 8 Use um tamanho pequeno para limitar os custos neste guia de início rápido
    Alocar executores dinamicamente Disabled This setting maps to the dynamic allocation property in Spark configuration for Spark Application executors allocation. We won't need autoscale in this quickstart.

    Captura de ecrã do portal do Azure das configurações básicas do novo pool do Apache Spark no Synapse Studio.

    Important

    Há limitações específicas para os nomes que os pools do Apache Spark podem usar. Os nomes devem conter apenas letras ou números, devem ter 15 ou menos caracteres, devem começar com uma letra, não conter palavras reservadas e ser exclusivos no espaço de trabalho.

  5. Na guia seguinte, Configurações adicionais, deixe todas as configurações como padrão.

  6. Selecione Etiquetas. Considere usar tags do Azure. Por exemplo, a tag "Owner" ou "CreatedBy" para identificar quem criou o recurso e a tag "Environment" para identificar se esse recurso está em Produção, Desenvolvimento, etc. Para obter mais informações, consulte Desenvolver sua estratégia de nomenclatura e marcação para recursos do Azure. When ready, select Review + create.

  7. In the Review + create tab, make sure that the details look correct based on what was previously entered, and press Create.

    Captura de ecrã do portal do Azure do novo pool Apache Spark do Create Synapse Studio.

  8. O pool do Apache Spark iniciará o processo de provisionamento.

  9. Quando o provisionamento estiver concluído, o novo pool do Apache Spark aparecerá na lista.

    Captura de tela do portal do Azure da nova lista de pool do Apache Spark do Synapse Studio.

Limpe os recursos do pool do Apache Spark usando o Synapse Studio

As etapas a seguir excluem o pool do Apache Spark do espaço de trabalho usando o Synapse Studio.

Aviso

A exclusão de um pool do Spark removerá o mecanismo de análise do espaço de trabalho. Não será mais possível se conectar ao pool e todas as consultas, pipelines e notebooks que usam esse pool do Spark não funcionarão mais.

Se você quiser excluir o pool do Apache Spark, execute as seguintes etapas:

  1. Navegue até os pools do Apache Spark no Hub de Gerenciamento no Synapse Studio.

  2. Select the ellipsis next to the Apache pool to be deleted (in this case, contosospark) to show the commands for the Apache Spark pool.

    Captura de tela do portal do Azure de uma lista de pools do Apache Spark, com o pool criado recentemente selecionado.

  3. Selecione Eliminar.

  4. Confirme a exclusão e pressione o botão Delete .

  5. Quando o processo for concluído com êxito, o pool do Apache Spark não será mais listado nos recursos do espaço de trabalho.

Conteúdos relacionados