Conceitos de agendamento e dimensionamento automático do CycleCloud

O CycleCloud não é um agendador, mas sim uma plataforma que permite implantar seu próprio agendador no Azure. O agendador gerencia e distribui os trabalhos em um cluster de nós. O CycleCloud fornece uma API REST e uma biblioteca Python para desenvolver adaptadores de dimensionamento automático para agendadores. Com esses adaptadores, os clusters gerenciados são dimensionados para cima ou para baixo de acordo com o tamanho das filas de trabalho e das políticas de governança.

Agendadores

Um agendador é um software que aceita uma lista de trabalhos (ou tarefas) e distribui essas tarefas em pools de recursos disponíveis. Ele considera os requisitos de recursos dos trabalhos, dependências entre trabalhos e prioridades. Essas listas de trabalhos geralmente são conhecidas como filas.

O CycleCloud vem com suporte interno para muitos agendadores comumente usados (PBS Professional OSS, Slurm, IBM LSF, Grid Engine e HT Condor). Ele fornece modelos para implantar esses agendadores no Azure. Esses modelos são topologias padrão que representam as práticas recomendadas para a criação de clusters HPC no Azure. Eles usam recursos especializados exclusivos, como rede InfiniBand de baixa latência.

Além disso, os projetos são criados para cada agendador. Use os projetos para instalar e inicializar daemons de agendamento em nós de cabeçalho e de computação.

Adaptadores de agendamento

Os adaptadores criados para cada tipo de agendador desempenham duas funções primárias. Uma função agrega os requisitos de recursos de filas do agendador. A outra função converte os requisitos de recurso em solicitações de alocação para conjuntos de tamanhos de VM do Azure. Construa essas solicitações de alocação para determinadas restrições. Essas restrições podem incluir cotas de VM, limites para o tamanho do cluster e limites impostos pela topologia de rede InfiniBand para tamanhos de VM apropriados. Em certos aspectos, esses adaptadores se assemelham a um agente que negocia a demanda e a oferta de várias partes.

Monitoramento

O monitor é um processo executado no servidor de aplicativos CycleCloud e pesquisa periodicamente os serviços do Azure quanto à disponibilidade de recursos na assinatura do Azure. Este monitor fornece essas informações aos adaptadores do agendador para a intermediação de demanda.

Alocador de nós

O alocador de nós é executado no servidor de aplicativos CycleCloud. Ele recebe a solicitação de alocação dos adaptadores do agendador por meio de uma API REST, provisiona os recursos do Azure necessários para atender à solicitação e apresenta os recursos provisionados de volta aos adaptadores do agendador como conjuntos de nós.