ビッグ コンピューティング アーキテクチャ スタイル

ビッグ コンピューティングという用語は、多数のコアを必要とする大規模なワークロードを表します。多くの場合、数百または数千単位で番号が付けられます。 シナリオには、画像レンダリング、流体力学、財務リスク モデリング、石油探査、薬物設計、エンジニアリングストレス分析などがあります。

大規模なコンピューティング アプリケーションの一般的な特性を次に示します。

• 作業は個別のタスクに分割でき、複数のコアで同時に実行できます。
• 各タスクは有限です。 入力を受け取り、何らかの処理を行い、出力を生成します。 アプリケーション全体は、有限の時間 (分から日) で実行されます。 一般的なパターンは、バーストで多数のコアをプロビジョニングし、アプリケーションが完了したら 0 にスピンダウンすることです。
• アプリケーションを 24 時間 365 日稼働させる必要はありません。 ただし、システムはノード障害またはアプリケーションのクラッシュを処理する必要があります。
• 一部のアプリケーションでは、タスクは独立しており、並列で実行できます。 その他の場合、タスクは密結合されます。つまり、中間結果をやり取りまたは交換する必要があります。 その場合は、InfiniBand やリモート ダイレクト メモリ アクセス (RDMA) などの高速ネットワーク テクノロジの使用を検討してください。
• ワークロードによっては、コンピューティング集中型 VM サイズ (H16r、H16mr、A9) を使用できます。

このアーキテクチャを使用する場合

• シミュレーションや数値のクランチなど、計算負荷の高い操作。
• 計算負荷が高く、複数のコンピューター (10 ~ 1000 台) の CPU に分割する必要があるシミュレーション。
• 1 台のコンピューターに必要なメモリが多すぎて、複数のコンピューターに分割する必要があるシミュレーション。
• 1 台のコンピューターで完了するのに時間がかかりすぎる実行時間の長い計算。
• モンテカルロ シミュレーションなど、100 秒または 1000 秒の実行が必要な小さな計算。

メリット

• "恥ずかしい並列" 処理で高パフォーマンス。
• 大規模な問題を迅速に解決するために、数百または数千のコンピューター コアを利用できます。
• 専用の高速 InfiniBand ネットワークを使用した、特殊な高性能ハードウェアへのアクセス。
• 作業を行うために必要に応じて VM をプロビジョニングし、それらを破棄できます。

課題

• VM インフラストラクチャの管理。
• 数値のクランチのボリュームの管理
• 何千ものコアをタイムリーにプロビジョニングする。
• 緊密に結合されたタスクの場合、コアを追加すると、リターンが減少する可能性があります。 最適なコア数を調べるには、実験が必要になる場合があります。

Azure Batch を使用したビッグ コンピューティング

Azure Batch は、大規模なハイ パフォーマンス コンピューティング (HPC) アプリケーションを実行するためのマネージド サービスです。

Azure Batch を使用して、VM プールを構成し、アプリケーションとデータ ファイルをアップロードします。 その後、Batch サービスによって VM がプロビジョニングされ、VM にタスクが割り当てられ、タスクが実行され、進行状況が監視されます。 Batch では、ワークロードに応じて VM を自動的にスケールアウトできます。 Batch では、ジョブのスケジュール設定も提供されます。

Virtual Machines で実行されているビッグ コンピューティング

Microsoft HPC Pack を使用して VM のクラスターを管理し、HPC ジョブのスケジュールと監視を行うことができます。 この方法では、VM とネットワーク インフラストラクチャをプロビジョニングして管理する必要があります。 既存の HPC ワークロードがあり、その一部またはすべてを Azure に移動する場合は、このアプローチを検討してください。 HPC クラスター全体を Azure に移動することも、HPC クラスターをオンプレミスに保ち、バースト容量には Azure を使用することもできます。 詳細については、「 大規模なコンピューティング ワークロード用の Batch および HPC ソリューション」を参照してください。

Azure にデプロイされた HPC Pack

このシナリオでは、HPC クラスターは完全に Azure 内に作成されます。

ヘッド ノードは、管理サービスとジョブ スケジューリング サービスをクラスターに提供します。 密結合タスクの場合は、VM 間の非常に高い帯域幅、低待機時間の通信を提供する RDMA ネットワークを使用します。 詳細については、「Azure に HPC Pack 2016 クラスターをデプロイする」を参照してください。

HPC クラスターを Azure にバーストする

このシナリオでは、組織がオンプレミスで HPC Pack を実行し、バースト容量に Azure VM を使用します。 クラスター ヘッド ノードはオンプレミスです。 ExpressRoute または VPN Gateway は、オンプレミス ネットワークを Azure VNet に接続します。

次のステップ

• アプリケーションの Azure コンピューティング サービスを選択する
• Azure でのハイ パフォーマンス コンピューティング (HPC)