Formatvorlage für große Computearchitektur
Der Begriff "Big Compute" beschreibt große Workloads, die eine große Anzahl von Kernen erfordern, häufig in den Hunderten oder Tausenden nummerieren. Szenarien umfassen Bildrendering, dynamische Dynamik, Finanzrisikomodellierung, Ölforschung, Drogendesign und technische Stressanalyse unter anderem.
Hier sind einige typische Merkmale großer Computeanwendungen:
- Die Arbeit kann in diskrete Aufgaben aufgeteilt werden, die gleichzeitig über viele Kerne hinweg ausgeführt werden können.
- Jeder Vorgang ist endlich. Es dauert einige Eingaben, führt eine Verarbeitung durch und erzeugt eine Ausgabe. Die gesamte Anwendung wird für eine begrenzte Zeit (Minuten bis Tage) ausgeführt. Ein gängiges Muster besteht darin, eine große Anzahl von Kernen in einem Platz bereitzustellen und dann nach Abschluss der Anwendung auf Null zu drehen.
- Die Anwendung muss nicht 24/7 bleiben. Das System muss jedoch Knotenfehler oder Anwendungsabstürzen behandeln.
- Bei einigen Anwendungen sind Aufgaben unabhängig und können parallel ausgeführt werden. In anderen Fällen sind Vorgänge eng gekoppelt, d. h., sie müssen interagieren oder Zwischenergebnisse austauschen. In diesem Fall sollten Sie die Verwendung von High-Speed-Netzwerktechnologien wie InfiniBand und remote direct memory access (RDMA) in Betracht ziehen.
- Je nach Workload können Sie rechenintensive VM-Größen (H16r, H16mr und A9) verwenden.
Wann diese Architektur verwendet werden soll
- Rechenintensive Vorgänge wie Simulation und Zahlen-Crunching.
- Simulationen, die rechenintensiv sind und in mehreren Computern (10-1000s) auf CPUs aufgeteilt werden müssen.
- Simulationen, die zu viel Arbeitsspeicher für einen Computer erfordern und auf mehrere Computer aufgeteilt werden müssen.
- Lange dauernde Berechnungen, die zu lange dauern würden, bis sie auf einem einzelnen Computer abgeschlossen werden.
- Kleinere Berechnungen, die 100 oder 1000 mal ausgeführt werden müssen, z. B. Monte Carlo-Simulationen.
Vorteile
- Hohe Leistung mit "peinlich paralleler" Verarbeitung.
- Kann Hunderte oder Tausende von Computerkernen nutzen, um große Probleme schneller zu lösen.
- Zugriff auf spezielle Hochleistungshardware mit dedizierten Hochgeschwindigkeits-InfiniBand-Netzwerken.
- Sie können virtuelle Computer nach Bedarf bereitstellen, um Ihre Arbeit zu erledigen, und sie dann abreißen.
Herausforderungen
- Verwalten der VM-Infrastruktur.
- Verwalten des Volumens der Anzahl Crunching
- Bereitstellung von Tausenden von Kernen zeitnah.
- Bei eng gekoppelten Vorgängen kann das Hinzufügen weiterer Kerne zu abnehmenden Renditen führen. Möglicherweise müssen Sie experimentieren, um die optimale Anzahl von Kernen zu finden.
Große Datenverarbeitung mit Azure Batch
Azure Batch ist ein verwalteter Dienst zum Ausführen von hochleistungsintensiven Computing-Anwendungen (HPC).
Mit Azure Batch konfigurieren Sie einen VM-Pool und laden die Anwendungen und Datendateien hoch. Anschließend stellt der Batchdienst die virtuellen Computer bereit, weist den VMs Aufgaben zu, führt die Aufgaben aus und überwacht den Fortschritt. Batch kann die virtuellen Computer automatisch als Reaktion auf die Workload skalieren. Batch stellt auch die Auftragsplanung bereit.
Großer Compute, der auf virtuellen Computern ausgeführt wird
Sie können Microsoft HPC Pack verwenden, um einen Cluster von virtuellen Computern zu verwalten und HPC-Aufträge zu planen und zu überwachen. Mit diesem Ansatz müssen Sie die VMs und die Netzwerkinfrastruktur bereitstellen und verwalten. Erwägen Sie diesen Ansatz, wenn Sie über vorhandene HPC-Workloads verfügen und einige oder alles in Azure verschieben möchten. Sie können den gesamten HPC-Cluster nach Azure verschieben, oder Sie können Ihren HPC-Cluster lokal halten, Aber Azure für Platzkapazität verwenden. Weitere Informationen finden Sie unter Batch- und HPC-Lösungen für rechenintensive Workloads im großen Maßstab.
HPC Pack in Azure bereitgestellt
In diesem Szenario wird der HPC-Cluster vollständig in Azure erstellt.
Der Kopfknoten stellt Verwaltungs- und Auftragsplanungsdienste für den Cluster bereit. Verwenden Sie für eng gekoppelte Aufgaben ein RDMA-Netzwerk, das sehr hohe Bandbreite, geringe Latenzkommunikation zwischen virtuellen Computern bietet. Weitere Informationen finden Sie unter Bereitstellen eines HPC Pack 2016-Clusters in Azure.
Bersten eines HPC-Clusters zu Azure
In diesem Szenario führt eine Organisation HPC Pack lokal aus und verwendet Azure-VMs für Platzkapazität. Der Clusterkopfknoten ist lokal. ExpressRoute oder VPN-Gateway verbindet das lokale Netzwerk mit dem Azure VNet.
