Kontakt

Dr. Henrik Schulz

Leiter IT Infrastruktur
h.schulzAthzdr.de
Tel.: +49 351 260 3268
+49 175 7015822

Jens Lasch

j.laschAthzdr.de
Tel.: +49 351 260 3430

Hochleistungsrechnen am HZDR

Das Hochleistungsrechnen (HPC, High Performance Computing) ist eine der Kernaufgaben der Abteilung IT-Infrastruktur. Um Nutzern des HZDR die Möglichkeit zu geben, große Berechnungsaufgaben in den Bereichen Simulation und Datenauswertung durchführen zu können, werden zwei zentrale Linux-Cluster betrieben.

Die Linux-Cluster

Eine Übersicht der Knoten und Queues/Partitionen der Cluster gibt Aufschluss über die nutzbaren Gruppen von Knoten. Das Tutorial erklärt einige Grundlagen zur Nutzung. Einige Job-Skript Beispiele für Standard-Anwendungen können für das HPC-Cluster hemera verwendet werden.

hypnos

HPC-Cluster Hypnos am HZDRDas HPC-Cluster hypnos besteht aus 3 Kopfknoten (1 Master und 2 Login-Server) und derzeit 115 Rechenknoten.

In den Rechenknoten sind insgesamt 388 AMD-Prozessoren (Opteron 16-Core) und 34 Intel-Prozessoren (Xeon 8-Core oder 16-Core) installiert sowie ein Arbeitsspeicher von 4 bzw. 8 GB pro CPU-Core und somit ca. 25 TB. Die Gesamtzahl der an hypnos verfügbaren CPU-Cores beträgt rund 6800.

Die Vernetzung des hypnos-Clusters besteht neben dem herkömmlichen Gbit-Ethernet auch in Form eines InfiniBand-Netzwerkes mit einer Bandbreite von 40 bzw. 56 Gbit/s. Damit ist das Cluster nicht nur für sequentielle und grob-granulare parallele Aufgaben geeignet, sondern auch für massiv-parallele Algorithmen mit sehr hohem Kommunikationsanteil. Als Betriebssystem wird Ubuntu Linux eingesetzt.

Die aktuelle Auslastung des hypnos-Clusters kann über ein Webportal eingesehen werden.

hemera

Am 14.09.2018 ging das HPC-Cluster hemera in Betrieb. Derzeit enthält es 68 CPU-Rechenknoten mit je 40 Intel Xeon Gold Kernen und 10 GPU-Rechenknoten mit je 28 Kernen und je 4 Nvidia GPUs vom Typ Tesla P100. Weiterhin wurden die k20- und k80-GPU-Rechenknoten des hypnos-Clusters sowie die Intel-basierten Rechenknoten des hydra-Clusters in das hemera-Cluster integriert. Somit besteht hemera derzeit aus insgesamt 214 Rechenknoten, von denen 36 mit GPUs ausgestattet sind.

Die Vernetzung des hemera-Clusters wird primär mittels eines EDR-InfiniBands (100 Gbit/s) mit 2 Ports pro Knoten realisert. Als Betriebssystem wird CentOS Linux eingesetzt.

Interaktive Dienste

Um die Nutzung der vorhandenen HPC-Ressourcen einem breiteren Spektrum von Anwendungen anzubieten, werden interaktive Dienste etabliert, die eine Clusternutzung per Webbrowser ermöglichen.

Jupyter Notebook

Eine interaktive Datenauswertung mit python kann mittels Jupyter Notebook komfortabel erfolgen. Hierbei können einzelne Datenauswertungsvorgänge protokolliert, gespeichert und zu späterer Zeit fortgesetzt werden. Auch als Alternative zu Matlab ist dieses Tool geeignet.

Um Jupyter Notebooks ausführen zu können, benötigen Sie einen HPC-Zugang. Dieser kann per E-Mail an cluster-admin@hzdr.de beantragt werden.

Speicherplatz für Daten

Daten können auf allen Fileservern des HZDR abgelegt sein und sind an den Login-Nodes der HPC-Cluster verfügbar. Daten, die von Jobs verarbeitet oder erzeugt werden sollen, müssen im Home-Verzeichnis des Nutzers oder in einem Projektverzeichnis unter /bigdata abgelegt werden. Projektverzeichnisse werden auf Antrag erstellt.


Kontakt

Dr. Henrik Schulz

Leiter IT Infrastruktur
h.schulzAthzdr.de
Tel.: +49 351 260 3268
+49 175 7015822

Jens Lasch

j.laschAthzdr.de
Tel.: +49 351 260 3430