Contact

Dr. Henrik Schulz
Head IT Infrastructure
h.schulzAthzdr.de
Phone: +49 351 260 - 3268
Fax: +49 351 260 - 13268

Dr. Matthias Schlett
Data Centre Services
IT Infrastructure
m.schlettAthzdr.de
Phone: +49 351 260 - 3308, 3317
Fax: 13308, 2048

Jens Lasch
IT Infrastructure
j.laschAthzdr.de
Phone: +49 351 260 - 3430
Fax: +49 351 260 - 13430

Hochleistungsrechnen am HZDR

Das Hochleistungsrechnen (HPC, High Performance Computing) ist eine der Kernaufgaben der Abteilung IT-Infrastruktur. Um Nutzern des HZDR die Möglichkeit zu geben, große Berechnungsaufgaben in den Bereichen Simulation und Datenauswertung durchführen zu können, werden zwei zentrale Linux-Cluster betrieben.

Die Linux-Cluster

hypnos

HPC-Cluster Hypnos am HZDRDas HPC-Cluster hypnos besteht aus 3 Kopfknoten (1 Master und 2 Login-Server) und derzeit 149 Rechenknoten, von denen 34 Knoten mit GPUs ausgerüstet sind.

In den Rechenknoten sind insgesamt 430 AMD-Prozessoren (Opteron 16-Core) und 80 Intel-Prozessoren (Xeon 8-Core oder 16-Core) installiert sowie ein Arbeitsspeicher von 4 bzw. 8 GB pro CPU-Core und somit ca. 35 TB. Die Gesamtzahl der an hypnos verfügbaren CPU-Cores beträgt rund 7700.

Für bestimmte Berechnungsaufgaben eignen sich GPUs. Für diesen Zweck sind an hypnos 164 Nvidia Grafikprozessoren verfügbar. Dies sind 74 K80-GPUs, 68 K20-GPUs sowie einige ältere Karten des Typs C2070 und C1060. Die 164 GPUs besitzen insgesamt ca. 360.000 Rechenkerne.

Die Vernetzung des hypnos-Clusters besteht neben dem herkömmlichen Gbit-Ethernet auch in Form eines InfiniBand-Netzwerkes mit einer Bandbreite von 40 bzw. 56 Gbit/s. Damit ist das Cluster nicht nur für sequentielle und grob-granulare parallele Aufgaben geeignet, sondern auch für massiv-parallele Algorithmen mit sehr hohem Kommunikationsanteil. Als Betriebssystem wird Ubuntu Linux eingesetzt.

Die Gesamtrechenleistung (single precision) beträgt ca. 573,6 TFlop/s (CPU: 87,3 TFlop/s, GPU: 486,3 TFlop/s).

Die aktuelle Auslastung des hypnos-Clusters kann über ein Webportal eingesehen werden.

hydra

Das zweite Cluster ist hydra und es besteht derzeit aus 2 Kopfknoten und 93 Rechenknoten mit je 2 Intel-Prozessoren (Xeon 8-Core bzw. 16-Core). Damit stehen hier mehr als 2200 CPU-Kerne und ca. 14 TB Arbeitsspeicher zur Verfügung.

Die Vernetzung erfolgt ebenfalls über ein Gbit-Ethernet und zusätzlich InfiniBand, hier durchgehend mit einer Bandbreite von 40 Gbit/s. Damit ist hydra ebenfalls für sequentielle, grob-granulare parallele und auch massiv-parallele Jobs geeignet. Als Betriebssystem kommt auch hier Ubuntu Linux zum Einsatz. Die theoretische Gesamtrechenleistung (single precision) beträgt ca. 95 TFlop/s.

Die aktuelle Auslastung des hydra-Clusters kann über ein Webportal eingesehen werden.

Eine Übersicht der Knoten und Queues beider Cluster gibt Aufschluss über die nutzbaren Gruppen von Knoten.


Contact

Dr. Henrik Schulz
Head IT Infrastructure
h.schulzAthzdr.de
Phone: +49 351 260 - 3268
Fax: +49 351 260 - 13268

Dr. Matthias Schlett
Data Centre Services
IT Infrastructure
m.schlettAthzdr.de
Phone: +49 351 260 - 3308, 3317
Fax: 13308, 2048

Jens Lasch
IT Infrastructure
j.laschAthzdr.de
Phone: +49 351 260 - 3430
Fax: +49 351 260 - 13430