Rechenzentrum am Standort Rossendorf - Entwicklung seit 1961

2021: Nach der Entscheidung für den Bau eines neuen Rechenzentrums 2019 und einer intensiven Planungsphase starten im September 2021 die Bauarbeiten am Standort Dresden-Rossendorf. Das hochmoderne Data Center bietet Raum für 80 wassergekühlte Racks. Das Bild zeigt den Rohbau im März 2022.

Foto: Rohbau Rechenzentrum März 2022 ©Copyright: Dr. Uwe Konrad

Rohbau Rechenzentrum März 2022

2018: Am 14.09. ging das HPC-Cluster hemera in Betrieb. Derzeit besteht es aus 56 CPU-Rechenknoten mit ca. 5.000 Intel Xeon Gold Kernen und 10 GPU-Rechenknoten mit je 4 Nvidia GPUs vom Typ Tesla P100 und insgesamt ca. 150.000 Kernen. Die theoretische Rechenleistung der HPC-Systeme stieg damit auf ca. 1.5 TFLOP/s.

Im Rechenzentrum des HZDR ©Copyright: Detlev Müller / HZDR

Im Rechenzentrum des HZDR

Foto: Detlev Müller / HZDR

Download

2015/16: Das Rechenzentrum stellt sich den Heraus-forderungen der Digitalisierung und erhält als Teil des wissenschaftlichen Bereichs neue Aufgaben und eine neue Struktur. Dabei wird u. a. eine neue Abteilung "Computational Science" eingerichtet und die Bibliothek integriert.

Die neue Zentralabteilung "Informationsdienste und Computing" vernetzt sich noch stärker mit den Nutzern der Großgeräte und des High Performance Computings sowie externen Partnern.

Integration Computational Science und IT

2014: Big Data ist die neue Herausforderung! Um sie zu bewältigen wurde ein neuer IBM GSS Speicher mit 2 Petabyte Kapazität und einer Schreibrate von 15 GByte/s beschafft.

Es wird das parallele Filesystem GPFS von IBM verwendet, mit dem tausende Clients gleichzeitig schreiben können. Das kommt vor allem den per Infiniband angebundenen Clusterknoten zu Gute.

IBM GSS Storage

2012: Die Erweiterung und Modernisierung ist geschafft! Nun steht im Serversaal ein Platz von ca. 50 Racks und eine Kühlkapazität von max. 400 kW zur Verfügung.Gleichzeitig wurde unser Hypnos-Cluster sowohl mit CPU-, als auch mit GPU-Knoten gewaltig erweitert! Nun stehen unseren Nutzern in Summe über 7.000 CPU-cores und mehr als 175.000 GPU-cores zur Verfügung.

Anlässlich der Fertigstellung des erweiterten Data Centers sowie des erweiterten Supercomputers Hypnos fand ein wissenschaftliches Kolloquium am 12.12.2012 im Helmholtz-Zentrum Dresden-Rossendorf statt.

Agenda der Veranstaltung

Impressionen der Veranstaltung in einer Bildergalerie

Rechenzentrum des HZDR, 2012
 

2011: Das Rechenzentrum erfüllt nach 30 Jahren Dauerbetrieb nicht mehr die Anforderungen an Kühlung und nutzbarer Fläche in Hochleistungsracks.  Es erfolgt  eine bauliche Erweiterung und Neuausrüstung mit modernster Klimatechnik! Der Umbau erfolgt in 2 Abschnitten im laufenden Betrieb!

Die Kühlung wird durch einen energiesparenden Mix aus freier Kühlung, Absorptionskälte und Kompressionskälte realisiert.

Gebäude 614, 2012
 

2008-2010: Das Datenwachstum hält unvermindert an, 2009 wird ein neuer Speicher BlueArc Titan 3110 für wissenschaftliche Massendaten installiert und zum Ende 2011 auf über 400 Terabyte ausgebaut! Im Datennetz kommen 2010 dafür erstmals Switche mit 10 Gigabit Bandbreite zum Einsatz.

Die Virtualisierung begrenzt das Wachstum der Server für die Dienste, Ende 2010 laufen schon ca. 100 virtuelle Server auf der neuen Hardwareplattform, die aus zwei HP Blade7000 Shelfs besteht. 

Im Bereich des High Performance Computings hält das Wachstum unvermindert an, zum Cluster Hydra ist ein Cluster Hypnos hinzugekommen, das 832 AMD CPU-Cores und ca. 3,3 Terabyte Arbeitsspeicher anbietet.

BlueArc Titan 3100

2005-2006: Die elektrotechnische Infrastruktur des RZ wird verbessert. Die Stromversorgung erfolgt über eine 250 kVA USV, zusätzlich sorgt ein Notstromdiesel für unterbrechungsfreie Stromversorgung. Klimatechnisch halten 2006 die ersten wassergekühlten Schränke Einzug (im Bild HPC-Cluster).

Das neue Linux-Cluster auf Basis von dual-Opteron CPU steigert die Rechenleistung des FZR auf das Dreifache. Auf Basis von VMware ESX werden schrittweise Dienstserver auf wenigen Hardware-Knoten konsolidiert und als virtuelle Server betrieben.

2007: Das Rechenzentrum bekommt eine kleine Schwester: Im Gebäude 13 wird ein Backup-Rechenzentrum eingerichtet in dem die Daten gesichert werden und mit dem im Katastrophenfall ein Notbetrieb gewährleistet werden kann.

HPC-Cluster Hydra am FZD

2004: Erhebliche Erweiterung der Archivierungs- und Backup-Kapazität. Ausbau der IBM LTO-Bandbibliothek um LTO2 Laufwerke (400 GB Kapazität pro Band) und einen Anbauschrank mit 440 Slots erweitert. Damit steht jetzt eine Kapazität von mehr als 100 Terabyte für Daten zur Verfügung.

Auch das Linux-Cluster für die Anwendungen des Hochleistungsrechnens wird weiter ausgebaut. Mitte 2005 besteht es aus 44 Rechenknoten mit 88 Intel Xeon CPU (2,0-3,6 GHz, 100 GByte Memory).

IBM Bandbibliothek 2007
 

2001: Der WIN-Anschluss wurde von B-WIN- auf G-WIN-Technologie mit 2 MBit/s umgestellt.

2002: Im Februar wurde das Linux Cluster mit zunächst 16 Knoten (32 CPU) in Betrieb genommen. Im Dezember erfolgt die Inbetriebsetzung des neuen zentralen File-Servers des FZR (STK D280, 4 TByte Kapazität, späterer Ausbau auf 12 TByte).

2003: Das FZR ist nun mit 34 MBit/s an das G-Win des DFN angeschlossen. Im Juli  werden die ersten Gigabit-Strecken im FZR Backbone in Betrieb genommen.

1997 bis 1998: Die CONVEX-Rechner wurden durch einen moderneren Parallelrechner HP V2250 (8 Prozessoren a 240 MHz) ersetzt. Das B-WIN Wissenschaftsnetz konnte von 128 KBit/s auf 2 MBit/s aufgerüstet werden.

1999 bis 2000: Es wurde ein zweiter Parallelrechner HP V2250 mit 16 Prozessoren installiert und der bereits vorhandene Parallelrechner wurde von 8 auf 16 Prozessoren erweitert. Die zentralen Archiv- und Backupdienste wurden ausgebaut und durch einen neuen Archivrechner namens HP K570 ersetzt. Gemeinsam mit den Nutzern wurde ein Standard-PC definiert. Die Mitarbeiter beteiligten sich mit Lehrveranstaltungen und Praktika an der Ausbildung von Studenten.

HP V2250
 

Im Dezember 91 fand die Installation und Inbetriebnahme der Convex 3220 statt.

1992-94: Gründung des Forschungszentrum Rossendorf (FZR). Erweitung des Rechenzentrums um einen CONVEX 3820 (2 Vektor Prozessoren, 1 GB Memory). Die ältere CONVEX 3220 übernimmt die Rolle eines File-Servers. Dagegen steht der neue CONVEX 3820 für ressourcenintensive Jobs zur Verfügung.

1995 bis 1996: Das World Wide Web wurde für das FZR erschlossen.

Durch die Installierung eines Bandarchivs eröffneten sich neue Dimensionen der Sicherung und Verwaltung. Das Wissenschaftsnetz (WIN) wurde von 64KBit/s auf 128 KBit/s aufgerüstet.

Convex 3820
 

1983-1991: Erweiterung der EC 1055 im Rossendorfer Rechenzentrum. Das Bild stammt aus den späten achtziger Jahren, als neue Bedienerterminals eingeführt waren. 1991 erfolgt  der Abbau des EC 1055-Rechners um Platz für neue moderne Technik zu schaffen.

1991: Anschluss an das Wissenschaftsnetz (WIN, Internet) Deutschlands.

Rechenzentrum Ende der Achtziger

1978: Beginn des Baus eines neuen Gebäudes für einen ESER-Rechner.

1981: Übergabe des neuen Gebäudes an die Mitarbeiter des Rechenzentrums.

1983: Inbetriebnahme des EC 1055 im Rossendorfer Rechenzentrum.

Gebäude 614 - Rechenzentrum 2006

1975: Softwarearbeiten für die Datenfernverarbeitung mit der TU Dresden und Berliner Rechenzentren.

Ein optimiertes System von vier virtuellen Maschinen wurde auf dem ZRA2 realisiert.

Datenfernverarbeitung im ZfK

1964: Beginn der Nutzung des Computers NE 503 der Firma National Elliott, der in Dresden stand, durch Physiker des ZfK mit Unterstützung des Rechenzentrums.

1966 bis 1969: Entwicklung einer neuen Hardware (ZRA2) und der zugehörigen Software (incl. Betriebssystem) sowie Weiterentwicklung der “Rossendorfer Unterprogrammtechnik" mit Entwicklung eines ALGOL-Compilers. Im Januar 1969 ist Übergabe des ZRA2 zur breiten Nutzung.

ZRA2

1961: Gründung des ZfK-Rechenzentrums. Anschaffung des ZRA1, wegen einiger Schwierigkeiten konnte er dann im Mai 1963 in vollem Umfang in Betrieb genommen werden. Danach beherrschten die Mitarbeiter mit einem Programmsystem auf dem ZRA1 die numerische Auswertung kompletter Gamma-Szintillationsspektren.

1962 bis 1963: Beginn der Entwicklung der "Rossendorfer Unterprogrammtechnik" durch Mitarbeiter des Rechenzentrums. Für diese Unterprogrammtechnik wurde ein Fundus mit über 400 Unterprogrammen entwickelt.

Der Röhren-Analogrechner endim 2000 aus Glashütte wurde im Rechenzentrum aufgestellt und am Ende des Jahres durch einen zweiten ergänzt.