Übersicht zu aktuellen SHK Stellen in der Gruppe Data Management and HPC
Die Arbeitsgruppe "Data Management and HPC"
Für ein modernes Forschungsdatenmanagement empfiehlt es sich, zunächst den Lebenszyklus der Daten zu betrachten. Unser langfristiges Ziel besteht darin den gesamten Lebenszyklus entsprechend Findable, Accessible, Interoperable und Reusable nach den FAIR Kriterien bereit zu stellen. Ähnliche Kriterien gelten ebenso für Software.
Insbesondere sämtliche Schritte von der Generierung der Forschungsdaten bis zur Publikation von Daten und Ergebnissen sollten nachvollziehbar in die Dokumentation und die finale wissenschaftliche Publikation einfließen. Wir entwickeln stetig ein Konzept für den gesamten Lebenszyklus von Forschungsprojekten, welches alle wesentlichen Komponenten enthält und einen Schwerpunkt auf den (Meta-)Datenaustausch legt. Beschreibungen zu den einzelnen Komponenten und deren Einbettung in unser übergreifendes Ökosystem sind in unserer Top-Level Service Strategy zu finden.
Mission
Wir entwickeln Konzepte für einen Datenmanagement-Lebenszyklus für unsere Forschenden am HZDR. Dies beinhaltet die Integration bestehender Datenquellen, die Dokumentation von Experimenten, die Erfassung von Metadaten, die Verwaltung und Integration der Datenanalyse von Primärdaten sowie den Aufbau einer vollständigen Datenprovenienz mit integrierten Workflows.
Support
Wir bieten Unterstützung bei bestehenden oder geplanten Projekten zu den oben genannten Themen. Die elektronische Dokumentation ist oft der erste Berührungspunkt mit diesem Thema. Automatisierte Datenerfassung und Schnittstellen zu Analyseprogrammen sind ebenfalls häufige Themenschwerpunkte. Wir unterstützen Sie bei der Einrichtung und Initialisierung einer lauffähigen Version der Datenerfassung. Ziel ist es dabei immer, dass die beteiligten Forschenden die Projekte anschließend selbst weiterführen und optimieren können. Für weitere Fragen steht unsere Gruppe jederzeit zur Verfügung.
Übergreifende Services unserer Group
Setzen Sie sich mit uns in Verbindung, wenn Sie Fragen haben oder Hilfe benötigen. Unsere Services können in den Research Data Services und im HZDR IT service catalog gefunden werden. Die wesentliche Punkte die wir unterstützen sind:
Alles um das Thema "Research Data Management",
Unterstützung bei der Optimierung von HPC-Anwendungen und -Workloads,
Infrastruktur für die Verwaltung eines Projektlebenszyklus mit unsereren HZDR-Servics,
Dokumentation der Experimente (Labor-Dokumentationssystem),
Automatisierte eingehende Datenübertragungen in unsere Systeme aus verschiedenen Datenquellen,
Einrichtung von Arbeitsabläufen im Zusammenhang mit den FAIR-Grundsätzen,
Unterstützung bei der Archivierung von Forschungsdaten, Arbeitsabläufen und der wissenschaftlichen Veröffentlichung selbst.
Services zum Thema "Data Management & Analysis"
"Data Management & Analysis" ist ein Forschungsthema im Forschungsprogramm "Materie & Technologie" des Helmholtz-Forschungsbereichs "Materie". Die Abteilung Computational Science beherbergt eine kleine Gruppe, die die Forschenden im Institut für Strahlenphysik unterstützt, die an demselben Thema arbeiten. Die Gruppe ist verantwortlich für die Wartung von unternehmenskritischen Software-Komponenten sowie für deren Anbindung an die Software-Lösungen des HZDR und des Forschungsbereichs.
Software-Co-Design für hochleistungsfähige, plattformunabhängige Komponenten,
Leistungsanalyse und Unterstützung bei der Optimierung von bestehenden Anwendungen,
Schulungen und Workshops zu allen Themen unserer Arbeit, insbesondere auch zur Unterstützung der "Highly parallel programming of GPUs" Vorlesung an der TU Dresden
After each measurement the user would like to have the post-processed file available as soon as possible. The experiments are controlled with Labview and the post-processing should initiated automatically on the cluster.
Expected Results (Goals):
After each measurement the post-processing "workflow" is initiated, runs on the cluster and the resulting file is available on bigdata
Provide an ETL Workflow for Turbulence Fluid Dynamic Simulations
Description:
Create an ETL Workflow based on Celery with PostgrSQL and optional Elasticsearch integration.
Expected Results (Goals):
Python-based ETL workflow for our FWCC PostgreSQL database
Setting up a celery workflow environment
Integration of the workflow into our celery infrastructure
Visualization and administration of the workflows using Flower or Airflow
Connect Jupyter Notebooks on hemera to the PostgreSQL database
Setting up an OpenDistro (Elastic Search + Kibana + LDAP)
Synchronize the PostgrSQL database with Elasticsearch using LogStash
Visualize the data with Kibana
Owner:
Oliver Knodel
Customer:
(FWDC, Thomas Ziegenhein)
Automated GitLab CI-Job for the bitstream cration on Hemera
Description:
Create a CI-Job to automate the FPGA bitstream creation after every commit (with a special Tag) to provide a valid bitstream and to bring the GitLab project to the next level.
Expected Results (Goals):
Validated project sources to enable a bitstream build based on the data provided in the GitLab repository.
Creation of a reproduceable (command line based) FPGA development pipeline with necesasary tools/dependencys on Hemera.
Automated GitLab HPC Runner producing valid bitstreams as artefacts.
Provide a Toolflow for FPGA-DAQ Development using High-Level-Synthesis
Description:
Create a service which generates FPGA designs from OpenCL code using the High-Level-Synthesis (HLS) Tools from Xilinx on Hemera and implement first data aquisition cores.
Expected Results (Goals):
setup the toolflow on Hemera
implement first cores in pure C or OpenCL
document the project in GitLab and use CI for code validation
validate the core using SW/HW Cosimulation
optimize the code using directives and create different solutions on the provided FPGA (FWKK)
create the hardware design and deploy it on the ELBE-FPGA
Owner:
Oliver Knodel
Customer:
ELBE Experimant (FWKK, Andreas Wagner)
Provide project IDs with and without proposals
Description:
Create a service which validates proposal IDs or provides a "HZDR-ID" for non proposal projects
Expected Results (Goals):
setup DMS Guidance System (Webfrontend and API)
mirror GATE database using OAuth and cURL
provide validation function for user + proposal ID requests
provide new "HZDR-ID" and validation for non proposal projects
provide additional information for validated IDs
Owner:
Oliver Knodel
Customer:
Laser group collecting laboratory environmental sensor data (FWKT)
Make data sets available in a consistent and useful way.
Expected Results (Goals):
Prepare data sets of KLOE05, KLOE08, KLOE10, KLOE12 and the updated sets of KLOE17 for upload to the HEPData repository using the hepdata_lib python library