Cristie Data gewinnt Exabyte-Datenmanagement-Projekt am Deutschen Klimarechenzentrum (DKRZ)

Diesen Beitrag teilen

Das neue hierarchische Speichermanagementsystem (HSM) mit StrongLink wird es dem Deutschen Klimarechenzentrum (DKRZ) ermöglichen, künftig eine Datenmenge im Exabyte-Bereich zu speichern und zu verwalten. Die jährliche Speicherrate beträgt bis zu 120 PB. Mit der Installation werden innerhalb von nur einer Woche 150 PB Bestandsdaten vom alten auf das neue HSM-System migriert. Das neue System nutzt zukunftssichere, offene Standards wie S3 und LTFS.
Cristie Data hat im Herbst 2020 einen Fünfjahresvertrag über die Lieferung und Wartung eines neuen hierarchischen Speichermanagementsystems (HSM) am Deutschen Klimarechenzentrum (DKRZ) unterzeichnet.
Die Intelligenz der neuen Plattform basiert auf der starken Metadaten-gesteuerten Workflow-Engine StrongLink von StrongBox Data Solutions (SBDS) in Verbindung mit den OceanStor-Systemen von Huawei. StrongLink wird auf einer Scale-out-Architektur bereitgestellt. Das von Cristie Data entworfene Speicherverwaltungssystem überträgt 120 PB pro Jahr zwischen dem HPC-Speicher und dem neuen HSM-System. StrongLink virtualisiert hierfür den 1 PB Hochleistungs-Cache und die insgesamt 9 Tape-Archive. Die Konvertierung der 150 PB Bestandsdaten in das neue LTFS-Format erfolgt automatisch parallel zum Lesen und Schreiben neuer Daten und ist für die Nutzer transparent. Die Parallelisierung erstreckt sich über ca. 90 Bandlaufwerke in 9 Bandarchiven, die zusammen mehr als 79,000 Medienstandorte bereitstellen.
Tonbandbibliothek im Deutschen Klimarechenzentrum – Bildquelle & Copyright: Deutsches Klimarechenzentrum GmbH
„Mit diesem neuen Archivsystem kann das DKRZ wichtige Datendienste für unsere Forschungsgemeinschaft erweitern und modernisieren und gleichzeitig nahtlos auf eine neue Open-Standard-Plattform umsteigen, die mit unseren Anforderungen wachsen kann“, erklärt Prof. Thomas Ludwig, Geschäftsführer der DKRZ, und fährt fort von: „Das neue HSM-System bietet eine solide Grundlage, um sicherzustellen, dass Forscher kontinuierlichen Zugriff auf die kritischen Daten haben, die für die Klimamodellierung und verbesserte Klimaprojektionen erforderlich sind.“
Cristie Data ist für die Installation, Konfiguration und das Projektmanagement des neuen HSM-Systems am DKRZ verantwortlich. Die Niedernberger liefern auch die gesamte für das Projekt benötigte Hardware und verantworten das Service- und Integrationsmanagement.
„Das DKRZ ist ein wichtiger Partner in der Klimaforschung. Bei Cristie nehmen wir unsere Verantwortung gegenüber der Umwelt sehr ernst. Mit StrongLink können Klimaforscher auf der ganzen Welt auch in Zukunft schnell und zuverlässig auf alle Daten zugreifen. Mit Huawei als einem der Branchenführer für energieeffiziente Rechenzentrumslösungen leisten wir auch einen Beitrag zu umweltfreundlicheren Lösungen im Rechenzentrum“, sagt Volker Wester, Geschäftsführer von Cristie Data.
Das Projekt ersetzt das bestehende HPSS durch ein neues System, das die offenen Standards LTFS und S3 verwendet.