Das neue hierarchische Speichermanagementsystem (HSM) mit StrongLink ermöglicht es dem Deutschen Klimarechenzentrum (DKRZ) künftig, ein Datenvolumen im Exabyte-Bereich zu speichern und zu verwalten. Die jährliche Speicherrate beträgt bis zu 120PB. Mit der Installation werden innerhalb von nur einer Woche 150 PB Bestandsdaten vom alten auf das neue HSM-System migriert. Das neue System nutzt zukunftssichere, offene Standards wie S3 und LTFS.
Cristie Data unterzeichnete im Herbst 2020 einen Fünfjahresvertrag für die Lieferung und Wartung eines neuen hierarchischen Speichermanagementsystems (HSM) am Deutschen Klimarechenzentrum (DKRZ).
Die Intelligenz der neuen Plattform basiert auf der starken metadatengesteuerten Workflow-Engine StrongLink von StrongBox Data Solutions (SBDS), gekoppelt mit den OceanStor-Systemen von Huawei. StrongLink wird auf einer Scale-Out-Architektur eingesetzt. Das von Cristie Data konzipierte Speichermanagementsystem überträgt 120PB pro Jahr zwischen dem HPC-Speicher und dem neuen HSM-System. StrongLink virtualisiert hierfür den 1 PB großen Hochleistungscache und die insgesamt 9 Bandarchive. Die Konvertierung der 150 PB großen Bestandsdaten in das neue LTFS-Format erfolgt automatisch parallel zum Lesen und Schreiben neuer Daten und ist für die Anwender transparent. Die Parallelisierung erstreckt sich über rund 90 Bandlaufwerke in 9 Bandarchiven, die zusammen über 79.000 Medienplätze bereitstellen.
Tape Library am Deutschen Klimarechenzentrum – Bildquelle & Copyright: Deutsches Klimarechenzentrum GmbH
„Mit diesem neuen Archivsystem kann das DKRZ wichtige Datendienste für unsere Forschungsgemeinschaft erweitern und modernisieren und gleichzeitig nahtlos auf eine neue Open-Standard-Plattform umsteigen, die mit unseren Anforderungen wachsen kann“, erklärt Prof. Thomas Ludwig, geschäftsführender Direktor des DKRZ, und führt weiter aus: „Das neue HSM-System bietet eine solide Grundlage, um sicherzustellen, dass Forscher kontinuierlichen Zugriff auf die kritischen Daten haben, die für die Klimamodellierung und verbesserte Klimaprojektionen erforderlich sind.“
Cristie Data ist für die Installation, Konfiguration und das Projektmanagement des neuen HSM-Systems am DKRZ verantwortlich. Die Niedernberger liefern außerdem die gesamte für das Projekt benötigte Hardware und sind für das Service- und Integrationsmanagement verantwortlich.
„Das DKRZ ist ein wichtiger Partner in der Klimaforschung. Bei Cristie nehmen wir unsere Verantwortung gegenüber der Umwelt sehr ernst. Mit StrongLink können Klimaforscher auf der ganzen Welt auch in Zukunft schnell und zuverlässig auf alle Daten zugreifen.“
„Mit Huawei als einem der Branchenführer für energieeffiziente Rechenzentrumslösungen leisten wir auch einen Beitrag zu umweltfreundlicheren Lösungen im Rechenzentrum“, sagt Volker Wester, Geschäftsführer von Cristie Data.
Das Projekt ersetzt das bestehende HPSS durch ein neues System auf Basis der offenen Standards LTFS und S3.
