Startseite › Lexikon › Deduplizierung
Lexikon · Backup & Recovery
Deduplizierung: Speicherplatz sparen bei Backups
Kurz erklärt
Deduplizierung (Datendeduplizierung, englisch Deduplication) erkennt identische Datenblöcke und speichert sie nur ein einziges Mal. Jede weitere Kopie wird durch einen Verweis auf den bereits gespeicherten Block ersetzt. So sinken Speicherbedarf und Übertragungsmenge – besonders bei Backups, in denen sich große Teile der Daten von Sicherung zu Sicherung wiederholen.
Block
Einheit der Prüfung
Gleiche Blöcke nur einmal speichern.
Hash
Digitaler Fingerabdruck
Erkennt Duplikate in Sekundenbruchteilen.
Ratio
Reduktionsrate
Wie viel Speicher wird gespart?
Was ist Deduplizierung?
In typischen Unternehmensdaten steckt viel Wiederholung: dieselben Betriebssystemdateien auf Dutzenden virtuellen Maschinen, mehrfach gespeicherte Dokumente, und vor allem Backups, die jeden Tag großteils dieselben Daten enthalten. Deduplizierung nutzt genau das aus.
Statt jede Kopie vollständig abzulegen, speichert das System jeden eindeutigen Datenblock einmal und führt eine Liste, welche Datei oder welches Backup welche Blöcke nutzt. Für Anwender und Backup-Software bleibt das unsichtbar – beim Lesen werden die Daten wieder zusammengesetzt.
So funktioniert Deduplizierung
1
Zerlegen
Die Daten werden in Blöcke (Chunks) aufgeteilt – mit fester oder variabler Länge.
2
Fingerabdruck berechnen
Für jeden Block wird ein Hashwert berechnet, der ihn eindeutig kennzeichnet.
3
Abgleichen
Der Hashwert wird mit einem Index aller bereits gespeicherten Blöcke verglichen.
4
Speichern oder verweisen
Neue Blöcke werden gespeichert, bekannte Blöcke nur als Verweis abgelegt.
Wie viel spart Deduplizierung?
Die Ersparnis wird als Reduktionsrate angegeben, zum Beispiel 10:1 – dann belegen 10 TB Daten nur noch 1 TB Speicher. Wie hoch sie ausfällt, hängt stark von den Daten ab: Viele ähnliche virtuelle Maschinen und regelmäßige Vollbackups deduplizieren sehr gut. Bereits komprimierte oder verschlüsselte Daten, Videos und Bilder kaum. Herstellerangaben sollten deshalb immer mit eigenen Daten geprüft werden.
Varianten der Deduplizierung
Datei- oder Block-Ebene
Datei-Ebene erkennt nur identische Dateien. Block-Ebene findet auch gleiche Teile in unterschiedlichen Dateien – mit variabler Blocklänge am effektivsten.
Inline oder nachgelagert
Inline dedupliziert sofort beim Schreiben und spart direkt Platz. Post-Process schreibt erst vollständig und dedupliziert später – schnelleres Sichern, aber mehr Zwischenspeicher.
Quell- oder Zielseitig
Quellseitig wird schon auf dem gesicherten System dedupliziert, das spart Netzwerkbandbreite. Zielseitig übernimmt das Backup-Speichersystem die Arbeit.
Deduplizierung vs. Komprimierung
Deduplizierung
Entfernt Wiederholungen zwischen Dateien und Sicherungen. Wirkt umso stärker, je mehr sich die Daten ähneln.
Komprimierung
Verkleinert Daten innerhalb eines Blocks oder einer Datei, indem Muster kürzer kodiert werden.
In der Praxis werden beide kombiniert: erst deduplizieren, dann die verbleibenden Blöcke komprimieren. Verschlüsselung sollte danach erfolgen, weil verschlüsselte Daten sich weder deduplizieren noch komprimieren lassen.
Vorteile und worauf Sie achten sollten
Vorteile
✓ Deutlich weniger Speicherbedarf
✓ Längere Aufbewahrung auf gleichem Speicher
✓ Weniger Datenübertragung bei Replikation an einen zweiten Standort
✓ Geringere Kosten für Hardware, Strom und Cloud-Speicher
Worauf achten
• Wiederherstellung: Daten müssen wieder zusammengesetzt werden (Rehydrierung), das kann den Restore verlangsamen
• Abhängigkeit: Ein beschädigter Block betrifft alle Sicherungen, die ihn nutzen
• Ressourcen: Index und Hashberechnung brauchen Arbeitsspeicher und Rechenleistung
• Verschlüsselte Daten deduplizieren kaum
Deduplizierung und Ransomware
Weil ein deduplizierter Speicher viele Sicherungen in wenigen Blöcken bündelt, ist er ein besonders lohnendes Ziel für Angreifer. Schützen Sie ihn deshalb mit unveränderlichen Sicherungen, getrennten Zugangsdaten und einer zusätzlichen Kopie per Air Gap – zum Beispiel auf Band, wo die Daten in der Regel vollständig und unabhängig vom Deduplizierungs-Index abgelegt werden.
So unterstützt Cristie
Effiziente Datensicherung mit Cristie
Backup & Archiv
Backup- und Archivlösungen, die zu Datenmenge und Aufbewahrungsfristen passen. Zu Backup & Archiv
LTO-Bandlösungen
Günstige, vom Netz getrennte Langzeitkopie als Ergänzung zum deduplizierten Plattenspeicher. Zu den Bandlösungen
S3-Objektspeicher
Skalierbarer Speicher für Backups, auf Wunsch unveränderlich. S3-Objektspeicher verstehen
Wird Ihr Backup-Speicher zu knapp?
Wir prüfen mit Ihnen, wie Sie Kapazität sparen, ohne die Wiederherstellung zu gefährden.
Häufige Fragen
Was bedeutet Deduplizierung?
Identische Datenblöcke werden nur einmal gespeichert, alle weiteren Vorkommen durch Verweise ersetzt. Das spart Speicherplatz und Bandbreite.
Was ist der Unterschied zwischen Deduplizierung und Komprimierung?
Deduplizierung entfernt Wiederholungen zwischen Dateien und Sicherungen, Komprimierung verkleinert Daten innerhalb einer Datei oder eines Blocks. Beide werden meist kombiniert.
Verlangsamt Deduplizierung die Wiederherstellung?
Sie kann es, weil die Daten beim Lesen wieder zusammengesetzt werden müssen. Moderne Systeme gleichen das mit Zwischenspeichern aus – testen Sie die Wiederherstellungszeit trotzdem mit Ihren eigenen Daten.
Funktioniert Deduplizierung mit verschlüsselten Daten?
Kaum, weil Verschlüsselung gleiche Inhalte unterschiedlich aussehen lässt. Deshalb wird in Backup-Systemen in der Regel erst dedupliziert und danach verschlüsselt.
Verwandte Begriffe: Backup-Arten · Immutable Backup · Air Gap · RTO und RPO