Anmelden
Antrag auf Garantieservice

Im Falle eines Problems bieten wir Diagnosen und Reparaturen am Installationsort des Servers an. Kostenfrei.

Sprache

So erweitern Sie Ihren Speicherplatz: JBOD-Festplattengehäuse, 12/24/48/84-Laufwerke, SFF/LFF und Kapazitätserweiterungsplan

Erweiterung eines Speichersystems mit einer JBOD-Festplattenablage

Ein Speichersystem sollte nicht dadurch erweitert werden, dass man zuerst die größte Festplattenablage auswählt, sondern durch die Berechnung von nutzbarer Kapazität, Leistung, Fehlertoleranz und Controller-Grenzen. Wenn vor allem Terabytes für Archive oder Backups benötigt werden, sind LFF-Shelves mit kapazitätsstarken HDDs meist die erste Option. Wenn Geschwindigkeit und I/O-Operationen wichtig sind, sind SFF-Shelves mit SSDs oder schnellen SAS-Laufwerken meist logischer; in manchen Fällen kommen auch spezielle All-Flash-Lösungen infrage. Shelves mit 48 oder 84 Laufwerken sollte man erst nach Prüfung von Stromversorgung, Kühlung, Rack-Anforderungen, Anschlusstopologie und Rebuild-Zeit des Arrays nach einem Festplattenausfall in Betracht ziehen.

Eine Festplattenablage wirkt wie eine einfache Möglichkeit, Storage zu erweitern: Gehäuse kaufen, Laufwerke einsetzen, an das Speichersystem anschließen — und neue Terabytes erhalten. In der Praxis ist es komplizierter. Ein Shelf fügt Laufwerksschächte hinzu, hebt aber die Grenzen von Controllern, Firmware, RAID-Gruppen, Ports, Kabeln, Stromversorgung und Kühlung nicht auf.

Der wichtigste Fehler bei der Storage-Erweiterung ist, nur die „rohe“ Kapazität zu zählen. Zum Beispiel ergeben 24 Laufwerke mit je 20 TB nur auf dem Papier 480 TB. Nach RAID, Spare-Laufwerken, Snapshots, Wachstumsreserve und technischem Puffer für Rebuilds kann die nutzbare Kapazität eher bei 300–330 TB liegen. Deshalb beginnt ein Plan zur Erweiterung eines Speichersystems immer mit Berechnungen und nicht mit einer Preisliste.

Our most popular storage systems

Neu
Auf Lager
Huawei OceanStor Dorado 3000 V6 D3V6-192G-NVMe
Storage Huawei Dorado 3000 V6
12x 3.84TB NVMe SSD / dual controllers / 8x 32Gb FC / 8x 10GbE / SmartDedupe license
Preis
46 312 €
38 274 €
+ 8 038 € MWS
Inklusive Versand innerhalb der EU
Kaufen
Generalüberholt
HPE 3PAR 8200 Storage
Storage HPE 3PAR StoreServ 8200 Storage (24SFF)
2 or 4 nodes with 2 FC 16Gb / s slots / noHDD (up to 24 HDD 2.5) / 2xPS 764w
Preis
5 074 €
4 193 €
+ 881 € MWS
Inklusive Versand innerhalb der EU
Kaufen
Generalüberholt
Nimble Storage HF40 21LFF+6SFF
Storage HPE Nimble Storage HF40 (21LFF + 6SFF)
2x Controller (2 built-in RJ-45 10G + ports up to 12 FC / iSCSI ports in each controller, configurable) / noHDD (up to 21 HDD 3.5" + 6 HDD 2.5") / 2xPS 3000w
Preis
44 520 €
36 793 €
+ 7 727 € MWS
Inklusive Versand innerhalb der EU
Kaufen
Generalüberholt
Dell PowerVault ME4012 SAS
Storage Dell PowerVault ME4012 HD SAS
2x Controller 8GB Cache (4x HD SAS 12Gb/s per controller) / noHDD (up to 12 hdd 3.5") / 1xPS 580w
Preis
7 978 €
6 593 €
+ 1 385 € MWS
Inklusive Versand innerhalb der EU
Kaufen

Was ist ein JBOD-Disk-Shelf?

JBOD (Just a Bunch of Disks) ist in diesem Kontext ein externes Disk-Shelf, in das Laufwerke eingesetzt werden. Das sollte nicht mit einer Non-RAID-Organisation des Zugriffs auf Laufwerke verwechselt werden. Ein JBOD-Shelf besitzt Laufwerksschächte, Netzteile, Lüfter, I/O-Module und Anschlussports. Allein ist ein solches Shelf jedoch kein vollwertiges Speichersystem.

Es verwaltet keine Volumes, erstellt keine vollständigen Storage-Pools, ist nicht für Snapshots, Caching, Replikation oder die Lastverteilung zwischen Servern verantwortlich. Diese Aufgaben übernimmt das Hauptspeichersystem oder ein Server mit einem passenden RAID-Controller.

Einfach gesagt:

  • das Speichersystem verwaltet die Daten;
  • JBOD fügt physische Laufwerksschächte hinzu;
  • der Controller bestimmt, wie und wie viele Shelves angeschlossen werden können;
  • Firmware und Kompatibilitätsliste bestimmen, welche Laufwerke und Shelves unterstützt werden;
  • die Anschlusstopologie bestimmt die Fehlertoleranz.

Zum Beispiel gibt die Dokumentation zu Dell PowerVault ME5 an, dass das System 2U12-, 2U24- und 5U84-Shelves unterstützt, aber auch Einschränkungen beim Mischen von Formaten und bei der maximalen Anzahl von Laufwerken hat. Solche Details müssen vor dem Kauf geprüft werden, nicht erst nach der Lieferung.

Wann JBOD die richtige Option ist

Ein Disk-Shelf ist gut geeignet, wenn das aktuelle Speichersystem noch nicht veraltet ist und noch Reserven bei Controllern, Ports und der unterstützten Anzahl von Laufwerken hat. In diesem Fall lässt sich die Erweiterung ohne den Kauf eines teuren neuen Speichersystems und ohne vollständige Datenmigration durchführen.

JBOD ist in der Regel sinnvoll, wenn:

  • tatsächlich Kapazität fehlt und keine neue Storage-Architektur benötigt wird;
  • das bestehende System zusätzliche Shelves unterstützt;
  • die Controller bei CPU, Arbeitsspeicher und Cache nicht überlastet sind;
  • freie Ports vorhanden sind oder eine zulässige SAS-Kette möglich ist;
  • kompatible Laufwerke, Kabel und Module verfügbar sind;
  • die Leistung des aktuellen Speichersystems für die Workloads ausreicht;
  • die Plattform noch nicht kurz vor dem Support-Ende steht.

Wenn ein Unternehmen beispielsweise Archive, Backups oder Videoaufzeichnungen speichert und das aktuelle Speichersystem die Last stabil bewältigt, kann ein zusätzliches LFF-Shelf eine sinnvolle Lösung sein. Im Servermall-Katalog können Sie den Bereich Storage-Systeme ansehen, um Gehäusetypen, Formfaktoren und unterstützte Konfigurationen zu vergleichen.

Wann es besser ist, ein altes Speichersystem nicht zu erweitern

Manchmal verschiebt der Kauf eines neuen Shelfs nur das eigentliche Problem. Wenn Controller bereits überlastet sind, Latenzen steigen und Anwender über langsame virtuelle Maschinen oder Datenbanken klagen, kann das Hinzufügen von HDDs die Kapazität erhöhen, löst aber nicht das Geschwindigkeitsproblem.

Ein neues Speichersystem sollte geprüft werden, wenn:

  • nicht nur Speicherplatz fehlt, sondern auch I/O-Operationen;
  • alte Controller an ihrer Grenze arbeiten;
  • ein Umstieg auf SSD, NVMe oder schnellere Schnittstellen erforderlich ist;
  • ein neues Fehlertoleranzschema benötigt wird;
  • die aktuelle Plattform die benötigten Shelves oder Laufwerke nicht unterstützt;
  • die Erweiterung fast so viel kostet wie ein moderneres System;
  • in den nächsten 1–2 Jahren ein mehrfaches Datenwachstum erwartet wird, das die aktuelle Plattform nicht bewältigen kann.

Es gibt einen einfachen Test: Wenn man nach dem Hinzufügen eines Shelfs sofort über den Austausch von Controllern, Netzwerk, Cache und Laufwerken nachdenken muss, ist das keine Erweiterung mehr, sondern nur ein temporärer Patch.

12, 24, 48 und 84 Laufwerke: was die Shelf-Größe bedeutet

Disk-Shelf-Formate für 12, 24, 48 und 84 Laufwerke

Die Anzahl der Laufwerke in einem Shelf beeinflusst nicht nur die Kapazität. Sie bestimmt Speicherdichte, Anforderungen an die Stromversorgung, Wartungsfreundlichkeit, Rebuild-Geschwindigkeit nach Ausfällen und die Gesamtbetriebskosten.

12 Laufwerke

Shelves mit 12 Laufwerken sind häufig im LFF-Format zu finden, also für große 3,5-Zoll-Laufwerke. Sie werden gewählt, wenn die Kapazität pro Laufwerk und niedrige Kosten pro Terabyte wichtig sind.

Ein solches Shelf eignet sich für:

  • Dateiarchive;
  • Backups;
  • Videoüberwachung;
  • kalte Daten;
  • kleine und mittelgroße Speicherumgebungen mit schrittweisem Wachstum.

Der Vorteil eines 12-Laufwerk-Shelfs ist, dass es einfacher zu warten und zu planen ist. Der Nachteil ist die begrenzte I/O-Dichte. Wenn große HDDs im Shelf stecken, ist die Kapazität hoch, aber die Geschwindigkeit beim zufälligen Zugriff bleibt durch die Laufwerke selbst begrenzt.

Ein Beispiel für dieses Format ist Dell PowerVault MD1400 12LFF.

24 Laufwerke

Shelves mit 24 Laufwerken nutzen meist das SFF-Format, also 2,5-Zoll-Laufwerke. Das können SSDs oder schnelle SAS-Laufwerke sein. In dasselbe 2U-Gehäuse passen mehr Laufwerke als in ein 12-Laufwerk-LFF-Shelf.

Das 24-Laufwerk-Format wird häufig gewählt für:

  • Virtualisierung;
  • Datenbanken;
  • Terminalserver;
  • gemischte Workloads;
  • Produktivsysteme, bei denen Latenz und I/O-Operationen wichtig sind.

Der Vorteil von SFF liegt in der Laufwerks- und Leistungsdichte. Die Kosten pro Terabyte können bei einer solchen Konfiguration jedoch höher sein, besonders wenn SSDs mit kapazitätsstarken LFF-HDDs verglichen werden.

Als Beispiele eignen sich Dell PowerVault ME4024 SAS 24SFF oder HPE MSA 2050 HD-SAS 24SFF.

48 Laufwerke

Lösungen mit 48 Laufwerken sind seltener und hängen stark von der konkreten Produktlinie des Herstellers ab. Sie sind eine Zwischenlösung zwischen klassischen 2U-Shelves und dichten 5U-Gehäusen mit 84 Laufwerken.

Sie werden in Betracht gezogen, wenn ein Unternehmen Folgendes benötigt:

  • mehr Kapazität im Rack;
  • weniger Gehäuse und Kabel;
  • eine einfachere Wartung als bei ultradichten Shelves;
  • keinen sofortigen Wechsel auf eine 84-Laufwerk-Architektur.

Vor dem Kauf muss nicht nur die Anzahl der Einbauplätze geprüft werden, sondern auch die unterstützte Anschlusstopologie. Nicht jedes Speichersystem erlaubt es, ein solches Shelf in eine bestehende Struktur einzubinden.

84 Laufwerke

Shelves mit 84 Laufwerken sind bereits dichte Lösungen für große Datenmengen. Meist handelt es sich um ein 5U-Gehäuse mit hoher Kapazität pro Rack. Dieses Format eignet sich für Archive, Backups, große Dateispeicher und andere Aufgaben, bei denen Hunderte von Terabytes oder Wachstum in Richtung Petabyte benötigt werden.

84 Laufwerke bedeuten aber nicht einfach „viel Platz“. Vorab müssen geprüft werden:

  • das Gewicht des Shelfs mit installierten Laufwerken;
  • Rack-Tiefe;
  • Anforderungen an Schienen;
  • Stromversorgung und PDU;
  • Wärmeabgabe;
  • Luftstrom;
  • Komfort beim Austausch von Laufwerken;
  • Controller-Grenzen;
  • Dual-Path-Anschlusstopologie.

Die Dokumentation zu Seagate Exos E 5U84 beschreibt ein 5U-Shelf mit 84 Laufwerken, redundanten Netzteilen, Lüftern, I/O-Modulen und zwei Pfaden zu den Laufwerken.

Shelf-Format Typische Laufwerke Stärken Einschränkungen Typische Aufgaben
12 LFF 3,5-Zoll-HDDs Niedrige Kosten pro TB, einfache Wartung Weniger Operationen, längere Rebuilds bei großen HDDs Archive, Backups, Video, Dateispeicher
24 SFF 2,5-Zoll-SSDs oder SAS-Laufwerke Mehr Operationen, niedrigere Latenz, Laufwerksdichte in 2U Höhere Kosten pro TB, geringere Kapazität pro Laufwerk Virtualisierung, Datenbanken, produktive Workloads
48 Laufwerke Abhängig von der Plattform Kompromiss zwischen Dichte und Wartbarkeit Unterstützung muss für das konkrete Speichersystem geprüft werden Große Dateispeicher, gemischte Aufgaben
84 Laufwerke Meist kapazitätsstarke HDDs Sehr hohe Kapazität pro Rack Gewicht, Strom, Kühlung, komplexe Wartung Archive, Backups, große Pools

SFF und LFF: wie man den Formfaktor auswählt

SFF ist ein kleiner Formfaktor, meist 2,5 Zoll. LFF ist ein großer Formfaktor, meist 3,5 Zoll. Der Unterschied beschränkt sich nicht nur auf die physische Größe.

LFF

LFF wird häufiger gewählt, wenn Kapazität wichtig ist. Im 3,5-Zoll-Format sind große HDDs mit Dutzenden Terabytes verfügbar. Das ist praktisch für Archive, Backups, Videoüberwachung und Dateiserver.

Vorteile von LFF:

  • höhere Kapazität pro HDD;
  • niedrigere Kosten pro Terabyte;
  • weniger Laufwerke für dieselbe Rohkapazität;
  • einfacher Aufbau großer Speichervolumen;
  • gut geeignet für sequenzielles Schreiben und Lesen.

Einschränkungen von LFF:

  • geringere I/O-Dichte;
  • Arrays aus großen HDDs brauchen nach einem Ausfall länger für den Rebuild;
  • bei wachsender Last kann die Leistung früher enden als die Kapazität;
  • nicht die beste Wahl für latenzempfindliche Datenbanken und virtuelle Maschinen.

SFF

SFF wird häufiger dort eingesetzt, wo Geschwindigkeit wichtig ist. Das 2,5-Zoll-Format eignet sich gut für SSDs und schnelle SAS-Laufwerke. In ein einzelnes 2U-Shelf passen mehr Laufwerke, dadurch steigt die I/O-Dichte.

Vorteile von SFF:

  • mehr Laufwerke im gleichen Rack-Volumen;
  • praktisches Format für SSDs;
  • höhere I/O-Dichte;
  • besser geeignet für Virtualisierung und Datenbanken;
  • einfachere Trennung von Workloads über mehrere Laufwerksgruppen.

Einschränkungen von SFF:

  • Kosten pro Terabyte sind oft höher;
  • die Kapazität eines einzelnen Laufwerks kann geringer sein, wenn es nicht um teure SSDs geht;
  • bei vielen Laufwerken wird die Planung von Pools komplexer;
  • nicht alle alten Speichersysteme unterstützen neue SSDs gleich gut.

Es ist nicht korrekt zu sagen, dass SFF immer schneller und LFF immer günstiger ist. Alles hängt vom Laufwerkstyp, der Schnittstelle, dem Controller, dem RAID-Schema und der Last ab. SFF mit langsamen Laufwerken wird nicht magisch schnell, während LFF mit der richtigen Architektur eine sehr gute Lösung für kapazitätsorientierte Aufgaben sein kann.

Wie man die Storage-Kapazität vor der Erweiterung berechnet

Berechnung der nutzbaren Storage-Kapazität vor der Erweiterung

Die Berechnung sollte nicht von der schönen Zahl in der Spezifikation ausgehen, sondern davon, wie viel Platz tatsächlich für Daten übrig bleibt.

Rohkapazität

Rohkapazität ist die Anzahl der Laufwerke multipliziert mit der Kapazität eines Laufwerks.

Beispiel:

24 Laufwerke × 20 TB = 480 TB Rohkapazität.

Diese Zahl ist nur ein Ausgangspunkt. Sie darf nicht als endgültige nutzbare Kapazität betrachtet werden.

Datenschutz

Danach muss die Kapazität abgezogen werden, die für RAID oder ein anderes Schutzschema verwendet wird.

Vereinfacht gesagt:

  • RAID 5 verbraucht die Kapazität eines Laufwerks in der Gruppe;
  • RAID 6 verbraucht die Kapazität von zwei Laufwerken in der Gruppe;
  • RAID 10 lässt ungefähr die Hälfte der Rohkapazität übrig;
  • RAID 60 teilt Laufwerke in RAID-6-Gruppen auf und kombiniert sie;
  • verteilte Schutzschemata werden nach den Regeln des konkreten Speichersystems berechnet.

Bei Dell PowerVault ME5 gibt es beispielsweise neben klassischen RAID-Leveln ADAPT — ein Schutzschema mit integrierter Reservekapazität und vereinfachter Erweiterung großer Pools.

Spare-Laufwerk oder verteilte Reserve

In einem klassischen Schema kann ein Teil der Kapazität für ein separates Spare-Laufwerk oder sogar mehrere Spare-Laufwerke reserviert werden. Es speichert keine Produktivdaten, sondern wartet auf den Ausfall eines Laufwerks.

In moderneren Schemata kann die Reserve über alle Laufwerke verteilt werden. Das ist für Administratoren bequemer, aber das Berechnungsprinzip bleibt dasselbe: Diese Kapazität darf nicht als für Nutzerdaten verfügbar gezählt werden.

Snapshots

Snapshots helfen, Daten schnell auf einen früheren Zustand zurückzusetzen, verbrauchen aber Platz. Je häufiger sich Daten ändern und je länger Snapshots aufbewahrt werden, desto mehr Kapazität muss reserviert werden.

Orientierungswerte:

  • 10–20 % bei moderater Nutzung;
  • mehr als 20 %, wenn Snapshots häufig sind und lange aufbewahrt werden;
  • eine separate Berechnung für Datenbanken, Virtualisierung und aktive Dateifreigaben.

Wachstumsreserve

Ein Speichersystem sollte nicht dauerhaft mit 95–100 % Füllstand betrieben werden. Es benötigt Puffer für neue Daten, Balancing, Wartung, temporäre Vorgänge und Rebuilds nach Ausfällen.

Für die Planung sollte ein Arbeitsfüllstand im Voraus festgelegt werden. Ein Unternehmen kann beispielsweise 75–80 % als Punkt definieren, ab dem die nächste Erweiterungsstufe beginnt. Der konkrete Schwellenwert hängt von Plattform und Workload ab, aber die Logik sollte vorher festgelegt werden.

Technische Reserve für Rebuilds

Wenn ein Laufwerk ausfällt, baut das System die Daten wieder auf. Dieser Prozess belastet die verbleibenden Laufwerke und kann lange dauern, besonders bei großen HDDs. Wenn der Pool fast voll ist, werden Rebuild und Balancing noch riskanter.

Die Planungsformel sieht so aus:

Geplante Datenkapazität = Rohkapazität − RAID-Schutz − Spare-Laufwerk oder verteilte Reserve − Snapshot-Reserve − Wachstumsreserve − technische Reserve für Rebuilds.

Beispiel für 24 Laufwerke mit je 20 TB:

  • Rohkapazität: 480 TB;
  • RAID 6 in einer Gruppe: etwa 440 TB vor zusätzlichen Reserven;
  • separates Spare-Laufwerk: minus 20 TB, falls es verwendet wird;
  • 15 % Snapshot-Reserve: minus etwa 63 TB;
  • 15 % Reserve für Wachstum und Wartung: minus etwa 54 TB;
  • geplante Datenkapazität: etwa 300–330 TB.

Das ist keine universelle Zahl, sondern ein Berechnungsmodell. In einem realen Speichersystem hängt das Ergebnis von Gruppengröße, Dateisystem, Servicedaten, Darstellung von Terabytes, Thin Provisioning und den Besonderheiten der jeweiligen Plattform ab.

Wie sich die nutzbare Kapazität in verschiedenen Schemata ändert

Das folgende Beispiel nutzt identische Laufwerke mit 20 TB. Die Zahlen sind gerundet und dienen dem Verständnis der Logik, nicht der exakten Planung eines konkreten Speichersystems.

Konfiguration Rohkapazität Datenschutz Kapazität vor Snapshots und Reserven Was zusätzlich zu berücksichtigen ist Wo es passt
12 × 20 TB 240 TB RAID 6 etwa 200 TB Spare-Laufwerk, Snapshots, Wachstum, Rebuilds Archiv, Backups, Dateien
24 × 20 TB 480 TB RAID 6 etwa 440 TB eine große Gruppe ist nicht immer sinnvoll großer Dateispeicher
24 × 20 TB 480 TB RAID 10 etwa 240 TB mehr Kapazitätsverlust, aber höhere Leistung und einfachere Struktur Virtualisierung, Datenbanken
84 × 20 TB 1680 TB mehrere RAID-6/60-Gruppen oder ein verteiltes Schema abhängig von der Aufteilung darf nicht als eine riesige Gruppe betrachtet werden große Archive, Backups, große Pools

Ein 84-Laufwerk-Shelf sollte nicht als eine gigantische RAID-Gruppe betrachtet werden. In der Praxis werden solche Konfigurationen in mehrere Gruppen oder Pools aufgeteilt, oder es werden verteilte Schutzschemata genutzt, wenn das System sie unterstützt. Das senkt Risiken und macht Rebuilds besser beherrschbar.

Storage systems

Generalüberholt
Auf Lager
Seagate Exos X 2U12 12LFF
Storage Seagate Exos X 2U12
12х HDD 20TB 7K SAS, Dual Controller, Base-T 10Gb,2x580W, Bezel.
Preis
27 557 €
22 774 €
+ 4 783 € MWS
Inklusive Versand innerhalb der EU
Kaufen
Generalüberholt
HPE 3PAR StoreServ 8440 Storage
Storage HPE 3PAR StoreServ 8400 Storage (48SFF)
2 or 4 nodes with 2 FC 16Gb / s slots / noHDD (up to 48 HDD 2.5) / 2xPS 764w
Preis
6 889 €
5 693 €
+ 1 196 € MWS
Inklusive Versand innerhalb der EU
Kaufen
Generalüberholt
Dell PowerVault ME4012 SAS
Storage Dell PowerVault ME4012 HD SAS
2x Controller 8GB Cache (4x HD SAS 12Gb/s per controller) / noHDD (up to 12 hdd 3.5") / 1xPS 580w
Preis
7 978 €
6 593 €
+ 1 385 € MWS
Inklusive Versand innerhalb der EU
Kaufen
Generalüberholt
Dell PowerVault MD3600i
Storage Dell PowerVault MD3600i
2x Storage Controller / noHDD (up to 12 HDD 3.5") / 2xPS 600w
Preis
2 049 €
1 693 €
+ 356 € MWS
Inklusive Versand innerhalb der EU
Kaufen

Warum zusätzliche Terabytes ein Speichersystem nicht immer beschleunigen

Kapazität und Leistung wachsen auf unterschiedliche Weise. HDDs liefern viel Platz, sind aber bei I/O-Operationen begrenzt. SSDs liefern hohe Geschwindigkeit, kosten aber mehr pro Terabyte. Deshalb muss eine Storage-Erweiterung zwei verschiedene Fragen beantworten:

  1. Wie viele Daten müssen gespeichert werden?
  2. Wie schnell müssen diese Daten gelesen und geschrieben werden?

Wenn ein LFF-Shelf mit großen HDDs zu einem System hinzugefügt wird, dem bereits I/O-Leistung für virtuelle Maschinen fehlt, bemerken Anwender möglicherweise keine Verbesserung. Es gibt mehr Platz, aber die Latenz bleibt. Während eines Rebuilds nach einem Festplattenausfall kann die Leistung sogar sinken.

Vor der Erweiterung muss geprüft werden:

  • was aktuell der Engpass ist: Kapazität, Operationen, Latenz, Netzwerk oder Controller;
  • welche Workloads am schnellsten wachsen;
  • wie viele Operationen jetzt und in einem Jahr benötigt werden;
  • ob Datenbanken eigene Anforderungen haben;
  • ob Archivdaten und leistungsrelevante Daten in einem Pool gemischt sind;
  • ob die Bandbreite der Ports ausreicht;
  • ob Cache und CPU-Ressourcen der Controller Reserven haben;
  • wie sich das System während eines Array-Rebuilds verhält.

Wenn Kapazität benötigt wird, können LFF-HDDs eine gute Wahl sein. Wenn Geschwindigkeit benötigt wird, sind SFF-SSDs oder schnelle SAS-Laufwerke bessere Kandidaten. Wenn sowohl Kapazität als auch Geschwindigkeit nötig sind, ist es oft sinnvoller, Storage-Tiers zu trennen, statt alles mit einem Shelf lösen zu wollen.

Wichtige Optionen zur Storage-Erweiterung

Laufwerke in das bestehende Shelf hinzufügen

Das ist die einfachste Option, wenn im aktuellen Shelf noch freie Schächte vorhanden sind.

Sie eignet sich, wenn:

  • das Speichersystem zusätzliche Laufwerke unterstützt;
  • kompatible Laufwerke verfügbar sind;
  • der aktuelle Pool erweitert werden kann;
  • der Controller nicht überlastet ist;
  • Reserven bei Stromversorgung und Kühlung bereits im Gehäuse vorhanden sind.

Risiken:

  • neue Laufwerke können sich bei Kapazität und Geschwindigkeit unterscheiden;
  • ein Teil der Kapazität kann ungenutzt bleiben, wenn Laufwerke in eine Gruppe mit kleineren Laufwerken aufgenommen werden;
  • die Pool-Erweiterung kann viel Zeit benötigen;
  • die Last während des Balancings kann Nutzer beeinträchtigen.

Diese Option eignet sich für moderates Wachstum, aber schlecht, wenn nur wenige freie Schächte vorhanden sind und der Kapazitätsbedarf groß ist.

Ein neues Disk-Shelf hinzufügen

Dies ist das Hauptszenario, wenn die aktuellen Einschübe bereits voll sind. Ein neues Shelf wird über unterstützte Schnittstellen an das bestehende Speichersystem oder den Server angeschlossen und fügt neue Laufwerksschächte hinzu.

Vor dem Kauf müssen geprüft werden:

  • maximale Anzahl unterstützter Shelves;
  • maximale Anzahl von Laufwerken;
  • Kompatibilität von SFF und LFF;
  • Unterstützung konkreter HDDs und SSDs;
  • benötigte Kabel;
  • freie Ports;
  • Regeln für Dual-Path-Anschluss;
  • Firmware-Anforderungen;
  • Unterstützung durch die aktuelle Softwareversion.

HPE MSA hat beispielsweise separate 12-Laufwerk-LFF- und 24-Laufwerk-SFF-Shelves, wobei konkrete Grenzen von Generation und Modell des Systems abhängen: HPE MSA Storage.

Dell Storage MD1400 12-Laufwerk-LFF-Shelf

Dell Storage MD1400 ist ein Beispiel für ein 12-Laufwerk-LFF-Shelf.

Bildquelle: ServerMall

Laufwerke durch größere ersetzen

Dieser Weg wird gewählt, wenn keine freien Schächte vorhanden sind und ein weiteres Shelf nicht möglich oder unwirtschaftlich ist. Zum Beispiel können Laufwerke mit 8 TB schrittweise durch Laufwerke mit 18–20 TB ersetzt werden.

Das Problem ist, dass dieses Szenario nicht immer schnell Ergebnisse liefert. In einigen Systemen wird zusätzliche Kapazität erst verfügbar, nachdem alle Laufwerke in einer Gruppe ersetzt wurden. Außerdem löst jeder Austausch einen Rebuild oder eine Datenrekonstruktion aus, was Last und Risiko erzeugt.

Der Austausch von Laufwerken sollte geplant werden, wenn:

  • der Controller noch aktuell ist;
  • tatsächlich Terabytes benötigt werden und kein Leistungswachstum;
  • ein Wartungsfenster vorhanden ist;
  • ein aktuelles Backup existiert;
  • der Hersteller solche Laufwerke in diesem System unterstützt;
  • Reihenfolge von Austausch und Erweiterung im Voraus klar sind.

Ein neues Speichersystem installieren und Daten migrieren

Manchmal ist ein neues Speichersystem wirtschaftlicher als die Erweiterung eines alten. Das gilt besonders, wenn die alte Plattform Laufwerke, Ports, Geschwindigkeit, SSD-Unterstützung oder moderne Datenschutzfunktionen begrenzt.

Eine Migration ist sinnvoll, wenn:

  • das aktuelle Speichersystem kurz vor dem Ende des Herstellersupports steht;
  • Controller zum Engpass geworden sind;
  • ein anderes Leistungsniveau erforderlich ist;
  • eine neue Storage-Architektur benötigt wird;
  • der Wachstumsplan die Möglichkeiten der alten Plattform übersteigt;
  • die Kosten der Erweiterung zu nah an den Kosten eines Upgrades liegen.

In diesem Fall löst ein Disk-Shelf das systemische Problem nicht. Es fügt nur Kapazität zu einer Architektur hinzu, die nicht mehr zur Last passt.

SAS-Ketten, zwei Pfade und Controller-Grenzen

SAS-Kette und Dual-Path-Anschluss von Disk-Shelves

Disk-Shelves werden nicht wie eine Haushaltsverlängerung angeschlossen. Jedes Speichersystem hat eine unterstützte Anschlusstopologie. Wichtig ist alles: Reihenfolge der Shelves, Kabel, Ports, I/O-Module, Firmware-Versionen und das Vorhandensein von zwei Pfaden zu den Laufwerken.

Zwei Pfade sind erforderlich, damit das System bei Ausfall eines Kabels, Ports oder Moduls den Zugriff auf die Laufwerke nicht verliert. Wenn ein Shelf nur über einen Pfad angeschlossen ist, kann der Ausfall einer Komponente kritisch werden.

Vor dem Kauf müssen geprüft werden:

  • Modell des Basisspeichersystems;
  • Controller-Generation;
  • Firmware-Version;
  • Liste unterstützter Shelves;
  • maximale Anzahl von Laufwerken;
  • maximale Kapazität;
  • kompatible HDDs und SSDs;
  • Regeln für das Mischen von SFF und LFF;
  • benötigte Kabel;
  • freie Ports;
  • Multipath-Unterstützung auf Servern;
  • Anforderungen an Firmware-Updates vor der Erweiterung.

Man sollte sich nicht auf eine allgemeine Aussage wie „dieses Shelf ist mit dieser Produktlinie kompatibel“ verlassen. Entscheidend sind Ihr genaues Modell, Ihre Controller-Version, Ihre Firmware und Ihre Anschlusstopologie.

Können unterschiedliche Laufwerke und Shelves gemischt werden?

Mischen ist nicht immer und nicht in jeder Form möglich. Selbst wenn das System die Laufwerke physisch sieht, bedeutet das nicht, dass die Konfiguration für den Produktivbetrieb korrekt ist.

Normalerweise muss separat geprüft werden, ob das System Folgendes erlaubt:

  • Laufwerke unterschiedlicher Kapazität;
  • SSD und HDD;
  • schnelle SAS-Laufwerke und kapazitätsstarke Nearline-SAS-Laufwerke;
  • SFF- und LFF-Shelves;
  • alte und neue Shelf-Generationen;
  • verschiedene SSD-Klassen;
  • verschiedene Drehzahlen von HDDs.

Was schiefgehen kann:

  • eine RAID-Gruppe wird durch das kleinste Laufwerk begrenzt;
  • schnelle SSDs entfalten ihr Potenzial nicht in einem Pool mit langsamen HDDs;
  • das System kann bestimmte Kombinationen verbieten;
  • die Leistung kann unvorhersehbar werden;
  • die Laufwerksfirmware kann nicht unterstützt sein;
  • die Wartung wird schwieriger;
  • ein Rebuild nach einem Ausfall dauert länger als erwartet.

Für kritische Daten ist es besser, Laufwerke nach Typ, Kapazität, Geschwindigkeit und Generation zu gruppieren. Mischen ist akzeptabel, wenn es in der Dokumentation vorgesehen und im Projekt eingeplant ist — nicht, wenn es zufällig entsteht, weil „gekauft wurde, was verfügbar war“.

Risiken bei der Storage-Erweiterung

Risiken der Storage-Erweiterung: Rack, Stromversorgung und Kühlung

Zu große RAID-Gruppen

Eine große RAID-Gruppe wirkt attraktiv: weniger Kapazitätsverlust und ein größeres Gesamtvolumen. Aber mit der Anzahl der Laufwerke steigt auch das Risiko. Je größer die Gruppe ist, desto höher ist die Wahrscheinlichkeit, dass während eines Rebuilds ein weiteres Problem auftritt.

Besondere Vorsicht ist bei großen HDDs nötig. Ein Laufwerk mit 18–24 TB kann lange für den Rebuild benötigen, und in dieser gesamten Zeit arbeitet das Array unter zusätzlicher Last. Wenn das Array nur den Ausfall eines Laufwerks toleriert, kann der Ausfall eines zweiten Laufwerks das Array beschädigen und zu Datenverlust führen.

Langer Rebuild nach einem Ausfall

Während des Rebuilds liest das System die verbleibenden Laufwerke und schreibt rekonstruierte Daten. Das beeinflusst die Leistung und erhöht die Hardwarelast. Wenn ein zweites Laufwerk im falschen Moment ausfällt, hängen die Folgen vom gewählten Schutzschema ab.

Für kapazitätsstarke HDDs sind RAID 6, RAID 60 oder verteilte Schemata oft sinnvoller, sofern das Speichersystem sie unterstützt. Die konkrete Entscheidung hängt jedoch von Workload, Anzahl der Laufwerke und Verfügbarkeitsanforderungen ab.

Zu wenige I/O-Operationen

Das ist ein häufiger Fehler: Ein Unternehmen kauft ein Shelf mit großen HDDs, erhält viele Terabytes und wundert sich dann, warum virtuelle Maschinen nicht schneller geworden sind. HDDs sind gut für Kapazität, aber ihre Zahl an Operationen ist begrenzt.

Wenn die Last latenzempfindlich ist, müssen nicht nur Terabytes berechnet werden, sondern auch I/O-Operationen, Lese-/Schreibprofil und Spitzenzeiten.

Überfüllte Pools

Ein voll belegtes Speichersystem kommt schlechter mit Wartung, Rebuilds und Datenwachstum zurecht. Der Betrieb darf nicht so geplant werden, dass die nutzbare Kapazität fast vollständig verbraucht ist.

Platz muss im Voraus reserviert werden für:

  • Snapshots;
  • temporäre Vorgänge;
  • Datenwachstum;
  • Rebuilds;
  • Balancing;
  • Servicedaten des Systems.

Stromversorgung und Kühlung

Ein dichtes Disk-Shelf kann die Rack-Last deutlich erhöhen. Das ist besonders bei 84-Laufwerk-Gehäusen mit mechanischen Laufwerken sichtbar. Zu prüfen sind nicht nur freie Höheneinheiten, sondern auch Stromversorgung, PDU, Wärmelast, Luftstrom und vorhandene Blindblenden.

Wenn ein Gehäuse für ein bestimmtes Luftstrommuster ausgelegt ist, können entfernte Blindblenden oder falsche Kabelführung die Kühlung verschlechtern.

Gewicht und Wartung

Ultradichte Shelves sind schwer. Sie dürfen nicht in ein Rack eingebaut werden, ohne Schienen, Tiefe, zulässige Last und Servicezugang zu prüfen. Die Wartung schwerer Shelves, die hoch im Rack installiert sind, kann unbequem und gefährlich sein.

Vor der Installation muss klar sein:

  • wie viel das Gehäuse mit installierten Laufwerken wiegt;
  • ob das Rack diese Last trägt;
  • ob genug Platz zum Herausziehen von Trays vorhanden ist;
  • ob Laufwerke bequem gewechselt werden können;
  • ob Kabel die Wartung behindern.

Kompatibilität

Ungeeignete Kabel, nicht unterstützte Laufwerke, unterschiedliche Firmware-Versionen und eine falsche Anschlusstopologie können die Erweiterung scheitern lassen. Deshalb muss vor dem Kauf eine Kompatibilitätsliste erstellt werden, statt sich auf die äußere Ähnlichkeit von Shelves zu verlassen.

Kapazitätswachstumsplan für 1–3 Jahre

Storage-Erweiterung sollte nicht für den heutigen Platzmangel geplant werden, sondern für das prognostizierte Wachstum. Sonst kehrt dasselbe Problem nach wenigen Monaten zurück.

Aktuellen Ausgangspunkt festhalten

Zunächst müssen Ausgangsdaten gesammelt werden:

  • aktuelle Rohkapazität;
  • nutzbare Kapazität;
  • tatsächlich belegter Speicherplatz;
  • durchschnittliches monatliches Datenwachstum;
  • Spitzenphasen des Wachstums;
  • aktuelle Latenzen und I/O-Operationen;
  • Anzahl freier Schächte;
  • aktuelle RAID-Gruppen und Pools;
  • Alter der Laufwerke;
  • Supportzeitraum der Hardware.

Wenn diese Daten fehlen, basiert das Erweiterungsprojekt auf Annahmen.

Wachstum berechnen

Grundformel:

Benötigte Kapazität nach N Monaten = aktuelle Daten + durchschnittliches monatliches Wachstum × N + Reserve für Projekte und Spitzen.

Beispiel: Aktuell werden 180 TB Daten gespeichert, das Wachstum beträgt 6 TB pro Monat, der Planungshorizont liegt bei 24 Monaten.

180 TB + 6 TB × 24 = 324 TB.

Das sind nur die Daten. RAID, Spare-Laufwerke, Snapshots, Wachstumsreserve und technischer Speicherplatz müssen noch hinzugerechnet werden.

Arbeitsschwelle festlegen

Man sollte nicht warten, bis das Speichersystem vollständig gefüllt ist. Besser ist es, im Voraus einen Schwellenwert festzulegen, ab dem die nächste Erweiterungsstufe startet. Für ein System können das 75 % sein, für ein anderes 80 % oder ein anderer Wert, abhängig von Herstellerempfehlungen und Workload.

Wichtig ist, dass der Schwellenwert im Voraus klar ist. Dann wird Erweiterung zu einer geplanten Aufgabe und nicht zu einer Notfallbeschaffung.

Kapazität und Leistung abgleichen

Nach der Berechnung der benötigten Terabytes muss geprüft werden, ob die Leistung ausreicht.

Prüffragen:

  • welche Daten am schnellsten wachsen;
  • wie viele Operationen jetzt benötigt werden;
  • welche Workloads in einem Jahr hinzukommen;
  • ob SSDs für heiße Daten benötigt werden;
  • ob das Archiv in einen separaten Pool verschoben werden kann;
  • ob das Netzwerk zum Engpass wird;
  • ob die Controller neue Shelves bewältigen.

Szenario auswählen

Nach den Berechnungen werden die Optionen verglichen:

  • zusätzliche Laufwerke kaufen;
  • ein Shelf hinzufügen;
  • Laufwerke durch größere ersetzen;
  • leistungsrelevante und Archivdaten trennen;
  • ein neues Speichersystem installieren;
  • Backups oder Archiv in ein separates System auslagern.

Manchmal wird der günstigste Kauf im Betrieb am teuersten. Ein kapazitätsstarkes HDD-Shelf kann beispielsweise für ein Archiv wirtschaftlich sein, aber für eine Datenbank ungeeignet. Ein SSD-Shelf kann für kalte Backups überdimensioniert sein.

Beispiele für die Auswahl nach Aufgaben

Dateiarchiv

Für ein Dateiarchiv sind meist Kapazität, Kosten pro Terabyte und berechenbare Speicherung wichtig. LFF-HDDs und Shelves mit 12 oder mehr Laufwerken passen hier gut.

Wichtig ist:

  • keine zu großen Gruppen ohne Schutz erstellen;
  • Rebuild-Zeit berechnen;
  • Platz für Wachstum einplanen;
  • Archive nicht mit leistungsrelevanten Datenbanken mischen;
  • Backup vorsehen.

Backups

Bei Backups ist Kapazität oft wichtiger als Latenz. Aber Backup-Fenster müssen berücksichtigt werden: Wenn Daten nicht über Nacht geschrieben werden können, ist das Problem nicht mehr nur die Kapazität.

Geprüft werden müssen:

  • Geschwindigkeit beim sequenziellen Schreiben;
  • Netzwerk zwischen Servern und Storage;
  • Deduplizierung, falls sie verwendet wird;
  • Wachstum täglicher Änderungen;
  • Aufbewahrungszeitraum der Kopien;
  • Platz für temporäre Vorgänge.

Virtualisierung

Bei Virtualisierung reichen Terabytes allein nicht aus. Virtuelle Maschinen können viele zufällige Operationen erzeugen, besonders morgens, während Updates, Backups und Antivirus-Prüfungen.

Für solche Aufgaben ist SFF mit SSDs oder schnellen SAS-Laufwerken meist besser geeignet. Wenn viel Kapazität benötigt wird, sollte sie besser vom Performance-Tier getrennt werden.

Datenbanken

Datenbanken sind latenzempfindlich. Große HDDs können viel Platz liefern, aber nicht die benötigte Geschwindigkeit. Wichtig sind SSDs, das richtige RAID-Schema, getrennte Pools und die Berechnung von I/O-Spitzen.

Für Datenbanken ist es besonders riskant, langsame und schnelle Laufwerke in einem Pool zu mischen, ohne die Folgen zu verstehen.

Videoüberwachung

Videoüberwachung erzeugt häufig sequenzielle Schreibvorgänge und benötigt große Speichervolumen. LFF-HDDs können hier eine gute Option sein. Berechnet werden müssen aber nicht nur die Anzahl der Kameras, sondern auch Bitrate, Archivtiefe, Schreibspitzen und das Verhalten des Systems während eines Rebuilds nach einem Laufwerksausfall.

Großes Archiv auf 84 Laufwerken

Ein 84-Laufwerk-Shelf eignet sich für sehr große Volumen, erfordert aber technische Vorbereitung. Rack, Stromversorgung, Kühlung, Gewicht, Anschlusstopologie und Schutzgruppen müssen im Voraus berechnet werden.

Ein solches Shelf darf nicht wie ein gewöhnliches 2U-Gehäuse betrachtet werden, nur größer. Es ist ein dichter Storage-Knoten, der die gesamte Rack-Infrastruktur beeinflusst.

Checkliste vor dem Kauf eines Disk-Shelfs

Kompatibilität

  • Modell des aktuellen Speichersystems;
  • Controller-Generation;
  • Firmware-Version;
  • unterstützte Shelves;
  • unterstützte Laufwerke;
  • Regeln für das Mischen von SFF und LFF;
  • Unterstützung konkreter HDDs und SSDs;
  • Grenzen bei Anzahl von Shelves und Laufwerken.

Kapazität

  • Rohkapazität;
  • nutzbare Kapazität nach RAID;
  • Spare-Laufwerk oder verteilte Reserve;
  • Snapshot-Reserve;
  • Wachstumsreserve;
  • technischer Speicherplatz für Rebuilds;
  • Gesamtkapazitätsgrenze des Systems.

Leistung

  • aktuelle Latenzen;
  • aktuelle I/O-Operationen;
  • Lese- und Schreibprofil;
  • Spitzenzeiten;
  • Workload-Typen;
  • Controller-Reserven;
  • Port-Bandbreite;
  • Auswirkung von Rebuilds auf Nutzer.

Anschluss

  • freie Ports;
  • benötigte Kabel;
  • Dual-Path-Unterstützung;
  • korrekte SAS-Kette;
  • Reihenfolge der Shelf-Anbindung;
  • Kompatibilität der I/O-Module;
  • Multipath-Unterstützung auf Servern.

Physische Infrastruktur

  • freie Höheneinheiten im Rack;
  • Rack-Tiefe;
  • zulässiges Gewicht;
  • Schienen;
  • Stromversorgung;
  • PDU;
  • Kühlung;
  • Platz für Wartung;
  • Kabelführung.

Betrieb

  • Backup vor Beginn der Arbeiten;
  • Wartungsfenster;
  • Rollback-Plan;
  • Reihenfolge der Firmware-Updates;
  • Monitoring des Rebuilds;
  • Prüfung von Ereignissen nach dem Anschluss;
  • Aktualisierung der Infrastrukturdokumentation.

Häufige Fehler bei der Storage-Erweiterung

  1. Nur Rohkapazität zählen und RAID, Reserve, Snapshots und Wachstum vergessen.
  2. Ein Shelf kaufen, ohne Controller-Grenzen zu prüfen.
  3. Unterschiedliche Laufwerke mischen, ohne die Auswirkungen auf Kapazität und Geschwindigkeit zu verstehen.
  4. Kapazitätsstarke HDDs in einen Performance-Pool einbauen und Beschleunigung erwarten.
  5. Zu große RAID-Gruppen erstellen.
  6. Rebuild-Zeit nach einem Ausfall ignorieren.
  7. Ein Shelf über nur einen Pfad anschließen, obwohl das System zwei unterstützt.
  8. Firmware vor dem Kauf nicht prüfen.
  9. Stromversorgung, Kühlung und Gewicht vergessen.
  10. Ein altes Speichersystem erweitern, obwohl es bereits ersetzt werden sollte.

Fazit

Storage-Erweiterung ist nicht der Kauf „noch einer Box mit Festplatten“, sondern eine Berechnung von Kapazität, Leistung, Fehlertoleranz und physischer Infrastruktur. Zuerst muss klar sein, wie viel nutzbarer Speicherplatz in den nächsten 1–3 Jahren tatsächlich benötigt wird, wie viel durch RAID, Spare-Laufwerke, Snapshots und Rebuilds verbraucht wird, und erst danach sollte ein Shelf mit 12, 24, 48 oder 84 Laufwerken ausgewählt werden.

Für Archive, Backups und große Dateispeicher eignen sich häufig LFF-Shelves mit kapazitätsstarken HDDs. Für Virtualisierung, Datenbanken und produktive Workloads sind SFF-Shelves mit SSDs oder schnellen SAS-Laufwerken bessere Kandidaten. Bei dichten 84-Laufwerk-Lösungen müssen Rack, Gewicht, Stromversorgung, Kühlung, Anschlusstopologie und Controller-Grenzen separat geprüft werden.

Ein guter Erweiterungsplan beantwortet nicht nur die Frage „wie viele Terabytes sollen gekauft werden“, sondern die wichtigere Frage: ob das Speichersystem diese Daten in den kommenden Jahren sicher, vorhersehbar und ohne Leistungsverlust bedienen kann.


Kommentare
(0)
Keine Kommentare
Kommentar schreiben
Ich stimme der Verarbeitung meiner personenbezogenen Daten zu

Inhaltsverzeichnis:

Generalüberholt
Auf Lager
Seagate Exos X 2U12 12LFF
Storage Seagate Exos X 2U12
12х HDD 20TB 7K SAS, Dual Controller, Base-T 10Gb,2x580W, Bezel.
Preis
27 557 €
22 774 €
+ 4 783 € MWS
Inklusive Versand innerhalb der EU
Kaufen
Generalüberholt
HPE 3PAR StoreServ 8440 Storage
Storage HPE 3PAR StoreServ 8400 Storage (48SFF)
2 or 4 nodes with 2 FC 16Gb / s slots / noHDD (up to 48 HDD 2.5) / 2xPS 764w
Preis
6 889 €
5 693 €
+ 1 196 € MWS
Inklusive Versand innerhalb der EU
Kaufen
Generalüberholt
HPE 3PAR 8200 Storage
Storage HPE 3PAR StoreServ 8200 Storage (24SFF)
2 or 4 nodes with 2 FC 16Gb / s slots / noHDD (up to 24 HDD 2.5) / 2xPS 764w
Preis
5 074 €
4 193 €
+ 881 € MWS
Inklusive Versand innerhalb der EU
Kaufen
Generalüberholt
Nimble Storage HF40 21LFF+6SFF
Storage HPE Nimble Storage HF40 (21LFF + 6SFF)
2x Controller (2 built-in RJ-45 10G + ports up to 12 FC / iSCSI ports in each controller, configurable) / noHDD (up to 21 HDD 3.5" + 6 HDD 2.5") / 2xPS 3000w
Preis
44 520 €
36 793 €
+ 7 727 € MWS
Inklusive Versand innerhalb der EU
Kaufen
Generalüberholt
Dell PowerVault ME4012 SAS
Storage Dell PowerVault ME4012 HD SAS
2x Controller 8GB Cache (4x HD SAS 12Gb/s per controller) / noHDD (up to 12 hdd 3.5") / 1xPS 580w
Preis
7 978 €
6 593 €
+ 1 385 € MWS
Inklusive Versand innerhalb der EU
Kaufen
Generalüberholt
Dell PowerVault MD3600i
Storage Dell PowerVault MD3600i
2x Storage Controller / noHDD (up to 12 HDD 3.5") / 2xPS 600w
Preis
2 049 €
1 693 €
+ 356 € MWS
Inklusive Versand innerhalb der EU
Kaufen

NÄCHSTER ARTIKEL

Erfahren Sie als Erster von neuen Beiträgen und verdienen Sie 50 €.