- Ceph unterbietet klassische SAN-Systeme deutlich: Ein NetApp-System für 100 TB kostet schnell 200.000 €, dieselbe Kapazität mit Ceph auf Standard-Servern nur etwa 30.000 bis 50.000 € in Hardware.
- Ceph braucht mindestens drei Nodes: Erst ab drei Nodes stehen genug Monitore für Quorum und genug Kopien für dreifache Replikation zur Verfügung, darunter wird der Cluster zum Einzelfehlerpunkt.
- Proxmox integriert Ceph nativ: Ein typisches Setup nutzt 3 Proxmox-Nodes und ein dediziertes 10- oder 25-GbE-Netz für Ceph-Traffic.
- Die 85-Prozent-Grenze ist hart: Ceph braucht bei laufendem Betrieb freien Platz für Rebalancing, deshalb sollte die Belegung maximal 85 % erreichen, sonst drohen Performance-Probleme.
- Mittlere Ceph-Cluster mit 5 bis 8 Nodes brauchen dedizierte MON/MGR-Rollen, NVMe-Disks für WAL/DB und ein 25-GbE-Netz für produktiven Storage gemischter Workloads.
Traditionelle SAN-Systeme von NetApp, EMC oder HPE kosten schnell sechsstellige Beträge - und das ohne die jährlichen Wartungskosten. Ceph bietet die gleiche Funktionalität auf Commodity-Hardware, ist vollständig Open Source und läuft auf jedem Linux-System.
/01Was ist Ceph?
Ceph ist ein verteiltes Storage-System, das auf dem RADOS-Algorithmus (Reliable Autonomic Distributed Object Store) basiert. Es wurde ursprünglich als Forschungsprojekt entwickelt und ist heute eines der am weitesten verbreiteten Open-Source-Storage-Systeme - genutzt von Unternehmen wie CERN, Bloomberg und Deutsche Telekom.
Das Besondere an Ceph: Es bietet alle drei Storage-Typen in einem System:
- Block Storage (RBD): Für virtuelle Maschinen und Container - direkt vergleichbar mit klassischen SAN-LUNs
- Object Storage (RGW): S3-kompatibel für Cloud-native Anwendungen und Backups
- File Storage (CephFS): POSIX-kompatibles verteiltes Dateisystem für gemeinsamen Zugriff
Ceph im Produktivbetrieb braucht dauerhafte Betreuung. Managed Infrastructure von HostSpezial— Storage, Server und Netzwerk mit 24/7-Monitoring.
/02Warum Ceph statt klassischem SAN?
Die Gründe für Ceph sind vielfältig:
1. Kosten
Ein NetApp-System für 100 TB kostet schnell 200.000€ oder mehr. Die gleiche Kapazität mit Ceph auf Standard-Servern: etwa 30.000-50.000€ in Hardware - ohne Lizenzkosten, ohne Wartungsverträge in der Größenordnung von 20 % pro Jahr.
2. Keine künstlichen Limits
Proprietäre Systeme begrenzen oft Features oder Kapazität durch Lizenzen. Bei Ceph gibt es keine künstlichen Beschränkungen - Sie nutzen, was die Hardware hergibt.
3. Skalierbarkeit
Ceph skaliert linear. Mehr Kapazität benötigt? Fügen Sie OSDs hinzu. Mehr Performance?
Mehr Nodes. Keine Forklift-Upgrades, keine Storage-Controller-Bottlenecks.
4. Selbstheilung
Fällt ein OSD aus, verteilt Ceph die Daten automatisch auf die verbleibenden Nodes. Keine manuelle Intervention, kein Rebuild-Management.
Wichtig: Ceph ist komplex. Die Einarbeitung dauert, und für den produktiven Betrieb brauchen Sie Know-how. Aber mit der richtigen Planung und Unterstützung ist Ceph absolut Enterprise-tauglich.
/03Ceph und Proxmox: Die perfekte Kombination
Proxmox VE hat Ceph nativ integriert. Das bedeutet: Sie können einen Ceph-Cluster direkt über die Proxmox-Oberfläche verwalten - ohne separate Tools oder Kommandozeile (obwohl die natürlich auch verfügbar ist).
Ein typisches Setup:
- 3 Proxmox-Nodes: Jeder Node ist gleichzeitig Hypervisor und Ceph-OSD-Host
- Dediziertes Ceph-Netzwerk: 10 GbE oder 25 GbE für Ceph-Traffic
- NVMe SSDs: Für OSDs - Performance ist kritisch
- 3x Replikation: Jedes Objekt wird auf 3 verschiedene Nodes geschrieben
Das Ergebnis: Hochverfügbarer Storage, der automatisch mit dem Cluster mitwächst, ohne externe Storage-Arrays, ohne Single Point of Failure.
/04Sizing-Empfehlungen
Die richtige Hardware-Dimensionierung ist entscheidend für Ceph-Performance:
| Komponente | Minimum | Empfohlen |
|---|---|---|
| Anzahl Nodes | 3 | 5+ für große Cluster |
| RAM pro OSD | 4 GB | 8 GB bei BlueStore |
| Netzwerk | 10 GbE | 25 GbE dediziert |
| OSD-Disks | SATA SSD | NVMe SSD |
| WAL/DB Device | Nicht erforderlich | Dedizierte NVMe |
| MON/MGR RAM | 2 GB | 8 GB bei großen Clustern |
/05Performance-Tipps
Aus unserer Erfahrung mit Ceph-Deployments:
- Netzwerk ist alles: Dediziertes Ceph-Netzwerk mit mindestens 10 GbE, besser 25 GbE. Kein Sharing mit VM-Traffic.
- Homogene OSDs: Alle OSDs sollten gleich groß sein. Unterschiedliche Größen führen zu ungleicher Verteilung.
- Nicht überprovisionieren: Ceph braucht freien Platz für Rebalancing. Maximal 85 % Belegung.
- Tune, tune, tune: Default-Settings sind konservativ. scrub_*-Parameter, recovery_max_active und osd_memory_target anpassen.
- Monitoring: Ceph liefert exzellente Metriken. Prometheus + Grafana für Dashboards nutzen.
/06Wann ist Ceph nicht die richtige Wahl?
Ceph ist nicht für jeden Anwendungsfall optimal:
- Kleine Umgebungen: Unter 3 Nodes lohnt sich Ceph nicht. ZFS auf lokalen Disks ist einfacher.
- Extrem niedrige Latenz: Für Sub-Millisekunden-Latenz sind lokale NVMe oder FC-SANs besser.
- Kein Know-how: Ceph erfordert Einarbeitung. Ohne dedizierte Betriebskompetenz wird es schwierig.
- Legacy-Workloads: Manche ältere Anwendungen kommen mit verteiltem Storage nicht zurecht.
/07Direkte Antworten zu Ceph
Kompakt beantwortet. Für Proxmox-Umgebungen mit Ceph siehe auch Proxmox-Cluster erstellen.
Ceph-Dimensionierung nach Clustergröße
| Cluster-Größe | Nodes | Empfehlung | Typischer Einsatz |
|---|---|---|---|
| Einstieg | 3 Nodes | mindestens 3 Monitore, Replikation 3x, 10-GbE getrenntes Cluster-Netz | Virtualisierungs-Backend für kleine Proxmox-Cluster |
| Mittel | 5–8 Nodes | dedizierte MON/MGR, NVMe für WAL/DB, 25-GbE | Produktiver Storage für gemischte Workloads |
| Groß | ab 10 Nodes | Erasure Coding für kalte Daten, getrennte Pools, mehrere Racks | Archiv, Objektspeicher, Multi-Rack-Ausfallsicherheit |
Unter drei Nodes ist Ceph kein Hochverfügbarkeitssystem, sondern ein Einzelfehlerpunkt mit Zusatzkomplexität.
Was ist Ceph Storage?
Ceph ist ein verteiltes Open-Source-Speichersystem, das Block-, Datei- und Objektspeicher aus demselben Cluster bereitstellt. Daten werden über den CRUSH-Algorithmus auf viele Knoten verteilt, sodass der Ausfall einzelner Datenträger oder ganzer Server keinen Datenverlust bedeutet. Verbreitet ist Ceph vor allem als Storage-Backend unter Proxmox und OpenStack.
Ab wie vielen Nodes ist Ceph sinnvoll?
Drei Nodes sind das absolute Minimum, weil Sie für Quorum drei Monitore und für Replikation drei Kopien brauchen. Wirklich rund läuft ein Cluster ab fünf Nodes: Dann verkraftet er den Ausfall eines Knotens auch während einer Wartung, ohne in den Degraded-Zustand mit reduzierter Redundanz zu geraten.
Was kostet Ceph im Vergleich zu einem SAN?
Ceph selbst ist lizenzkostenfrei — die Kosten stecken in Hardware und Betrieb. Gegenüber einem klassischen SAN entfallen Controller-Lizenzen und herstellergebundene Erweiterungen, dafür steigt der Personalaufwand deutlich. Die Rechnung geht meist ab dem Punkt auf, an dem Sie ohnehin mehrere Server für Virtualisierung betreiben und den Storage mitnutzen können.
Welche Hardware braucht ein Ceph-Cluster?
Getrennte Netze für Client- und Cluster-Verkehr, mindestens 10 GbE, besser 25 GbE, weil Recovery-Traffic die Auslegung bestimmt und nicht der Normalbetrieb. Pro OSD etwa 1 GB RAM je TB Rohkapazität, NVMe für WAL und DB. Bei HDD-basierten Pools ist das Auslassen der NVMe-Journale der häufigste Auslegungsfehler.
Was sind die typischen Fehler beim Ceph-Betrieb?
Drei: zu wenige Nodes, sodass jede Wartung zum Risiko wird; ein gemeinsames Netz für Client- und Recovery-Traffic, wodurch ein Ausfall den Produktivbetrieb ausbremst; und fehlendes Monitoring der PG-Verteilung, sodass Ungleichgewichte erst auffallen, wenn einzelne OSDs volllaufen.
Lohnt sich Managed Ceph?
Wenn niemand im Haus den Cluster im Alltag beobachtet, ja. Ceph verzeiht Fehlkonfiguration lange und fällt dann auf einmal aus. Der Betrieb ist weniger aufwendig als der Aufbau — aber er darf nicht nebenher laufen.
/08Fazit: Ceph ist reif für Enterprise
Ceph hat sich von einem Forschungsprojekt zu einer Enterprise-Storage-Plattform entwickelt. Die Kombination aus Skalierbarkeit, Flexibilität und Kosteneffizienz macht es zur idealen Wahl für Unternehmen, die sich von proprietären SAN-Systemen befreien wollen.
Der Schlüssel zum Erfolg liegt in der richtigen Planung und im Know-how. Mit einem erfahrenen Partner an der Seite ist Ceph absolut produktionstauglich.