- Ein produktiver Proxmox-Cluster braucht mindestens drei Nodes, sonst drohen Quorum-Probleme, die echte Hochverfügbarkeit unmöglich machen.
- Ceph als Storage-Backend ermöglicht Live-Migration ohne gemeinsamen NFS- oder iSCSI-Storage und sollte über ein eigenes 10 GbE- oder 25 GbE-Netzwerk laufen.
- Bei aktivierter Hochverfügbarkeit startet ein ausgefallener Knoten seine VMs typischerweise in 1-3 Minuten automatisch auf einem anderen Node neu.
- Fencing ist Pflicht, nicht Kür: Ohne funktionierendes Fencing kann dieselbe VM gleichzeitig auf zwei Nodes laufen und Daten korrumpieren.
- Ein Ceph-Pool mit Replikationsfaktor 3 und min_size 2 hält Daten auch bei einem Node-Ausfall verfügbar, ersetzt aber kein reguläres Backup.
Proxmox Virtual Environment (VE) hat sich als leistungsstarke Open-Source-Virtualisierungsplattform etabliert. Doch erst im Cluster-Betrieb entfaltet Proxmox sein volles Potenzial: Live-Migration, automatisches Failover und verteilter Storage mit Ceph machen Ihre Infrastruktur wirklich hochverfügbar. Diese Anleitung führt Sie durch jeden Schritt.
/01Voraussetzungen und Planung
Bevor Sie mit der Cluster-Einrichtung beginnen, sollten Sie die Hardware- und Netzwerkanforderungen sorgfältig planen. Ein produktiver Proxmox-Cluster benötigt mindestens drei Nodes, um Quorum-Probleme zu vermeiden und echte Hochverfügbarkeit zu gewährleisten.
Hardware-Anforderungen pro Node
- CPU: Mindestens 64-Bit-Prozessor mit VT-x/AMD-V Unterstützung
- RAM: Minimum 8 GB, empfohlen 64 GB+ für Produktionsumgebungen
- Storage: SSD/NVMe für das Betriebssystem, separate Festplatten für Ceph
- Netzwerk: Mindestens 2x 1 GbE, empfohlen 10 GbE oder schneller
Netzwerk-Design
Ein durchdachtes Netzwerk-Design ist entscheidend. Trennen Sie die verschiedenen Traffic-Typen:
Management-Netzwerk
Web-Interface, API-Zugriff, SSH. Typischerweise das Hauptnetzwerk mit Gateway-Zugang.
Corosync-Netzwerk
Cluster-Kommunikation zwischen den Nodes. Dediziertes, latenzarmes Netzwerk empfohlen.
Ceph-Netzwerk
Storage-Replikation zwischen OSDs. Hohes Datenaufkommen - 10 GbE oder schneller.
VM-Netzwerk
Traffic der virtuellen Maschinen. VLANs für Mandantentrennung nutzen.
Wichtig: Alle Nodes sollten sich gegenseitig per Hostname auflösen können. Tragen Sie die Hostnamen in /etc/hosts ein oder nutzen Sie einen lokalen DNS-Server.
Cluster bauen ist der einfache Teil — betreiben der schwierigere. Managed Infrastructure für Proxmox-Umgebungen— Patch-Zyklen, Backup und Rufbereitschaft.
/02Cluster erstellen
Die Cluster-Erstellung erfolgt auf dem ersten Node. Melden Sie sich per SSH an und erstellen Sie den Cluster mit dem Befehl pvecm:
# Auf dem ersten Node (wird zum initialen Quorum-Master)
pvecm create mein-cluster
# Cluster-Status prüfen
pvecm status
Der Cluster ist nun erstellt. Proxmox generiert automatisch die notwendigen Zertifikate und konfiguriert Corosync. Im nächsten Schritt fügen Sie weitere Nodes hinzu.
Weitere Nodes hinzufügen
Auf jedem zusätzlichen Node führen Sie den Join-Befehl aus. Dafür benötigen Sie die IP-Adresse des ersten Nodes und das Root-Passwort:
# Auf Node 2 und 3 ausführen
pvecm add 192.168.1.10
# Fingerprint bestätigen und Root-Passwort eingeben
# Nach dem Join: Status prüfen
pvecm nodes
Tipp: Nach dem Hinzufügen eines Nodes kann es einige Sekunden dauern, bis das Web-Interface alle Nodes anzeigt. Aktualisieren Sie die Seite oder prüfen Sie mit pvecm status auf der Kommandozeile.
/03Ceph Storage integrieren
Ceph ist ein verteiltes Storage-System, das sich perfekt in Proxmox integriert. Es bietet Redundanz, Skalierbarkeit und ermöglicht Live-Migration ohne gemeinsamen NFS- oder iSCSI-Storage. Die Einrichtung erfolgt direkt über das Proxmox Web-Interface.
Ceph installieren
Navigieren Sie im Web-Interface zu Datacenter > Ceph und klicken Sie auf Install Ceph. Wählen Sie die gewünschte Ceph-Version (empfohlen: aktuelle LTS-Version) und führen Sie die Installation auf allen Nodes durch.
Ceph Monitors
Erstellen Sie auf jedem Node einen Monitor. Monitors verwalten die Cluster-Map und sollten ungerade Anzahl haben (3 oder 5).
Ceph Manager
Manager-Daemons stellen das Dashboard bereit und sammeln Metriken. Mindestens 2 für Redundanz.
OSDs erstellen
Object Storage Daemons auf den Datenträgern. Jede Festplatte/SSD wird ein eigener OSD.
OSD-Konfiguration
Für jeden Datenträger, der für Ceph genutzt werden soll, erstellen Sie einen OSD. Im Web-Interface unter Node > Ceph > OSD sehen Sie verfügbare Disks:
# Alternativ per CLI: OSD auf /dev/sdb erstellen
pveceph osd create /dev/sdb
# Mit dedizierter WAL/DB SSD für bessere Performance
pveceph osd create /dev/sdb --wal-dev /dev/nvme0n1 --db-dev /dev/nvme0n1
Ceph Pool erstellen
Ein Pool ist ein logischer Container für Daten. Für VMs und Container erstellen Sie typischerweise einen replicated Pool:
# Pool mit Replikationsfaktor 3 erstellen
pveceph pool create vm-pool --size 3 --min_size 2
# Pool als Storage in Proxmox verfügbar machen
# Erfolgt automatisch oder manuell unter Datacenter > Storage
Performance-Tipp: Für maximale Performance nutzen Sie NVMe-SSDs als OSDs und konfigurieren Sie ein separates 25 GbE Netzwerk für den Ceph-Traffic. Bei HDDs empfiehlt sich eine SSD als WAL/DB-Device.
/04Hochverfügbarkeit konfigurieren
Mit einem funktionierenden Cluster und Ceph-Storage können Sie nun HA (High Availability) für Ihre VMs aktivieren. Bei einem Node-Ausfall werden HA-konfigurierte VMs automatisch auf einem anderen Node gestartet.
HA-Gruppen erstellen
HA-Gruppen definieren, auf welchen Nodes eine VM laufen darf. Unter Datacenter > HA > Groups erstellen Sie Gruppen mit Prioritäten:
- Restricted: VM läuft nur auf Nodes der Gruppe
- Prioritäten: Bevorzugte Nodes für den Normalbetrieb
- Nofailback: VM bleibt nach Failover auf dem neuen Node
VMs für HA aktivieren
Fügen Sie VMs zur HA-Verwaltung hinzu unter Datacenter > HA > Resources. Wählen Sie die VM, eine HA-Gruppe und den gewünschten Zustand (started, stopped, ignored).
Ohne HA
- Node-Ausfall = VM offline
- Manueller Neustart erforderlich
- Downtime bis Admin eingreift
- Kein automatisches Failover
Mit HA
- Automatische Erkennung von Ausfällen
- VM startet automatisch auf anderem Node
- Typische Failover-Zeit: 1-3 Minuten
- Fencing verhindert Split-Brain
Fencing konfigurieren
Fencing ist essentiell für zuverlässiges HA. Es stellt sicher, dass ein ausgefallener Node wirklich offline ist, bevor VMs auf einem anderen Node gestartet werden. Proxmox unterstützt verschiedene Fencing-Methoden:
- Watchdog: Softwarebasiertes Fencing (Standard)
- IPMI/iLO/iDRAC: Hardwarebasiertes Fencing über Management-Interface
- PDU: Power Distribution Unit für physisches Abschalten
Achtung: Ohne funktionierendes Fencing kann es zu Datenkorruption kommen, wenn eine VM gleichzeitig auf zwei Nodes läuft. Testen Sie Ihr Fencing vor dem Produktiveinsatz.
/05Live-Migration nutzen
Einer der größten Vorteile eines Proxmox-Clusters ist die Live-Migration. VMs können im laufenden Betrieb zwischen Nodes verschoben werden - ohne Downtime für die Anwendungen.
Voraussetzungen für Live-Migration
- Shared Storage: VM-Disks müssen auf gemeinsamem Storage liegen (Ceph, NFS, iSCSI)
- Kompatible CPUs: Gleiche CPU-Architektur oder CPU-Typ auf "host" vermeiden
- Ausreichend RAM: Ziel-Node muss genug freien Speicher haben
- Netzwerk: Schnelle Verbindung zwischen den Nodes
# Live-Migration per CLI
qm migrate 100 pve-node2 --online
# Mit Bandbreitenlimit (in MiB/s)
qm migrate 100 pve-node2 --online --migration_network 10.0.10.0/24
/06Wartung und Best Practices
Ein Proxmox-Cluster erfordert regelmäßige Wartung. Diese Best Practices helfen, Probleme zu vermeiden:
Rolling Updates
Nodes nacheinander aktualisieren. VMs vorher migrieren, dann Update, dann Reboot.
Ceph Monitoring
Ceph-Health regelmäßig prüfen. Bei Warnungen zeitnah handeln, bevor Probleme eskalieren.
Backup-Strategie
Proxmox Backup Server oder vzdump nutzen. VMs regelmäßig sichern - Ceph ersetzt kein Backup.
Monitoring einrichten
Zabbix, LibreNMS oder Prometheus für Cluster-Überwachung. Alerts für kritische Metriken.
Node-Wartung durchführen
Bevor Sie einen Node für Wartungsarbeiten offline nehmen:
- HA-VMs migrieren: Alle HA-Ressourcen auf andere Nodes verschieben
- Ceph-Flags setzen:
ceph osd set nooutverhindert Rebalancing - Wartung durchführen: Updates, Hardware-Tausch, etc.
- Node wieder online:
ceph osd unset nooutnicht vergessen
/07Troubleshooting
Bei Cluster-Problemen helfen diese Befehle bei der Diagnose:
# Cluster-Status prüfen
pvecm status
pvecm nodes
# Corosync-Logs
journalctl -u corosync
# Ceph-Gesundheit
ceph health detail
ceph osd tree
ceph -s
# HA-Status
ha-manager status
/08Direkte Antworten zum Proxmox-Cluster
Die Fragen, die beim Aufbau am häufigsten aufkommen. Für Fibre-Channel-Anbindung siehe Proxmox-Cluster mit FC-SAN.
Wie viele Nodes braucht ein Proxmox-Cluster?
Mindestens drei, damit bei Ausfall eines Knotens noch Quorum besteht. Mit zwei Nodes ist ein Cluster möglich, braucht aber ein QDevice als dritte Stimme — sonst steht nach dem Ausfall eines Knotens auch der zweite still.
Wie erstelle ich einen Proxmox-Cluster?
Auf dem ersten Knoten den Cluster anlegen, auf den weiteren mit dem Join-Befehl beitreten. Entscheidend ist die Vorarbeit: ein dediziertes, latenzarmes Netz für Corosync, synchronisierte Uhren über NTP und identische Paketstände auf allen Knoten. Corosync über dasselbe Netz wie den Storage-Traffic zu legen ist der häufigste Fehler.
Ceph oder ZFS-Replikation für den Storage?
Ceph, wenn Sie echte Hochverfügbarkeit mit automatischem Failover brauchen und mindestens drei Nodes haben. ZFS-Replikation, wenn ein Datenverlust von wenigen Minuten akzeptabel ist und Sie mit zwei Knoten auskommen wollen — sie repliziert in Intervallen, nicht synchron.
Wie funktioniert Hochverfügbarkeit in Proxmox?
Der HA-Manager überwacht die als HA markierten VMs und startet sie bei Knotenausfall auf einem anderen Knoten neu. Voraussetzung ist gemeinsamer Storage, auf den alle Knoten zugreifen können, und ein funktionierendes Fencing — ohne das riskieren Sie, dass dieselbe VM zweimal läuft.
Was passiert bei Verlust des Quorums?
Der Cluster wird schreibgeschützt: Laufende VMs arbeiten weiter, aber Änderungen an der Konfiguration sind blockiert und HA-Aktionen unterbleiben. Das ist gewollt — es verhindert eine Split-Brain-Situation. Aufgelöst wird es durch Wiederherstellen der Mehrheit, nicht durch manuelles Übersteuern.
/09Fazit
Ein Proxmox VE Cluster mit Ceph und HA bietet Enterprise-Level Hochverfügbarkeit auf Basis von Open-Source-Technologie. Die initiale Einrichtung erfordert sorgfältige Planung, aber der Aufwand lohnt sich: Live-Migration, automatisches Failover und verteilter Storage machen Ihre Infrastruktur resilient gegen Hardware-Ausfälle.
Der Schlüssel zum Erfolg liegt in der richtigen Dimensionierung (mindestens 3 Nodes, ausreichend Netzwerkbandbreite) und konsequentem Monitoring. Regelmäßige Tests der HA-Funktionalität stellen sicher, dass im Ernstfall alles funktioniert.
Für komplexe Umgebungen oder wenn Sie Unterstützung bei der Planung und Umsetzung benötigen, stehen wir als erfahrener Proxmox-Partner gerne zur Verfügung.