PVE bietet quasi Out Of The Box an mit Ceph einen hyperconverged Cluster zu bauen.
Dazu müssen die Ceph Pakete via PVE GUI vom Internet installiert werden.

Nützliche Begriffe sind:

• Monitor - Sollte redundant sein. Hier werden die Cluster Infos und der Status vom Cluster gespeichert und überprüft. Es sollte immer mind. 3 davon geben. In größeren Clustern kann man auch mehr als drei laufen lassen aber es ist nicht zwingend nötig.
• Manager - Liefert Stats und hat auch ein eigenes GUI. Hier wird nur einer benötigt da dieser nicht kritisch ist. Man kann jedoch auch davon mehr anlegen. In größeren Cluster kann man hier auch 2-3 dazu anlegen. Einer davon ist Master die anderen Slave.
• OSD - Object Storage Daemons - kurz gesagt Disken
• PG -
• CephFS -

Die Installation kann via PVE GUI durchgeführt und muss auf jeder Node einzeln gemacht werden.
Meistens hat man zwei Versionen zur Auswahl. Ich würde die neuere Empfehlen. Danach muss man auch noch ein Repo angeben. Wenn man eine Lizenz hat dan natürlich das Enterprise Repo.

Grundsätzlich soll man Ceph laut Doku nur mit 10G oder schneller betreiben. Zum rum spielen geht 1G auch aber in einer Produktion müssen es unbedingt 10G oder mehr über einen Switch sein.

Konfiguration Ceph:

• Public Network - Hier verbinden sich die Ceph Clients auf ein Storage Backend
• Private Network - Über dieses Netzwerk werden die Daten gespiegelt
• Numbers of replicas: 3 -
• Minimum of replicas: 2 -

PVE legt automatisch einen Monitor selbst an. Danach sollten noch mind. zwei weitere Monitore installiert werden.

Ein Ceph Pool wird als Datastore im Cluster gemountet auf dem Daten abgelegt werden können.

• Name: Name
• Size: 3 → heisst die Daten werden 3x bzw. auf drei Nodes repliziert
• Min. Size: → heisst der Pool bzw. die Daten sind verfügbar solange mind. 2 Kopien online sind

Dieses ist optinonal.
Wenn man dieses haben möchte kann man das GUI via apt nach installieren auf den Nodes die die Manger Rolle laufen haben

apt install ceph-mgr-dashboard
ceph dashboard create-self-signed-cert
ceph mgr module enable dashboard
ceph dashboard ac-user-create admin -i passwd.txt administrator

Aufrufen kann man das Dashboard dann unter
http:/<ip>:8443

ceph crash ls

ceph crash info <id>

Wenn man noch Fehler in der GUI sieht von vergangenen Fehler müssen diese noch archiviert werden.

ceph archive <id>
ceph archive-all

Fehler löschen mit ID

ceph crash rm <id>

Fehler löschen älter als x Tage

ceph crash prune <days>