Stone Wiki

This page is read only. You can view the source, but not change it. Ask your administrator if you think this is wrong.
====== ZFS ======

===== Gundlangen =====
IO Writes:
  * Asynchronous - Eine Applikation schreibt etwas in das Storage und das Storage meldet sobald dieses den IO im Ram zwischenlagert ein OK zurück. Fällt die Storage aus gehen die IO's die noch im Ram liegen verloren
  * Synchronous - Eine Applikation schreibt etwas in das Storage und das Storage meldet erst ein Ok zurück wenn diese die Daten auf den Disken runterschrieben hat. Dies kostet Performance ist jedoch Crash Consistent
\\
Sync Einstellungen unter ZFS
  * standard - nur synchrone Schreibvorgänge werden mithilfe des ZIL abgesichert
  * always - jeder Schreibvorgang findet unter Verwendung des ZIL statt
  * disabled - der ZIL wird deaktiviert

\\
\\


==== ashift ====
Für einen performanten Zugriff auf die Hardware muss ZFS die Größe der Sektoren der Festplatte (physical block size) kennen. \\

Wie ermittle ich die Block Size meiner Patten?
<code>
lsblk -o NAME,MOUNTPOINT,PHY-SEC
</code>
\\

Anzeigen der aktuellen ashift wertes wenn man schon einen Pool hat
<code>
zpool get ashift <pool>
</code>
\\

Ashift beim erstellen setzten
<code>
zpool create -o ashift=12 <POOLNAME> <VDEVS>
</code>



==== vdev (virtual device) ====
Ist ein virtuelles Gerät, auf dem die in ZFS gespeicherten Daten abgelegt werden. Es kann sich dabei um eine Festplatte, eine reguläre Datei, ein RAID-Z/Mirror handel.
\\
\\

==== Pool ====
Ist ein Zusammenschluss aus mehreren vdevs zu einem großen Speicherpool.

\\
\\

==== Dataset ====
Bezeichnet ZFS-Dateisysteme, Volumes und Snapshots. Datasets sind in einer Vererbungshierarchie organisiert und immer einem bestimmten zpool zugeordnet. Sie dienen der Strukturierung von Pools und ermöglichen eine Anpassung an verschiedene Anforderungen.


\\
\\

==== Copy-On-Write ====
Beschreibt die Funktion von Dateisystemen, Blöcke nicht direkt zu überschreiben, sondern eine Kopie der neuen Daten in einem anderen freien Block abzulegen. Nachdem ein neuer Block erfolgreich abgespeichert wurde, wird der entsprechende Zeiger angepasst. Sollte das System während eines Schreibvorgangs abstürzen, entsteht somit kein inkonsistenter Zustand des Dateisystems. Ausschließlich die in dem Moment geschriebenen Daten gehen verloren, währenddessen die vorherige Version des Blocks noch unverändert ist. Darüber hinaus ermöglicht dieses Konzept das schnelle und einfache An legen von Snapshots.
\\
\\

==== ARC (Adaptive Replacement Cache) ====
Dieser Cache liegt im Ram des Betriebssystems.
\\
\\

==== L2ARC (Level 2 ARC) ====
Dieser Cache wird in den meisten Fällen auf SSDs ausgelagert (muss konfiguriert werden).
Wenn der Ram für den Cache zu klein wird werden alle Objekte die aus dem ARC raus fliegen würden in den L2ARC geschrieben.
\\
\\

==== ZIL (ZFS Intent Log) ====


\\

==== SLOG (ZFS Separate Intent Log) ====


\\


----


\\
===== Pools =====
==== Anzeigen des Status von einem oder allen Pools ====
<code>
zpool status
zpool status -v
zpool status -v pool
</code>
\\

==== Anzeige welche Pools bzw. Datensets Compression aktiv haben ====
<code>
zfs get compression
</code>
\\

===== ZFS Optionen =====
==== Anzeigen aller ZFS Optionen für einen bzw. allen Pools ====
<code>
zfs get all
</code>
\\

==== Compression setzten ====
<code>
zfs set compression=lz4 <pool>
</code>
\\

==== Anzeigen der Compression Rate ====
<code>
zfs get compressratio
</code>
\\

===== IO Stats =====
==== IO Stats anzeigen ====
<code>
zpool iostat -v 1
</code>
\\


===== Caching =====
==== ARC ====
Anzeig der aktuellen Auslastung des Caches in Bytes
<code>
cat /proc/spl/kstat/zfs/arcstats |grep c_
c_min 4 536870912
c_max 4 2147483648
arc_no_grow 4 0
arc_tempreserve 4 0
arc_loaned_bytes 4 0
arc_prune 4 0
arc_meta_used 4 0
arc_meta_limit 4 536870912
arc_meta_max 4 0
</code>
\\

Arc Cache Size setzten
<code>
vim /etc/modprobe.d/zfs.conf
# Min 512MB / Max 2048 MB Limit
options zfs zfs_arc_min=536870912
options zfs zfs_arc_max=2147483648
</code>
Es wird ein Reboot für diese Einstellung benötigt. \\
Kontrolle der aktuellen Einstellungen:
<code>
cat /sys/module/zfs/parameters/zfs_arc_min
536870912
cat /sys/module/zfs/parameters/zfs_arc_max
2147483648
</code>
\\

L2ARC Device hinzufügen
<code>
zpool add -f <pool> cache <device>
</code>
\\

L2ARC Device entfernen
<code>
zpool remove <pool> <device>
</code>
\\

ZIL bzw. SLOG Device hinzufügen
<code>
zpool add -f pool log /dev/sda2
</code>
\\

ZIL bzw. SLOG Device entfernen
<code>
zpool remove <pool> <device>
</code>

==== Auslastung der Pools anzeigen inkl. der Disken ====
<code>
zpool list -v
</code>
\\

===== ZFS Health =====
==== Scrub ====
<code>
zpool scrub pool
</code>
\\

===== Snapshots =====
==== Erstellen eines Snapshots auf einem Dateset ====
<code>
zfs snapshot <pool>/<dataset>@<snap_name>
</code>
\\

==== Erstellen eines Snapshots auf einem Pool sprich auf allen Datasets ====
<code>
zfs snapshot -r <pool>@<snap_name>
</code>
\\

==== Anzeigen der aktuellen Snapshots ====
<code>
zfs list -t snapshot
</code>
\\

==== Löschen eines Snapshots ====
<code>
zfs destroy <pool><dataset>@<snap_name>
</code>
\\

==== Rückstieg auf einen Snapshot ====
<code>
zfs rollback <pool>/<dataset>@<snap_name>
</code>

\\

----

zfs-stats -a ???
zilstat
\\

===== Compression =====
==== Compression anzeigen ====

<code>
zfs get compression <name>
zfs get all <name>| grep compress
</code>
\\

==== Compression setzten ====
In den meisten Fällen ist lz4 die beste und schnellste Variante
<code>
zfs set compression=lz4 <name>
</code>