Diese Doku wurde erstellt unter ONTAP 9.x (9.3 und 9.4)

Anzeigen der ONTAP Version

version

Anzeigen der Seriennummer

system node show -node <Nodename>

Anzeigen der Mode Settings der FC/Netzwerk Ports

ucadmin show
ucadmin show -c

Anzeigen der FC/Netz Devices in der NetApp

ucadmin show

NTP Anzeigen

cluster time-service ntp server show

NTP Sync anzeigen (diag mode)

cluster time-service ntp status show

NTP setzten

cluster time-service ntp server modify -server <server> -version auto

Beispiel:
cluster time-service ntp server modify -server 192.168.0.11 -version auto

NTP Sync anzeigen (diag mode)

cluster time-service ntp status show

Timezone anzeigen

timezone

Timezone wechseln

timezone -timezone Europe/Vienna

Wechseln in den diag Mode

set diag

Wechseln in den Admin Mode

set admin

Anzeigen aller Lizenzen

license show
license show-status

Lizenz hinzufügen

license add

Infos zum Service Prozessor

system service-processor show

Anmelden am Server Prozessor

TBD

Netzwerk vom SP Aneigen

system service-processor show
system service-processor network show

Vergeben der Netzwerkeinstellungen

system service-processor network modify -node storage01-01 -address-family IPv4 -enable true -ip-address 10.0.0.11 -netmask 255.255.255.0 -gateway 10.0.0.1

Anzeigen der BMC Version

system service-processor show
system service-processor image show
system service-processor image show -instance

Anzeigen ob Autopatch aktiviert ist

system service-processor image show -fields autoupdate

Herunterladen eines neuen SP/BMC Images
Es muss ein neues Image von der NetApp Webseite runter geladen werden. Dies muss via eines WebServers der im Netz des Managements steht zur verfügung gestellt wird.

set -privilege advanced
system node image get -node <node> -package <url>

Beispiel:
Storage01::> set -privilege advanced
Storage01::*> system node image get -node Storage01n1 -package http://10.0.0.115/netapp/308-03872_A0_11.3P2_BMC_FW.zip
Storage01::*> system node image package show

Update des Images am SP
Wenn Autoupdate auf true steht sollte innerhalb der nächsten 30 Minuten das Update automatisch durchgeführt werden.
Wenn Autoupdate auf false steht oder man nicht so lange warten möchte kann man dies auch manuell starten.

Wenn Autoupdate auf true steht man jedoch trotzdem nicht warten möchte kann man das Update auch manuell durchführen.

system service-processor image update -node <node> -package <filename>

Beispiel:
Storage01::*> system service-processor image update -node Storage01n1 -package 308-03872_A0_11.3P2_BMC_FW.zip

Anzeigen des Updatestatus

system service-processor image update-progress show

Anzeigen der Version nach dem Update

system service-processor show

Danach sollte man sich am Service Prozessor via SSH anmelden und checken ob der Switch noch ein Update braucht. Hier ist es am besten man folgt den Update-Pfad auf der NetApp Seite den man bekommt wenn man das Image runter lädt.

Anzeigen der Netzwerkkarten und Devices

network port show

Interface Group anzeigen

ifgrp show

Interface Group anlegen

ifgrp create -node <node> -ifgrp a0a –distr-func ip –mode multimode_lacp

Interfaces in ifgrp legen

ifgrp add-port -node <node> -ifgrp <ifgrp-name> -port <port>

Beispiel:
ifgrp add-port -node storage01n1 -ifgrp a0a -port e0c
ifgrp add-port -node storage01n1 -ifgrp a0a -port e0d

VLANs anzeigen

vlan show

VLAN einrichten

vlan create -node <node> -vlan-name <interface>-<vlan-id>

Beispiel:
vlan create -node rtp-nau-01 -vlan-name a0a-44

LANs löschen

vlan delete -node <node> -vlan-name <interface>-<vlan-id>
\\

Beispiel:
vlan delete -node rtp-nau-01 -vlan-name a0a-44

Möchte man mit IP Spaces arbeiten muss dieser angelegt werden bevor man einen SVM anlegt.

Anzeigen der IP Spaces

ipspace show

Anlegen eines IP Space

ipspace create -ipspace <name>

Dies ist eine Gruppe von Ports in ONTAP.
Ein physischer oder auch virtueller Netzwerk Port kann immer nur in einer Broadcast Domain enthalten sein. Dies wird gerne verwendet wenn ein Hosting Provider die Kunden separieren möchte und einzelne Interfaces für einen Kunden reservieren möchte.

Anzeigen der Broadcast Domains

broadcast-domain show

Mehr Infos gibt es dazu von mir noch nicht. Ist aber ganz einfach

Es können bei einem bestehenden LIF keine Protokolle mehr hinzugefügt werden. Daher lieber vorher denken oder etwas offener anlegen und die Protokoll dann später im SVM einschränken

Anzeigen der Lifs bzw. der Storage Netzwerk Interfaces. Hier sind alle physischen und virtuellen (LIF) angeführt

network interface show

Anlegen eines Lifs

network interface create -vserver <name> -lif <name> -role data -data-protocol <protokoll> -home-node <name_home_node> <interface>

Beispiel (anlegen eines Lifs für FiberChannel für ESX Server)
network interface create -vserver esx_fc -lif lif_esx_fc_01 -role data -data-protocol fcp -home-node netapp-207-01 0c

Lif zwischen Nodes migrieren

network interface revert -vserver <vserver_name> -lif <lif_name>

Beispiel (Lif zur Homenode migrieren)
network interface revert -vserver netapp-213 -lif cluster_mgmt

Löschen eines Lifs

network interface modify -vserver snapmirror -lif lif_snap_01 -status-admin down
network interface delete  -vserver snapmirror -lif lif_snap_01

Failover Policies https://library.netapp.com/ecmdocs/ECMP1636021/html/GUID-92CC5F58-5EB8-4E2D-88F0-FA2F740062E0.html

Failover Groups anzeigen

failover-groups show

DNS / Hostname File

vserver services name-services dns hosts create –vserver <vserver> -address <ip> -hostname <hostname> -alias <alias>

Globaler Status zu den Adaptern

fcp adapter show

Genaue Infos zu einem FC Port

fcp adapter show -instance -node <nodename> -adapter <adapter>
Bespiel:
fcp adapter show -instance -node netapp-ssh-01 -adapter 0c

Adapter aktivieren / deaktivieren

network fcp adapter modify -node <node> -adapter <adapter> -status-admin <up|down>

Beispiel: 
network fcp adapter modify -node netapp-207-01 -adapter 0c -status-admin 

Vserver werden benötigt bzw. verwendet um den Client Traffic von echten NetApp Kopf abzuschirmen. Will man also ein Volume anlegen und dieses via NFS oder FC präsentieren muss dies in einem Vserver erfolgen.

vserver create -vserver <name> -subtype default -rootvolume <name> -rootvolume-security-style unix -language C.UTF-8 -snapshot-policy default -is-repository false -foreground true -aggregate <name> -allowed-protocols <proto> -comment <kommentar will man will>

Beispiel: (anlegen eines Vservers für ESX Server die via FC angebunden werden)
vserver create -vserver esx_fc -subtype default -rootvolume root_esx_fc -rootvolume-security-style unix -language C.UTF-8 -snapshot-policy default -is-repository false -foreground true -aggregate aggr_sas_01 -allowed-protocols fcp -comment vserver_for_esx_fiberchannel

vserver services dns show

(wird für AD Join benötigt)

vserver services dns create -vserver presseshare -domains domain.loc -name-servers 192.168.13.100,192.168.13.88,192.168.13.77

cifs create -vserver <vserver> -cifs-server <servername> -domain <windows domain>

Beispiel:
cifs create -vserver net23_pu_cifs_medialib_01 -cifs-server MEDIALIB -domain supergeiledomain.loc

Dies wird zB für Trident benötigt. Kann online durchgeführt werden und das Aggr muss nicht dezidiert sein.

vserver modify -vserver <vserver> -aggr-list <aggr1,aggr2>

Beispiel:
vserver modify -vserver trident_test -aggr-list aggr_sata_01_n1
vserver modify -vserver trident_test -aggr-list aggr_sata_01_n1,aggr_sata_02_n1

vserver show -vserver <vserver>

vserver remove-aggregates -vserver <vserver> -aggregates <aggr>

Beispiel:
vserver remove-aggregates -vserver trident_test -aggregates aggr_sata_01_n1

Anzeigen der Policy

vserver export-policy show

Anzeigen der Berechtigungen einer Policy

vserver export-policy rule show

Erstellen einer Export Policy

vserver export-policy create -vserver esx_pu_nfs_02 -policyname esx

Hinzufügen von rules zur Policy

vserver export-policy rule create -vserver esx_pu_nfs_02 -policyname esx -clientmatch <IP ADDRESS> -rorule any -rwrule any -allow-suid true -allow-dev true -protocol <any|nfs|nfs3|nfs4|cifs> -superuser any -ruleindex 1

Hinzufügen von IPs zur rule

vserver export-policy rule add-clientmatches -policyname esx -ruleindex 1 -clientmatches <IP ADDRESS>

Der Befehl “storage disk” kann auch abgekürzt werden durch “disk”

Anzeigen der aller Disks

storage disk show

Anzeigen aller Disk Optionen eines Node

storage disk option show
storage disk option show -node <nodename>

Auto Assign Option verändern

storage disk option modify -autoassign <off|on>

Globale Handling mit Disken

storage disk show 

Anzeigen der Spare Disken

storage aggregate show-spare-disks
disk show -container-type spare

Anzeigen unassigned Platten

disk show -container-type unassigned

Anzeigen defekter Disken

storage disk show -state broken
disk show -container-type broken
disk show -broken

Anzeigen der Partner Disken

storage disk show -state partner

Anzeigen aller Disken eines Aggr

storage disk show -aggregate <aggr>

Anzeigen der Ownership der Disks

storage disk show -ownership

Disk auto Assign

disk option show

Disk einen Kopf zuweisen

storage disk assign -disk <disk> -owner <nodename>
Beispiel:
storage disk assign -disk NET-1.1 -owner sim-cluster-01

Disk einem Kopf wegnehmen

storage disk removeowner -disk <disk>
storage disk removeowner -disk <disk01,disk02,disk03>
Beispiel:
storage disk removeowner -disk NET-1.1,NET-1.2,NET-1.3,NET-1.4
<\code>
\\

**Disk blinken lassen**
<code>
storage disk set-led -action blink -duration <time> -disk <disk>
Beispiel Disk blinkt für 5 Minuten:
storage disk set-led -action blink -duration 5 -disk NET-1.1

Disk blinken deaktivieren

storage disk set-led blinkoff -disk NET-1.1
</ode>
\\

**Disk mit einer anderen ersetzten (Daten kopieren)**
<code>
storage disk replace -disk <disk> -action start -replacement <disk>

Disk löschen (zero)

disk zerospares -owner netapp-ssh-01

Disk zero Prozess anzeigen

disk show -state zeroing

Disk Pfade anzeigen

storage array disk paths show
node run -node <node> -command storage show disk -p

Der Befehl “storage aggregate” kann auch abgekürzt werden durch “aggr”

Anzeigen aller Aggr

storage aggregate show

Anzeigen der Auslastung der Aggr

df -A -autosize

Anzeigen der Status Infos eines Aggr

storage aggregate show-status

Anzeigen der Speicherplatzes in einem Aggr (Details)

storage aggregate show-space

Anzeigen aller Optionen eines Aggr

aggr show <aggr>

Anzeigen aller Aggr die nicht online sind

storage aggregate show -state !online

Anlegen eines neuen Aggr

storage aggregate create -aggregate <aggr_name> -diskcount <anz_disken> -raidtype <raidtype> -maxraidsize <max_anz_disk> -disksize <disksize_in_Gb>
Beispiel: 
storage aggregate create -aggregate aggr_test01 -diskcount 5 -raidtype raid_dp -maxraidsize 6 -disksize 1

Erweitern eines Aggr Hier muss man gut aufpassen bezüglicher der Performance! Thema Rebalance!

storage aggregat add-disks -aggregate <aggr_name> -diskcount <disken#> -disksize <disksize_in_GB>
Beispiel:
storage aggregat add-disks -aggregate aggr_test01 -diskcount 1 -disksize 1

Löschen eines Aggr

aggr offline -aggregate aggr_test01

Raidsize im Aggr ändern

aggr modify -aggregate aggr_test01 -maxraidsize 14

Umbenennen eines Aggr

storage aggregate rename -aggregate <name> <newname>
Beispiel:
storage aggregate rename -aggregate aggr_test01 aggr_test_01

Anzeigen ob alle Plex online sind (Metrocluster)

storage aggregate plex show -fields aggregate,status,is-online,Plex,pool

Anlegen eines normalen Aggr

aggr create -aggregate aggr_test01 -diskcount 5 -raidtype raid_dp -maxraidsize 16 -disktype FCAL -node svl-nau-01

Anzeigen ob ein Aggr als Hybride eingestellt ist aggr show -fields hybrid-enabled </code>

Setzten der Hybride Option

aggr modify -aggregate aggr_test01 -hybrid-enabled true

SSDs hinzufügen in das Hybride Aggr

aggr add -aggregate aggr_test01 -raidtype raid4 -diskcount 3 -disktype ssd

Anzeigen der des Status des Aggr

aggr show-status aggr_test01

Dies geht nur mit SSD Aggr.
Hier werden Daten die normal lokal liegen in die Cloud ausgelagert.
Hier kann die Entscheidung von der Storage getroffen werden via Policy wann und was ausgelagert werden soll.
Storagegrid ist gratis dabei. Wenn AWS oder die MS Cloud verwendet wird muss eine Lizenz gekauft werden.

Anlegen eines Volumes

Beispiel: (Volume für ESX via FC und Snapshots täglich für drei Tage)
volume create -vserver <vservername> -volume <name> -aggregate <name> -size <größe> -state online -policy <policy> -unix-permissions ---rwxr-xr-x -type RW -snapshot-policy <policy> -foreground true -space-guarantee volume -percent-snapshot-space 0

Beispiel:
volume create -volume vol_srv_01 -aggregate aggr_sas_01 -size 1t -state online -policy default -unix-permissions ---rwxr-xr-x -type RW -snapshot-policy rt_3_days -foreground true -space-guarantee volume -percent-snapshot-space 0

Volumes anzeigen

df -V -autosize
df -V -h
volume show

Volumes anzeigen die nicht online sind

volume show -state !online

Volumes anlegen

vol create -vserver <svn> -volume <volume> -aggregate <aggr> -size <size> -state online -policy <policy> -unix-permissions ---rwxr-xr-x -type RW -snapshot-policy <policy> -foreground true

Beispiel für alles default
vol create -vserver svm_red -volume test01 -aggregate svl01_data_001 -size 5G -state online -policy default -unix-permissions ---rwxr-xr-x -type RW -snapshot-policy default -foreground true

Volumes löschen

volume  offline -vserver svm_red -volume test01
volume delete -vserver svm_red -volume test01

Nach dem löschen eines Volumes wird der Speicher noch nicht sofort freigegeben. Es gibt eine Recovery-Queue die das Volume per default noch für 12 Stunden aufhebt und dann automatisch löscht.
Benötigt man den Speicher sofort kann man im Diag Modus diese Queue löschen.

netapp-001::> set diagnostic
netapp-001::> vol show
netapp-001::*> vol recovery-queue show
netapp-001::*> vol recovery-queue purge-all -vserver svm_01

Volumes verschieben

volume move start -vserver <vserver> -volume <vol> -destination-aggregate <new_aggr> -perform-validation-only false

Beispiel:
volume move start -vserver svm_red -volume vol_move -destination-aggregate svl01_data_001 -perform-validation-only false

Volume Move Status

volume move show

Beispiel:
svl-nau::> vol move show
Vserver   Volume     State    Move Phase Percent-Complete Time-To-Complete
--------- ---------- -------- ---------- ---------------- ----------------
svm_red   vol_move   healthy  replicating
                                         31%              Wed Nov 28 09:15:06 2018

Volume Rehost Verschiebt Volumes zwischen SVM's. Dies geht nur offline.

Volume Clone

Beispiel:
vol clone create -flexclone vol_iso_03 -type RW -parent-vserver esx_fc_213 -parent-volume vol_iso_02 -foreground true -parent-snapshot daily.2018-12-03_0010

Volume Clone Split

Bespiel:
vol clone split start -flexclone vol_iso_03 -vserver esx_fc_213 -foreground true

Inodes eines Volumes Anzeigen der Max und verbrauchten Inodes

vol show <vol> -fields files,files-used

Beispiel:
storage01::> vol show app_sata_01 -fields files,files-used
vserver    volume             files    files-used
---------- ------------------ -------- ----------
app_nfs_01 app_sata_01 21251126 20205424

Vergrößern der Inodes

vol modify -vserver <vserver> <vol> -files 30000000

Ein Volume kann nur maximal 100Tb groß werden. Durch Flex Group Vol können mehrere Volumes zu einer Gruppe verbaut werden.

Anlegen FlexGroup Volume über Deloy (ich mach dies lieber manuell)

flexgroup deploy -vserver svm_red -size 5G -type RW 

Anlegen FlexGroup Volume manuell

vol create -vserver svm_red -volume <name> -aggr-list <aggr1 aggr2 …> -aggr-list-multiplier 4 -size 5G

Beispiel:
vol create -vserver svm_red -volume vol_gr1 -aggr-list svl01_data_001 svl02_data_001 -aggr-list-multiplier 4 -size 5G

AnzeigenFlexGroup Volume der einzelnen Stücke

volume show -vserver svm_red -volume vol_gr* -is-constituent true

Vergrößern FlexGroup Volume (hinzufügen neuer Volumes)

vol expand -vserver svm_red -volume vol_gr1 -aggr-list svl01_data_003,svl02_data_002 -aggr-list-multiplier 1 -foreground true

Vergrößern FlexGroup Volume (einzelne Volumes vergrößern)

vol modify -vserver svm_red -volume vol_gr1 -size 8G
vol modify -vserver svm_red -volume vol_gr1 -size +1G

ACHTUNG! Verkleiner ist NICHT möglich!

Löschen FlexGroup Volumes

vol offline -vserver svm_red -volume vol_gr1
vol delete -vserver svm_red -volume vol_gr1

Quotas können auf User / Gruppen / Qtrees gesetzt werden.

Quota Policy anlegen - legt nur eine leer Policy an
Man kann nur eine Policy pro vServer anlegen.

vol quota policy create -vserver <vserver> -policy-name <policy>

Beispiel: 
vol quota policy create -vserver esx_pu_nfs_01 -policy-name appserver1

Quota Rule auf die Policy legen - hinterlegt das Regelwerk

vol quota policy rule create -vserver <vserver> -policy-name <policy> -volume <volume> -type <tree/user/group> -target <targetname or "" for no target> -soft-disk-limit <size> -disk-limit <size>

Beispiel:
vol quota policy rule create -vserver esx_tu_nfs_01 -policy-name appserver1 -volume tu_sata_nfs_01 -type tree -target qt_appserver1 -soft-disk-limit 10G -disk-limit 12G

Quota Policy dem vServer zuweisen

vserver modify -vserver <vserver> -quota-policy <policy>

Beispiel:
vserver modify -vserver esx_tu_nfs_01 -quota-policy appserver1

Quota auf dem Volume aktivieren

vol quota on -vserver <vserver> -volume <volume>

Beispiel:
vol quota on -vserver esx_tu_nfs_01 -volume tu_sata_nfs_01

Quota Report von einem vServer anzeigen

vol quota report -vserver <vserver>

Beispiel:
vol quota report -vserver esx_tu_nfs_01

Quota Regel anpassen / ändern

vol quota policy rule modify -vserver <vserver> -policy-name <policy> -volume <volume> -type tree -target <qtree> -soft-disk-limit <size> -disk-limit <size>
vol quota resize -vserver <vserver> -volume <volume> -foreground


Beispiel:
vol quota policy rule modify -vserver esx_tu_nfs_01 -policy-name appserver1 -volume tu_sata_nfs_01 -type tree -target qt_appserver1 -soft-disk-limit 18G -disk-limit 20G
vol quota resize -vserver esx_tu_nfs_01 -volume tu_sata_nfs_01 -foreground
vol quota report -vserver esx_tu_nfs_01

Volume Snapshots werden mittels snapshot policies gesteuert. In den snapshot policies sind die schedules konfiguriert.

Anzeigen der Snapshot policies

snapshot policy show 

Vserver: EC-Nearstore01
                         Number of Is
Policy Name              Schedules Enabled Comment
------------------------ --------- ------- ----------------------------------
default                          3 true    Default policy with hourly, daily & weekly schedules.
    Schedule               Count     Prefix                 SnapMirror Label
    ---------------------- -----     ---------------------- -------------------
    hourly                     6     hourly                 -
    daily                      2     daily                  daily
    weekly                     2     weekly                 weekly

default-1weekly                  3 true    Default policy with 6 hourly, 2 daily & 1 weekly schedule.
    Schedule               Count     Prefix                 SnapMirror Label
    ---------------------- -----     ---------------------- -------------------
    hourly                     6     hourly                 -
    daily                      2     daily                  -
    weekly                     1     weekly                 -

none                             0 false   Policy for no automatic snapshots.
    Schedule               Count     Prefix                 SnapMirror Label
    ---------------------- -----     ---------------------- -------------------
    -                          -     -                      -

3 entries were displayed.

Anzeigen der Volume Snapshot Policy

volume show -vserver backup_iscsi  -fields snapshot-policy,volume 
         
vserver      volume            snapshot-policy 
------------ ----------------- --------------- 
backup_iscsi ecs01veeam_RC0_01 none            
backup_iscsi ecs01veeam_RC1_01 none            
backup_iscsi ecs01veeam_RC2_01 none            
backup_iscsi ecs02veeam_RC0_01 none            
backup_iscsi ecs02veeam_RC1_01 none            
backup_iscsi ecs02veeam_RC2_01 none            
backup_iscsi root_backup_iscsi default         
backup_iscsi veeam_tape_01     none            
8 entries were displayed.

Disable Volume Snapshots

volume modify -vserver backup_iscsi -volume ecs02veeam_RC2_01 -snapshot-policy none

Delete Volume Snapshots

snapshot delete -vserver backup_iscsi -volume ecs02veeam_RC2_01 -snapshot <name>

snapshot delete -vserver backup_iscsi -volume ecs02veeam_RC2_01 -snapshot *

Erstellen einer Snapshot Policy

snapshot policy create -policy <name> -count1 <count> -enabled true -schedule1 <sched_wann>

Beispiel:
snapshot policy create -policy rt_5_days -count1 5 -enabled true -schedule1 daily

Snapspot Verzeichnis
So kann man die Sichtbarkeit des .snapshot Verzeichnisses ein und ausschalten

vol modify -vserver <vserver> -volume <volume> -snapdir-access <true|false>

Anlegen eines Jobs

job schedule cron create -name 12hour -minute 10 -hour 0,12

Anlegen einer Snapshot Policy

snapshot policy create -policy rt_5_days_2hours -enabled true -schedule1 12hour -count1 5

netapp::> snapshot policy show  -policy rt_5_days_2hours
Vserver: netapp-ssh
                         Number of Is
Policy Name              Schedules Enabled Comment
------------------------ --------- ------- ----------------------------------
rt_5_days_2hours                 1 true    -
    Schedule               Count     Prefix                 SnapMirror Label
    ---------------------- -----     ---------------------- -------------------
    12hour                     5     12hour                 -

Erstellen einer Lun

lun create -path <lun_path> -size <size> -ostype <vmware|windows_2008|windows|linux> -space-reserve <enable|disabled> -space-allocation <enable|disabled> -class regular -vserver <vserver_name>

Beispiel:
lun create -path /vol/vol_lin_01/lun_lin_01 -size 500G -ostype vmware -space-reserve disabled -space-allocation disabled -class regular -vserver esx_fc

Lun mappen

lun map -path <lun_path> -igroup <igroup>

Beispiel:
lun map -path /vol/vol_lin_01/lun_lin_01 -igroup ESX_01

Unmap einer Lun

lun unmap -path <lun_path> -igroup *

Beispiel:
lun unmap -path /vol/vol_lin_01/FAS207_SRV_01 -igroup *

Löschen einer Lun

lun delete <lun_path>

Status Dedup

sis status
volume efficiency show -vserver esx_fc -volume <volume_name>

Dedup auf einem Volume aktivieren (nicht inline sondern per Schedule)

volume efficiency on -volume <volume_name> -vserver <vserver_name>
volume efficiency modify -volume <volume_name> -policy default

Optional:
volume efficiency modify -volume <volume_name> -schedule mon-sun@2

Anzeigen der Jobs und dessen Details

vol efficiency show
vol efficiency show -instance 
vol efficiency show -instance -vserver esx_pu_nfs_02 -volume pu_sas_winRC0_01

Anzeigen der Ersparnis aller Volumes

df -V -h -s

Cross Volume Inline Deddup

Parameter -cross-volume-inline-dedup

Inline Dedup auf FAS (nicht AFF Systemen). Inline Dedup macht aktuell NUR auf SSD's sinn. Hier wird auf SSD's IO's und schreibe Zyklen gespart dafür belastet es den Kopf. Normal kann man dies nur auf AFF Systemen setzten. Hat man jedoch eine FAS mit SSD's kann man dies auch aktivieren. Dazu ist jedoch davor ein wichtiger Schritt nötig.

Storage04::> set -privilege diag
Storage04::*> system node run -node Storage04n1 
Type 'exit' or 'Ctrl-D' to return to the CLI

Storage04n1> priv set diag
Warning: These diagnostic commands are for use by NetApp personnel only.
 
Storage04n1*> options sis.idedup_allow_non_aff_hya on

Storage04n1*> options sis
sis.do_idedup_policy_check   off        
sis.idedup_allow_non_aff_hya on         
sis.max_vfiler_active_ops    8

Storage04::*> set -privilege admin

Storage04::> volume efficiency modify -vserver esx_pu_nfs_02 -volume pu_ssd_oraRC1_01 -inline-dedupe true -policy default

Es gibt zwei verschiedene Arten

Adaptive
Es werden immer 8 Blöcke komprimiert Hier wird das System nicht so stark belastet jedoch wird nicht stark komprimiert.
Diese Variante sollte man für Daten verwenden die stark unter Last sind. Auch viele Random Reads funktionieren hier sehr viel flotter als unter “Secondary”.

Secondary
Es werden immer 32 Blöcke komprimiert. Hier wird das System stärker belastet jedoch wird auch mehr komprimiert. Sollte nur in speziellen Fällen verwendet werden.

Post Compression
Wird via Schedule gestartet und das Volume wird nach den Veränderungen gescannt.
Diese Art der Compression ist geeignet für FAS Systeme mit SATA und SAS Disken.

Inline Compression
Wird wie der Name schon sagt Inline gemacht. Sprich bevor ein IO geschrieben wird, wird dieser schon versucht im Ram der Storage zu komprimieren. Damit spart man sich IO und geht schonend mit SSDs um.
Diese Art der Compression ist geeignet für FAS und AFF Systeme mit SSDs. Über Hybride Aggr kann man auch noch nachdenken.

Aktivieren der normalen Adaptive Post Komprimierung mit dem default Schedule

vol efficiency modify -vserver <vserver> -volume <volume> -compression true 

Aktivieren der normalen Adaptive Post + der Inline Komprimierung mit dem default Schedule

vol efficiency modify -vserver <vserver> -volume <volume> -compression true -inline-compression true 

Diese Befehle lassen sich natürlich auch noch wie immer mit einer Policy und einem Schedule versehen.

Hier werden nicht volle 4k WAFL Blöcke mit anderen nicht vollen Blöcken gefüllt so das man möglichst volle 4k Blöcke erreicht. Geht nur für Thin Volume's.

Um einen Snapmirror einzurichten der den lokalen Cluster verlässt muss ein Intercluster Peering durchgeführt werden.

ACHTUNG!
Snapmirror wird in der Shell anders behandelt als im Systemmanger bzw GUI.
Shell: Es wird immer alles auf der Destination gestartet bzw. angezeigt.
Systemmanger: Es wird immer alles auf der Source angezeigt und gestartet.

NetApp Offiziell

In diesem Beispiel ist Cluster01 (HA Pärchen) der Source und Cluster02 (Single Node) die Destination

Lif's erstellen

Lif erstellen auf Knoten 1 im Cluster 1

cluster1::> network interface create -vserver cluster1 -lif inter1_1 -role intercluster -home-node cluster1-01 -home-port e0f -address 192.168.1.101 -netmask 255.255.255.0 -status-admin up -failover-policy local-only -firewall-policy intercluster

Lif erstellen auf Knoten 2 im Cluster 1

cluster1::> network interface create -vserver cluster1 -lif inter1_2 -role intercluster -home-node cluster1-02 -home-port e0f -address 192.168.1.102 -netmask 255.255.255.0 -status-admin up -failover-policy local-only -firewall-policy intercluster 

Lif erstellen auf dem Knoten 1 im Cluster 2

cluster2::> network interface create -vserver cluster2 -lif inter1_1 -role intercluster -home-node cluster2-01 -home-port e0f -address 192.168.1.110 -netmask 255.255.255.0 -status-admin up -failover-policy local-only -firewall-policy intercluster

Cluster Peer Anfrage auf von Cluster1 auf Cluster2 stellen (PW setzten – irgendwas wird nur einmal gebraucht)

cluster1::> cluster peer create -peer-addrs <ip>

Beispiel:
onstore03::> cluster peer create -peer-addrs 172.25.1.21,172.25.1.22 -generate-passphrase -offer-expiration 2days

Notice: 
         Passphrase: gapasdfjleigSgVyk+79WEby 
         Expiration Time: 12/20/2019 16:09:08 +01:00 
         Initial Allowed Vserver Peers: - 
         Intercluster LIF IP: 172.25.1.24 
         Peer Cluster Name: estore 
        
         Warning: make a note of the passphrase - it cannot be displayed again.

Cluster Peer Anfrage von Cluster2 auf Cluster1 stellen (PW muss gleich sein)

cluster2::> cluster peer create -peer-addrs <ip>

Beispiel:
estore::> cluster peer create -peer-addrs 172.25.1.23,172.25.1.24

Notice: Use a generated passphrase or choose a passphrase of 8 or more characters. To ensure the
        authenticity of the peering relationship, use a phrase or sequence of characters that would be
        hard to guess.

Enter the passphrase: 
Confirm the passphrase:

Anzeigen des Cluster Peerings

cluster1::> cluster peer show
Peer Cluster Name         Cluster Serial Number Availability   Authentication
------------------------- --------------------- -------------- --------------
cluster2                  1-80-000008           Available      ok
 
cluster2::> cluster peer show
Peer Cluster Name         Cluster Serial Number Availability   Authentication
------------------------- --------------------- -------------- --------------
cluster1  

Anzeigen des Peer Status

cluster peer show
cluster peer show -instance
cluster peer health show

Jetzt müssen noch die Vserver verbunden werden damit dann später ein Snapmirror funktionieren kann. Dies muss man nur auf einem System machen.

SVM Peering von Cluster1 auf Cluster 2

cluster1::> vserver peer create -vserver svm1 -peer-vserver svm1_clust2 -applications snapmirror -peer-cluster cluster2

Anzegen des SVM Peerings
cluster1::> vserver peer show
            Peer        Peer                           Peering        Remote
Vserver     Vserver     State        Peer Cluster      Applications   Vserver
----------- ----------- ------------ ----------------- -------------- ---------
svm1        svm1_clust2 initializing cluster2          snapmirror     svm1_clust2
 
 
cluster2::> vserver peer show
            Peer        Peer                           Peering        Remote
Vserver     Vserver     State        Peer Cluster      Applications   Vserver
----------- ----------- ------------ ----------------- -------------- ---------
svm1_clust2 svm1        pending      cluster1          snapmirror     svm1

Snapmirror anlegen
Dies muss auf dem Ziel durchgeführt werden

cluster2::> snapmirror create -source-path svm1:vol_src01 -destination-path svm1_clust2:vol_dest01 -vserver svm1_clust2 -throttle unlimited -type XDP -policy MirrorAllSnapshots -schedule hourly
 
cluster2::> snapmirror create -source-path svm1:vol_srv01 -destination-path svm1_clust2:vol_dest01 -vserver svm1_clust2 -throttle unlimited -type XDP
 
cluster2::> snapmirror initialize -destination-path svm1_clust2:vol_dest01

Anzeigen auf dem Source welche Snapmirror es gibt bzw. von him ziehen

snapmirror list-destinations

Snapmirror aufbrechen auf der Destination

cluster2::> snapmirror break -destination-path svm1_clust2:vol_dest01

Snapmirror sync nach einem aufbrechen
Nach dem Broken-Off den Sync in der gleichen konstelation wieder aufnehmen
Snapmirror umdrehen
Snapmirror nach dem Broken-Off umdrehen da die STBY Seite das Volume übernommen hat.
Danach ist der alte Source die neue Destination

snapmirror resync -destination-path svm1:vol_src1 -source-path svm1_clust2:vol_dest1

Möchte man dies wieder auf den original Stand zurück stellen musss man das gleiche wieder mit einem Broken-Off und einem resync machen.
Dies macht man einfach so:

cluster1::> snapmirror break -destination-path svm1:vol_src1
cluster2::> snapmirror resync -destination-path svm1_clust2:vol_dest1 -source-path svm1:vol_src1

Unterbrechen eines Snapmirrors

cluster2::> snapmirror quiesce -destination-path svm1_clust2:vol_dest1

Nach einer Unterbrechen wieder starten

cluster2::> snapmirror resume -destination-path svm1_clust2:vol_dest1

Anzeigen der globalen Systemauslastung

system node run -node <nodename|local> sysstat -usx
Beispiel:
system node run -node sim-cluster-01 sysstat -usx

Auslastung und Durchsatz allgemein

statistics disk show (-interval 5 -iterations 5)
statistics aggregate show (-interval 5 -iterations 5)
statistics volume show (-interval 5 -iterations 5)
statistics lun show (-interval 5 -iterations 5)

Auslastung der einzelnen Spindeln (advanced user)

statistics disk show -sort-key disk_busy
statistics disk show -sort-key disk_busy -interval 5 -iterations 5
statistics disk show -sort-key disk_busy -interval 30 -iterations 1

Durchsatz der einzelnen Spindeln (advanced user)

Latency in Microsekunden
Bps = Bytes per secound
statistics disk show -sort-key operation_latency

Anzeige der top Clients

statistics top client show

Anzeigen der top Files

statistics top file show

Ausgabe von sehr genauen Stats (sehr viel Info)
ACHTUNG! Nicht vergessen diesen Job wieder zu stoppen!

set -privilege advanced
statistics start –object resource_headroom_cpu|aggr
statistics show –object resource_headroom_cpu|aggr
statistics stop -sample-id <id_des_jobs>

statistics start -preset statit
statistics start stop
statistics show -preset statit -counter disk_busy

Anzeigen der aktuellen Einstellungen

node autosupport show

Aktivieren vom Autosuppor inkl. Einstellungen

node autosupport modify -node <node> -state enable -mail-hosts <smtphost> -from <mail> -to <mail> -support enable -transport https

Beispiel:
node autosupport modify -node storage1 -state enable -mail-hosts 192.168.123.15 -from netapp@ich.at -to to@ich.at -support enable -transport https

Wohin wird überall versendet

node autosupport destinations show

Autosupport Check

system node autosupport check show
system node autosupport check show-details

Anzeigen der History

system node autosupport history show

Senden einer fehlgeschlagenen Nachricht

system node autosupport history retransmit

Versenden einer Message für einen Upgrade

system node autosupport invoke -node onstore03n1 -type test -message Systemupdate

Falls man ein Autosupport Bundle erstellen und runterladen muss, geht man so vor.

autosupport invoke -node * -type all -message "invoke.all" -uri file:///mroot/etc/log/retransmit/body.7z

Bis alle Daten gesammelt wurden kannes einige Zeit dauern.
So kann man sich einen Überblick verschaffen

autosupport history show
autosupport history show -node <node> -seq-num <####>

https://<cluster_mgmt_IP>/spi/<node_name>/etc/log/retransmit/

Beispiel:
https://172.22.3.8/spi/Storage01n1/etc/log/retransmit/

Takeover von Node 2 auf Node 1

storage failover takeover -ofnode <Node2>

Giveback von Node2 auf Node1

storage failover giveback –ofnode <Node2>

Cluster DBs kontrollieren(diag mode)

cluster ring show

Disable HA to be able to disable cluster failover:

cluster ha modify -configured false

Warning: This operation will unconfigure cluster HA.  Cluster HA must be
         configured on a two-node cluster to ensure data access availability in
         the event of storage failover.
Do you want to continue? {y|n}: y

Notice: HA is disabled.

storage failover modify -enabled false -node estore01
storage failover modify -enabled false -node estore02

Status anuzeigen des MetroClusters

metrocluster node show
metrocluster operation show

Um dies durchzuführen sind ein paar Schritte mehr nötig als unter dem 7-Mode.

Takeover bzw. Switchover
Health Check davor (Es müssen nicht alle Befehle immer durchgeführt werden jedoch die ersten 4 sind immer anzuraten):

metrocluster show
system health config show
metrocluster node show
metrocluster interconnect mirror show
metrocluster check run
metrocluster check aggregate show
metrocluster check cluster show
metrocluster check lif show
metrocluster check node show
metrocluster check config-replication show
metrocluster vserver show
metrocluster check enable-periodic-check

Switchover (erst wenn die ersten vier Schritte kontrolliert worden sind)

metrocluster switchover

Switchback (hier sind einige Punkte zu beachten)
Auf der noch laufenden Node sind dies Befehle durchzuführen. Diese sollten jedoch kurz bevor man den Giveback vor hat durchführen.

metrocluster heal -phase aggregate
metrocluster heal -phase root-aggregate
metrocluster operation show

Danach muss man sich via dem Services Prozessor auf der aktuell abgeschalteten Nodes anmelden

ssh -l admin <SP IP>
SP> system console
boot_ontap

ONTAP bootet eine Zeit lang. Dies kann man sehr gut über den Service Prozessor sehen. Ist die Node erfolgreich gestartet ist es empfohlen 3-5 Minuten zu warten bis man den Switchback durchführt.

Switchback (auszuführen auf der Node die noch aktiv ist):

metrocluster show
metrocluster vserver show -cluster <partner node>
metrocluster switchback

ONTAP Mediator kann auf er Webseite runtergeladen werden. Dieser sollte auf dienem dritten Standort laufen.
Installiert wird dieser auf einer Linux VM. Siehe dazu die Doku von NetApp.

metrocluster configuration-settings mediator add -mediator-address <ip>

Beispiel:
SuperCluster01::> metrocluster configuration-settings mediator add -mediator-address 172.11.11.11
Adding the mediator and enabling Automatic Unplanned Switchover. It may take a few minutes to complete.
Please enter the username for the mediator: mediatoradmin
Please enter the password for the mediator:
Confirm the mediator password:
Successfully added the mediator.

Danach ist der Mediator registiert

SuperCluster::> metrocluster configuration-settings mediator show
Mediator IP     Port    Node                    Configuration Connection
                                                Status        Status
--------------- ------- ----------------------- ------------- -----------
172.11.11.11
                31784   Node01                  true          true
                        Node02                  true          true
                        Node03                  true          true
                        Node04                  true          true

SuperCluster::> storage disk show -container-type mediator
                     Usable           Disk    Container   Container
Disk                   Size Shelf Bay Type    Type        Name      Owner
---------------- ---------- ----- --- ------- ----------- --------- --------
NET-1.1                   -     -   - VMDISK  mediator    -         Node01
NET-1.2                   -     -   - VMDISK  mediator    -         Node02
NET-1.3                   -     -   - VMDISK  mediator    -         Node03
NET-1.4                   -     -   - VMDISK  mediator    -         Node04
4 entries were displayed.

Danach sollte man noch die ONTAP Doku checken da es für das Umschalten vom Cluster noch ein paar Optionen gibt.

Anzeigen der Logs der letzten 10 Minuten

event log show -time >10m

Anzeigen der Health Alert Logs

system health config show
system health subsystem show

Anzeigen der letzten Alert Logs

system health alert show

Wenn die NetApp einmal einen Error in den Logs hatte bleibt dieser auch so lange bestehen bis man diesen gelöscht hat. Dies passiert auch bei jedem Metrocluster Switch. Hier wird auch das Monitoring (Checkmk) immer rot bleiben.

Löschen der Fehler aus dem Log
(Sehr brutale Methode)

system health alert delete -monitor * -alert-id *

Sensor Daten

system node environment sensors show
system node run -node <node name> -command environment chassis list-sensors

Anzeigen der physischen Disken (Modell und Firmware)

storage disk show -physical
storage show disk

Anzeigen des Update-Status von Disken

disk firmware show-update-status

Kontrolle des Disk Qual Firmware Packs

node run -node * -command rdfile /etc/qual_devices_v3

Anzeigen der aktuell Shelf Firmware

node run -node * sysconfig -a

Anzeigen der User und dessen Berechtigungen

security login show

Anlegen von Users für ein CheckMk Monitoring

security login create -user-or-group-name monitoring -application http -authentication-method password -role readonly
security login create -user-or-group-name monitoring -application ontapi  -authentication-method password -role readonly

Anlegen eines SSH Keys für den User Admin
Danach kann sich der User Admin entweder mit PW oder mit Key anmelden. Es ist nicht beides erforderlich.

security login modify -user-or-group-name admin -application ssh -authentication-method password -second-authentication-method publickey
security login publickey create -username admin -index 0 -publickey "SSH-Key"
security login modify -user-or-group-name admin -application ssh -authentication-method password -second-authentication-method none

Anzeigen der Disk Firmware

storage disk show -fields disk,type,model,firmware-revision,usable-size

Qual Pack installieren

set -privilege advanced 
storage firmware download -node * -package-url http://<web-server>/path/qual_devices.zip 

set -privilege advanced
storage firmware download -node * -package-url http://<web-server>/path/all.zip
storage disk firmware update -node <node1>
storage disk firmware show-update-status

Am besten man geht in den Active IQ unter https://mysupport.netapp.com/ und gibt die gewünschten Daten ein. Danach kommt man ein PDF mit allen informationen was zu tun ist bzw. wie groß ein Update Sprung sein darf.

Das Update von einem Single Cluster ist im Grunde recht simpel.
Befolgen der Anweisungen vom Active IQ.

Anzeigen der Images im local Repo und eventuell löschen von alten Images.

cluster image package show-repository
cluster image package delete -version <version>

Download vom ONTAP Image auf die Nodes

cluster image package get -url http://<url>

Dem Autosupport eine Startmeldung geben

autosupport invoke -node * -type all -message "MAINT Starting_NDU"

Update Check

cluster image validate -version <version>

Update

cluster image update -version <version> -estimate-only
cluster image update -version <version>
cluster image show-update-progress

Dem Autosupport eine Endemeldung geben

autosupport invoke -node * -type all -message "MAINT END"