Stone Wiki

This page is read only. You can view the source, but not change it. Ask your administrator if you think this is wrong.
====== Netapp ONTAP9 ======

**Diese Doku wurde erstellt unter ONTAP 9.x (9.3 und 9.4)**

====== Globales ======

**Anzeigen der ONTAP Version**
<code>version</code>
\\


**Anzeigen  der  Seriennummer**
<code>system node show -node <Nodename></code>
\\

**Anzeigen der Mode Settings der FC/Netzwerk Ports**
<code>ucadmin show
ucadmin show -c
</code>
\\


**Anzeigen der FC/Netz Devices in der NetApp**
<code>ucadmin show</code>
\\

**NTP Anzeigen**
<code>cluster time-service ntp server show</code>
\\

**NTP Sync anzeigen (diag mode)**
<code>cluster time-service ntp status show</code>
\\

**NTP setzten**
<code>cluster time-service ntp server modify -server <server> -version auto

Beispiel:
cluster time-service ntp server modify -server 192.168.0.11 -version auto
</code>
\\

**NTP Sync anzeigen (diag mode)**
<code>cluster time-service ntp status show</code>
\\

**Timezone anzeigen**
<code>timezone</code>
\\

**Timezone wechseln**
<code>timezone -timezone Europe/Vienna</code>
\\

**Wechseln in den diag Mode**
<code>set diag</code>
\\

**Wechseln in den Admin Mode**
<code>set admin</code>
\\

**Anzeigen aller Lizenzen**
<code>
license show
license show-status
</code>
\\

**Lizenz hinzufügen**
<code>license add</code>
\\

====== Service Prozessor ======
**Infos zum Service Prozessor**
<code>system service-processor show</code>
\\

**Anmelden am Server Prozessor**
<code>
TBD
</code>
\\

===== Netzwerk vom Service Prozessor =====

** Netzwerk vom SP Aneigen **
<code>
system service-processor show
system service-processor network show
</code>
\\

** Vergeben der Netzwerkeinstellungen **
<code>
system service-processor network modify -node storage01-01 -address-family IPv4 -enable true -ip-address 10.0.0.11 -netmask 255.255.255.0 -gateway 10.0.0.1
</code>

===== Update vom Service Prozessor =====

** Anzeigen der BMC Version **
<code>
system service-processor show
system service-processor image show
system service-processor image show -instance
</code>
\\

** Anzeigen ob Autopatch aktiviert ist **
<code>
system service-processor image show -fields autoupdate
</code>
\\

** Herunterladen eines neuen SP/BMC Images **
\\
Es muss ein neues Image von der NetApp Webseite runter geladen werden. Dies muss via eines WebServers der im Netz des Managements steht zur verfügung gestellt wird.
<code>
set -privilege advanced
system node image get -node <node> -package <url>

Beispiel:
Storage01::> set -privilege advanced
Storage01::*> system node image get -node Storage01n1 -package http://10.0.0.115/netapp/308-03872_A0_11.3P2_BMC_FW.zip
Storage01::*> system node image package show
</code>
\\

** Update des Images am SP ** \\
Wenn Autoupdate auf true steht sollte innerhalb der nächsten 30 Minuten das Update automatisch durchgeführt werden. \\
Wenn Autoupdate auf false steht oder man nicht so lange warten möchte kann man dies auch manuell starten.\\
<code>
system service-processor image show -fields autoupdate
</code>
\\

Wenn Autoupdate auf true steht man jedoch trotzdem nicht warten möchte kann man das Update auch manuell durchführen.
<code>
system service-processor image update -node <node> -package <filename>

Beispiel:
Storage01::*> system service-processor image update -node Storage01n1 -package 308-03872_A0_11.3P2_BMC_FW.zip
</code>
\\

** Anzeigen des Updatestatus **
<code>
system service-processor image update-progress show
</code>
\\

** Anzeigen der Version nach dem Update **
<code>
system service-processor show
</code>
\\

Danach sollte man sich am Service Prozessor via SSH anmelden und checken ob der Switch noch ein Update braucht. Hier ist es am besten man folgt den Update-Pfad auf der NetApp Seite den man bekommt wenn man das Image runter lädt.
\\
\\



====== Interfaces ======

**Anzeigen der Netzwerkkarten und Devices**
<code>network port show</code>
\\

**Interface Group anzeigen**
<code>ifgrp show</code>
\\

**Interface Group anlegen**
<code>ifgrp create -node <node> -ifgrp a0a –distr-func ip –mode multimode_lacp</code>
\\

**Interfaces in ifgrp legen**
<code>
ifgrp add-port -node <node> -ifgrp <ifgrp-name> -port <port>

Beispiel:
ifgrp add-port -node storage01n1 -ifgrp a0a -port e0c
ifgrp add-port -node storage01n1 -ifgrp a0a -port e0d
</code>
\\

**VLANs anzeigen**
<code>vlan show</code>
\\

**VLAN einrichten**
<code>vlan create -node <node> -vlan-name <interface>-<vlan-id>

Beispiel:
vlan create -node rtp-nau-01 -vlan-name a0a-44
</code>
\\

**LANs löschen**
<code>vlan delete -node <node> -vlan-name <interface>-<vlan-id>
\\

Beispiel:
vlan delete -node rtp-nau-01 -vlan-name a0a-44
</code>
\\


====== Ipspaces ======

Möchte man mit IP Spaces arbeiten muss dieser angelegt werden bevor man einen SVM anlegt.

**Anzeigen der IP Spaces**
<code>ipspace show</code>
\\

**Anlegen eines IP Space**
<code>ipspace create -ipspace <name></code>
\\


====== Broadcast Domain ======

Dies ist eine Gruppe von Ports in ONTAP. \\
Ein physischer oder auch virtueller Netzwerk Port kann immer nur in einer Broadcast Domain enthalten sein.
Dies wird gerne verwendet wenn ein Hosting Provider die Kunden separieren möchte und einzelne Interfaces für einen Kunden reservieren möchte.

**Anzeigen der Broadcast Domains**
<code>broadcast-domain show</code>
\\

Mehr Infos gibt es dazu von mir noch nicht. Ist aber ganz einfach ;-)
\\



====== Lifs ======

Es können bei einem bestehenden LIF keine Protokolle mehr hinzugefügt werden. Daher lieber vorher denken oder etwas offener anlegen und die Protokoll dann später im SVM einschränken ;-)
\\

**Anzeigen der Lifs bzw. der Storage Netzwerk Interfaces. Hier sind alle physischen und virtuellen (LIF) angeführt**
<code>network interface show</code>
\\

**Anlegen eines Lifs**
<code>network interface create -vserver <name> -lif <name> -role data -data-protocol <protokoll> -home-node <name_home_node> <interface>

Beispiel (anlegen eines Lifs für FiberChannel für ESX Server)
network interface create -vserver esx_fc -lif lif_esx_fc_01 -role data -data-protocol fcp -home-node netapp-207-01 0c
</code>
\\

**Lif zwischen Nodes migrieren**
<code>network interface revert -vserver <vserver_name> -lif <lif_name>

Beispiel (Lif zur Homenode migrieren)
network interface revert -vserver netapp-213 -lif cluster_mgmt
</code>
\\

**Löschen eines Lifs**
<code>
network interface modify -vserver snapmirror -lif lif_snap_01 -status-admin down
network interface delete  -vserver snapmirror -lif lif_snap_01
</code>
\\

**Failover Policies**
[[https://library.netapp.com/ecmdocs/ECMP1636021/html/GUID-92CC5F58-5EB8-4E2D-88F0-FA2F740062E0.html]]
\\

**Failover Groups anzeigen**
<code>failover-groups show</code>
\\



**DNS / Hostname File**
<code>vserver services name-services dns hosts create –vserver <vserver> -address <ip> -hostname <hostname> -alias <alias></code>
\\


====== Fibre Channel ======

**Globaler Status zu den Adaptern**
<code>fcp adapter show</code>
\\

**Genaue Infos zu einem FC Port**
<code>
fcp adapter show -instance -node <nodename> -adapter <adapter>
Bespiel:
fcp adapter show -instance -node netapp-ssh-01 -adapter 0c
</code>
\\

**Adapter aktivieren / deaktivieren**
<code>
network fcp adapter modify -node <node> -adapter <adapter> -status-admin <up|down>

Beispiel: 
network fcp adapter modify -node netapp-207-01 -adapter 0c -status-admin 
</code>
\\

====== SVM (Storage Virtual Maschine) ======
Vserver werden benötigt bzw. verwendet um den Client Traffic von echten NetApp Kopf abzuschirmen. Will man also ein Volume anlegen und dieses via NFS oder FC präsentieren muss dies in einem Vserver erfolgen. 
\\

===== Anlegen eines Vservers =====
<code>vserver create -vserver <name> -subtype default -rootvolume <name> -rootvolume-security-style unix -language C.UTF-8 -snapshot-policy default -is-repository false -foreground true -aggregate <name> -allowed-protocols <proto> -comment <kommentar will man will>

Beispiel: (anlegen eines Vservers für ESX Server die via FC angebunden werden)
vserver create -vserver esx_fc -subtype default -rootvolume root_esx_fc -rootvolume-security-style unix -language C.UTF-8 -snapshot-policy default -is-repository false -foreground true -aggregate aggr_sas_01 -allowed-protocols fcp -comment vserver_for_esx_fiberchannel</code>

\\

===== Verserver DNS Settings anzeigen =====
<code>vserver services dns show</code>

\\

===== Vserver DNS Settings setzten =====
(wird für AD Join benötigt)
<code>vserver services dns create -vserver presseshare -domains domain.loc -name-servers 192.168.13.100,192.168.13.88,192.168.13.77</code>

\\

===== Vserver in das AD Join =====
<code>
cifs create -vserver <vserver> -cifs-server <servername> -domain <windows domain>

Beispiel:
cifs create -vserver net23_pu_cifs_medialib_01 -cifs-server MEDIALIB -domain supergeiledomain.loc
</code>

\\

WICHTIG! \\
Wird ein Volume angelegt das als CIFS Share verwendet werden soll muss man den security-style vom Vol auf NTFS stellen.

\\

===== Einem Vserver ein Aggr zuteilen =====
Dies wird zB für Trident benötigt. Kann online durchgeführt werden und das Aggr muss nicht dezidiert sein.
<code>
vserver modify -vserver <vserver> -aggr-list <aggr1,aggr2>

Beispiel:
vserver modify -vserver trident_test -aggr-list aggr_sata_01_n1
vserver modify -vserver trident_test -aggr-list aggr_sata_01_n1,aggr_sata_02_n1

vserver show -vserver <vserver>
</code>
\\

===== Aggr einem Vserver wieder wegnehmen =====
<code>
vserver remove-aggregates -vserver <vserver> -aggregates <aggr>

Beispiel:
vserver remove-aggregates -vserver trident_test -aggregates aggr_sata_01_n1
</code>
\\
\\
===== Export Policy =====

\\

**Anzeigen der Policy**
<code>vserver export-policy show</code>
\\

**Anzeigen der Berechtigungen einer Policy**
<code>vserver export-policy rule show</code>
\\

**Erstellen einer Export Policy**
<code>vserver export-policy create -vserver esx_pu_nfs_02 -policyname esx</code>
\\

**Hinzufügen von rules zur Policy**
<code>vserver export-policy rule create -vserver esx_pu_nfs_02 -policyname esx -clientmatch <IP ADDRESS> -rorule any -rwrule any -allow-suid true -allow-dev true -protocol <any|nfs|nfs3|nfs4|cifs> -superuser any -ruleindex 1</code>
\\

**Hinzufügen von IPs zur rule**
<code>vserver export-policy rule add-clientmatches -policyname esx -ruleindex 1 -clientmatches <IP ADDRESS></code>
\\



====== Disken ======
Der Befehl "storage disk" kann auch abgekürzt werden durch "disk"


**Anzeigen der aller Disks**
<code>storage disk show</code>
\\

**Anzeigen aller Disk Optionen eines Node**
<code>
storage disk option show
storage disk option show -node <nodename>
</code>
\\

**Auto Assign Option verändern**
<code>storage disk option modify -autoassign <off|on></code>
\\

**Globale Handling mit Disken**
<code>storage disk show </code>
\\

**Anzeigen der Spare Disken**
<code>
storage aggregate show-spare-disks
disk show -container-type spare
</code>
\\

**Anzeigen unassigned Platten**
<code>disk show -container-type unassigned</code>
\\

**Anzeigen defekter Disken**
<code>
storage disk show -state broken
disk show -container-type broken
disk show -broken
</code>
\\

**Anzeigen der Partner Disken**
<code>storage disk show -state partner</code>
\\

**Anzeigen aller Disken eines Aggr**
<code>storage disk show -aggregate <aggr></code>
\\

**Anzeigen der Ownership der Disks**
<code>storage disk show -ownership</code>
\\

**Disk auto Assign**
<code>disk option show</code>
\\


**Disk einen Kopf zuweisen**
<code>
storage disk assign -disk <disk> -owner <nodename>
Beispiel:
storage disk assign -disk NET-1.1 -owner sim-cluster-01
</code>
\\

**Disk einem Kopf wegnehmen**
<code>
storage disk removeowner -disk <disk>
storage disk removeowner -disk <disk01,disk02,disk03>
Beispiel:
storage disk removeowner -disk NET-1.1,NET-1.2,NET-1.3,NET-1.4
<\code>
\\

**Disk blinken lassen**
<code>
storage disk set-led -action blink -duration <time> -disk <disk>
Beispiel Disk blinkt für 5 Minuten:
storage disk set-led -action blink -duration 5 -disk NET-1.1
</code>
\\

**Disk blinken deaktivieren**
<code>
storage disk set-led blinkoff -disk NET-1.1
</ode>
\\

**Disk mit einer anderen ersetzten (Daten kopieren)**
<code>
storage disk replace -disk <disk> -action start -replacement <disk>
</code>
\\

**Disk löschen (zero)**
<code>
disk zerospares -owner netapp-ssh-01
</code>
\\

**Disk zero Prozess anzeigen**
<code>
disk show -state zeroing
</code>
\\

** Disk Pfade anzeigen **
<code>
storage array disk paths show
node run -node <node> -command storage show disk -p
</code>
\\


====== Aggregate ======
Der Befehl "storage aggregate" kann auch abgekürzt werden durch "aggr"
\\

**Anzeigen aller Aggr**
<code>
storage aggregate show
</code>
\\

**Anzeigen der Auslastung der Aggr**
<code>
df -A -autosize
</code>
\\

**Anzeigen der Status Infos eines Aggr**
<code>
storage aggregate show-status
</code>
\\

**Anzeigen der Speicherplatzes in einem Aggr (Details)**
<code>
storage aggregate show-space
</code>
\\

**Anzeigen aller Optionen eines Aggr**
<code>
aggr show <aggr>
</code>
\\

**Anzeigen aller Aggr die nicht online sind**
<code>
storage aggregate show -state !online
</code>
\\

**Anlegen eines neuen Aggr**
<code>
storage aggregate create -aggregate <aggr_name> -diskcount <anz_disken> -raidtype <raidtype> -maxraidsize <max_anz_disk> -disksize <disksize_in_Gb>
Beispiel: 
storage aggregate create -aggregate aggr_test01 -diskcount 5 -raidtype raid_dp -maxraidsize 6 -disksize 1
</code>
\\

**Erweitern eines Aggr**
Hier muss man gut aufpassen bezüglicher der Performance! Thema Rebalance!
<code>
storage aggregat add-disks -aggregate <aggr_name> -diskcount <disken#> -disksize <disksize_in_GB>
Beispiel:
storage aggregat add-disks -aggregate aggr_test01 -diskcount 1 -disksize 1
</code>
\\

**Löschen eines Aggr**
<code>
aggr offline -aggregate aggr_test01
</code>
\\

**Raidsize im Aggr ändern**
<code>
aggr modify -aggregate aggr_test01 -maxraidsize 14
</code>
\\

**Umbenennen eines Aggr**
<code>
storage aggregate rename -aggregate <name> <newname>
Beispiel:
storage aggregate rename -aggregate aggr_test01 aggr_test_01
</code>
\\

** Anzeigen ob alle Plex online sind (Metrocluster) **
<code>
storage aggregate plex show -fields aggregate,status,is-online,Plex,pool
</code>
\\

===== Hybride Aggr =====

**Anlegen eines normalen Aggr**
<code>
aggr create -aggregate aggr_test01 -diskcount 5 -raidtype raid_dp -maxraidsize 16 -disktype FCAL -node svl-nau-01
</code>
\\

**Anzeigen ob ein Aggr als Hybride eingestellt ist**
aggr show -fields hybrid-enabled
</code>
\\

**Setzten der Hybride Option**
<code>
aggr modify -aggregate aggr_test01 -hybrid-enabled true
</code>
\\

**SSDs hinzufügen in das Hybride Aggr**
<code>
aggr add -aggregate aggr_test01 -raidtype raid4 -diskcount 3 -disktype ssd
</code>
\\

**Anzeigen der des Status des Aggr**
<code>
aggr show-status aggr_test01
</code>
\\

===== FabricPool Aggr =====
Dies geht nur mit SSD Aggr. \\
Hier werden Daten die normal lokal liegen in die Cloud ausgelagert. \\
Hier kann die Entscheidung von der Storage getroffen werden via Policy wann und was ausgelagert werden soll. \\
Storagegrid ist gratis dabei. Wenn AWS oder die MS Cloud verwendet wird muss eine Lizenz gekauft werden.
\\

====== Volume ======

===== Normales FlexVol =====

**Anlegen eines Volumes**
<code>
Beispiel: (Volume für ESX via FC und Snapshots täglich für drei Tage)
volume create -vserver <vservername> -volume <name> -aggregate <name> -size <größe> -state online -policy <policy> -unix-permissions ---rwxr-xr-x -type RW -snapshot-policy <policy> -foreground true -space-guarantee volume -percent-snapshot-space 0

Beispiel:
volume create -volume vol_srv_01 -aggregate aggr_sas_01 -size 1t -state online -policy default -unix-permissions ---rwxr-xr-x -type RW -snapshot-policy rt_3_days -foreground true -space-guarantee volume -percent-snapshot-space 0
</code>
\\

**Volumes anzeigen**
<code>
df -V -autosize
df -V -h
volume show
</code>
\\

**Volumes anzeigen die nicht online sind**
<code>
volume show -state !online
</code>
\\

**Volumes anlegen**
<code>
vol create -vserver <svn> -volume <volume> -aggregate <aggr> -size <size> -state online -policy <policy> -unix-permissions ---rwxr-xr-x -type RW -snapshot-policy <policy> -foreground true

Beispiel für alles default
vol create -vserver svm_red -volume test01 -aggregate svl01_data_001 -size 5G -state online -policy default -unix-permissions ---rwxr-xr-x -type RW -snapshot-policy default -foreground true
</code>
\\

**Volumes löschen**
<code>
volume  offline -vserver svm_red -volume test01
volume delete -vserver svm_red -volume test01
</code>
\\

Nach dem löschen eines Volumes wird der Speicher noch nicht sofort freigegeben. Es gibt eine Recovery-Queue die das Volume per default noch für 12 Stunden aufhebt und dann automatisch löscht. \\
Benötigt man den Speicher sofort kann man im Diag Modus diese Queue löschen.
<code>
netapp-001::> set diagnostic
netapp-001::> vol show
netapp-001::*> vol recovery-queue show
netapp-001::*> vol recovery-queue purge-all -vserver svm_01
</code>

\\

**Volumes verschieben**
<code>
volume move start -vserver <vserver> -volume <vol> -destination-aggregate <new_aggr> -perform-validation-only false

Beispiel:
volume move start -vserver svm_red -volume vol_move -destination-aggregate svl01_data_001 -perform-validation-only false
</code>
\\

**Volume Move Status**
<code>
volume move show

Beispiel:
svl-nau::> vol move show
Vserver   Volume     State    Move Phase Percent-Complete Time-To-Complete
--------- ---------- -------- ---------- ---------------- ----------------
svm_red   vol_move   healthy  replicating
                                         31%              Wed Nov 28 09:15:06 2018
</code>
\\

**Volume Rehost**
Verschiebt Volumes zwischen SVM's. Dies geht nur offline.
\\

**Volume Clone**
<code>Beispiel:
vol clone create -flexclone vol_iso_03 -type RW -parent-vserver esx_fc_213 -parent-volume vol_iso_02 -foreground true -parent-snapshot daily.2018-12-03_0010</code>
\\

**Volume Clone Split**
<code>Bespiel:
vol clone split start -flexclone vol_iso_03 -vserver esx_fc_213 -foreground true</code>
\\

** Inodes eines Volumes**
Anzeigen der Max und verbrauchten Inodes
<code>
vol show <vol> -fields files,files-used

Beispiel:
storage01::> vol show app_sata_01 -fields files,files-used
vserver    volume             files    files-used
---------- ------------------ -------- ----------
app_nfs_01 app_sata_01 21251126 20205424
</code>

\\
**Vergrößern der Inodes**
<code>
vol modify -vserver <vserver> <vol> -files 30000000
</code>
\\


===== FlexGroup Volume =====
Ein Volume kann nur maximal 100Tb groß werden. Durch Flex Group Vol können mehrere Volumes zu einer Gruppe verbaut werden.
\\

**Anlegen FlexGroup Volume über Deloy (ich mach dies lieber manuell)**
<code>
flexgroup deploy -vserver svm_red -size 5G -type RW 
</code>
\\

**Anlegen FlexGroup Volume manuell**
<code>
vol create -vserver svm_red -volume <name> -aggr-list <aggr1 aggr2 …> -aggr-list-multiplier 4 -size 5G

Beispiel:
vol create -vserver svm_red -volume vol_gr1 -aggr-list svl01_data_001 svl02_data_001 -aggr-list-multiplier 4 -size 5G
</code>
\\

**AnzeigenFlexGroup Volume der einzelnen Stücke**
<code>
volume show -vserver svm_red -volume vol_gr* -is-constituent true
</code>
\\

**Vergrößern FlexGroup Volume (hinzufügen neuer Volumes)**
<code>
vol expand -vserver svm_red -volume vol_gr1 -aggr-list svl01_data_003,svl02_data_002 -aggr-list-multiplier 1 -foreground true
</code>
\\

**Vergrößern FlexGroup Volume (einzelne Volumes vergrößern)**
<code>
vol modify -vserver svm_red -volume vol_gr1 -size 8G
vol modify -vserver svm_red -volume vol_gr1 -size +1G
</code>
\\

**ACHTUNG! Verkleiner ist NICHT möglich!**
\\

**Löschen FlexGroup Volumes**
<code>
vol offline -vserver svm_red -volume vol_gr1
vol delete -vserver svm_red -volume vol_gr1
</code>
\\

===== Quota =====
Quotas können auf User / Gruppen / Qtrees gesetzt werden. \\

** Quota Policy anlegen - legt nur eine leer Policy an ** \\
Man kann nur eine Policy pro vServer anlegen.\\
<code>
vol quota policy create -vserver <vserver> -policy-name <policy>

Beispiel: 
vol quota policy create -vserver esx_pu_nfs_01 -policy-name appserver1
</code>
\\

** Quota Rule auf die Policy legen - hinterlegt das Regelwerk **
<code>
vol quota policy rule create -vserver <vserver> -policy-name <policy> -volume <volume> -type <tree/user/group> -target <targetname or "" for no target> -soft-disk-limit <size> -disk-limit <size>

Beispiel:
vol quota policy rule create -vserver esx_tu_nfs_01 -policy-name appserver1 -volume tu_sata_nfs_01 -type tree -target qt_appserver1 -soft-disk-limit 10G -disk-limit 12G
</code>
\\

** Quota Policy dem vServer zuweisen **
<code>
vserver modify -vserver <vserver> -quota-policy <policy>

Beispiel:
vserver modify -vserver esx_tu_nfs_01 -quota-policy appserver1
</code>
\\

** Quota auf dem Volume aktivieren **
<code>
vol quota on -vserver <vserver> -volume <volume>

Beispiel:
vol quota on -vserver esx_tu_nfs_01 -volume tu_sata_nfs_01
</code>
\\

** Quota Report von einem vServer anzeigen **
<code>
vol quota report -vserver <vserver>

Beispiel:
vol quota report -vserver esx_tu_nfs_01

</code>

** Quota Regel anpassen / ändern **
<code>
vol quota policy rule modify -vserver <vserver> -policy-name <policy> -volume <volume> -type tree -target <qtree> -soft-disk-limit <size> -disk-limit <size>
vol quota resize -vserver <vserver> -volume <volume> -foreground


Beispiel:
vol quota policy rule modify -vserver esx_tu_nfs_01 -policy-name appserver1 -volume tu_sata_nfs_01 -type tree -target qt_appserver1 -soft-disk-limit 18G -disk-limit 20G
vol quota resize -vserver esx_tu_nfs_01 -volume tu_sata_nfs_01 -foreground
vol quota report -vserver esx_tu_nfs_01
</code>

\\

====== Snapshots ======
 

Volume Snapshots werden mittels snapshot policies gesteuert. In den snapshot policies sind die schedules konfiguriert.

**Anzeigen der Snapshot policies**
<code>
snapshot policy show 

Vserver: EC-Nearstore01
                         Number of Is
Policy Name              Schedules Enabled Comment
------------------------ --------- ------- ----------------------------------
default                          3 true    Default policy with hourly, daily & weekly schedules.
    Schedule               Count     Prefix                 SnapMirror Label
    ---------------------- -----     ---------------------- -------------------
    hourly                     6     hourly                 -
    daily                      2     daily                  daily
    weekly                     2     weekly                 weekly

default-1weekly                  3 true    Default policy with 6 hourly, 2 daily & 1 weekly schedule.
    Schedule               Count     Prefix                 SnapMirror Label
    ---------------------- -----     ---------------------- -------------------
    hourly                     6     hourly                 -
    daily                      2     daily                  -
    weekly                     1     weekly                 -

none                             0 false   Policy for no automatic snapshots.
    Schedule               Count     Prefix                 SnapMirror Label
    ---------------------- -----     ---------------------- -------------------
    -                          -     -                      -

3 entries were displayed.
</code>



**Anzeigen der Volume Snapshot Policy**
<code>volume show -vserver backup_iscsi  -fields snapshot-policy,volume 
         
vserver      volume            snapshot-policy 
------------ ----------------- --------------- 
backup_iscsi ecs01veeam_RC0_01 none            
backup_iscsi ecs01veeam_RC1_01 none            
backup_iscsi ecs01veeam_RC2_01 none            
backup_iscsi ecs02veeam_RC0_01 none            
backup_iscsi ecs02veeam_RC1_01 none            
backup_iscsi ecs02veeam_RC2_01 none            
backup_iscsi root_backup_iscsi default         
backup_iscsi veeam_tape_01     none            
8 entries were displayed.
</code>

** Disable Volume Snapshots**
<code>volume modify -vserver backup_iscsi -volume ecs02veeam_RC2_01 -snapshot-policy none</code>

**Delete Volume Snapshots**
<code>
snapshot delete -vserver backup_iscsi -volume ecs02veeam_RC2_01 -snapshot <name>

snapshot delete -vserver backup_iscsi -volume ecs02veeam_RC2_01 -snapshot *
</code>
\\

**Erstellen einer Snapshot Policy**
<code>snapshot policy create -policy <name> -count1 <count> -enabled true -schedule1 <sched_wann>

Beispiel:
snapshot policy create -policy rt_5_days -count1 5 -enabled true -schedule1 daily</code>
\\

**Snapspot Verzeichnis** \\
So kann man die Sichtbarkeit des .snapshot Verzeichnisses ein und ausschalten
<code>
vol modify -vserver <vserver> -volume <volume> -snapdir-access <true|false>
</code>
\\

Hat man CIFS im Einsatz muss hier am Share selbst auch noch etwas tun damit der Verzeichnis angezeigt wird
<code>
cifs share properties add -vserver <vserver> -share-name <sharename> -share-properties showsnapshot
</code>

\\


===== Snapshot Schedule anlegen =====
**Anlegen eines Jobs**
<code>
job schedule cron create -name 12hour -minute 10 -hour 0,12
</code>
\\

Anlegen einer Snapshot Policy
<code>
snapshot policy create -policy rt_5_days_2hours -enabled true -schedule1 12hour -count1 5

netapp::> snapshot policy show  -policy rt_5_days_2hours
Vserver: netapp-ssh
                         Number of Is
Policy Name              Schedules Enabled Comment
------------------------ --------- ------- ----------------------------------
rt_5_days_2hours                 1 true    -
    Schedule               Count     Prefix                 SnapMirror Label
    ---------------------- -----     ---------------------- -------------------
    12hour                     5     12hour                 -
</code>
\\

====== LUN ======


**Erstellen einer Lun**
<code>lun create -path <lun_path> -size <size> -ostype <vmware|windows_2008|windows|linux> -space-reserve <enable|disabled> -space-allocation <enable|disabled> -class regular -vserver <vserver_name>

Beispiel:
lun create -path /vol/vol_lin_01/lun_lin_01 -size 500G -ostype vmware -space-reserve disabled -space-allocation disabled -class regular -vserver esx_fc</code>
\\

**Lun mappen**
<code>lun map -path <lun_path> -igroup <igroup>

Beispiel:
lun map -path /vol/vol_lin_01/lun_lin_01 -igroup ESX_01</code>
\\

**Unmap einer Lun**
<code>lun unmap -path <lun_path> -igroup *

Beispiel:
lun unmap -path /vol/vol_lin_01/FAS207_SRV_01 -igroup *</code>
\\

**Löschen einer Lun**
<code>lun delete <lun_path></code>
\\


======  Deduplication ======
 

**Status Dedup**
<code>sis status
volume efficiency show -vserver esx_fc -volume <volume_name></code>
\\


**Dedup auf einem Volume aktivieren (nicht inline sondern per Schedule)**
<code>volume efficiency on -volume <volume_name> -vserver <vserver_name>
volume efficiency modify -volume <volume_name> -policy default

Optional:
volume efficiency modify -volume <volume_name> -schedule mon-sun@2</code>
\\


**Anzeigen der Jobs und dessen Details**
<code>vol efficiency show
vol efficiency show -instance 
vol efficiency show -instance -vserver esx_pu_nfs_02 -volume pu_sas_winRC0_01</code>
\\

**Anzeigen der Ersparnis aller Volumes**
<code>df -V -h -s</code>
\\

**Cross Volume Inline Deddup**
<code>Parameter -cross-volume-inline-dedup</code>
\\

Inline Dedup auf FAS (nicht AFF Systemen). Inline Dedup macht aktuell NUR auf SSD's sinn. Hier wird auf SSD's IO's und schreibe Zyklen gespart dafür belastet es den Kopf. Normal kann man dies nur auf AFF Systemen setzten. Hat man jedoch eine FAS mit SSD's kann man dies auch aktivieren. Dazu ist jedoch davor ein wichtiger Schritt nötig.

<code>
Storage04::> set -privilege diag
Storage04::*> system node run -node Storage04n1 
Type 'exit' or 'Ctrl-D' to return to the CLI

Storage04n1> priv set diag
Warning: These diagnostic commands are for use by NetApp personnel only.
 
Storage04n1*> options sis.idedup_allow_non_aff_hya on

Storage04n1*> options sis
sis.do_idedup_policy_check   off        
sis.idedup_allow_non_aff_hya on         
sis.max_vfiler_active_ops    8

Storage04::*> set -privilege admin

Storage04::> volume efficiency modify -vserver esx_pu_nfs_02 -volume pu_ssd_oraRC1_01 -inline-dedupe true -policy default
</code>
\\

====== Komprimierung ======


Es gibt zwei verschiedene Arten 
\\
\\
**Adaptive** \\
Es werden immer 8 Blöcke komprimiert 
Hier wird das System nicht so stark belastet jedoch wird nicht stark komprimiert. \\ 
Diese Variante sollte man für Daten verwenden die stark unter Last sind. Auch viele Random Reads funktionieren hier sehr viel flotter als unter "Secondary". 
\\

**Secondary** \\
Es werden immer 32 Blöcke komprimiert. 
Hier wird das System stärker belastet jedoch wird auch mehr komprimiert. 
Sollte nur in speziellen Fällen verwendet werden. \\
\\

**Post Compression** \\
Wird via Schedule gestartet und das Volume wird nach den Veränderungen gescannt. \\
Diese Art der Compression ist geeignet für FAS Systeme mit SATA und SAS Disken. 


**Inline Compression** \\ 
Wird wie der Name schon sagt Inline gemacht. Sprich bevor ein IO geschrieben wird, wird dieser schon versucht im Ram der Storage zu komprimieren. 
Damit spart man sich IO und geht schonend mit SSDs um. \\
Diese Art der Compression ist geeignet für FAS und AFF Systeme mit SSDs. Über Hybride Aggr kann man auch noch nachdenken. 
\\

**Aktivieren der normalen Adaptive Post Komprimierung mit dem default Schedule** 
<code>vol efficiency modify -vserver <vserver> -volume <volume> -compression true </code>
\\ 

**Aktivieren der normalen Adaptive Post + der Inline Komprimierung mit dem default Schedule **
<code>vol efficiency modify -vserver <vserver> -volume <volume> -compression true -inline-compression true </code>
\\
 
Diese Befehle lassen sich natürlich auch noch wie immer mit einer Policy und einem Schedule versehen. 



\\


====== Compaction ======

Hier werden nicht volle 4k WAFL Blöcke mit anderen nicht vollen Blöcken gefüllt so das man möglichst volle 4k Blöcke erreicht. Geht nur für Thin Volume's.
\\


====== Snapmirror ======

Um einen Snapmirror einzurichten der den lokalen Cluster verlässt muss ein Intercluster Peering durchgeführt werden.
\\
\\
ACHTUNG! \\
Snapmirror wird in der Shell anders behandelt als im Systemmanger bzw GUI.\\
Shell: Es wird immer alles auf der Destination gestartet bzw. angezeigt.\\
Systemmanger: Es wird immer alles auf der Source angezeigt und gestartet.
\\
\\

===== Intercluster Peering =====


[[https://docs.netapp.com/ontap-9/index.jsp?topic=%2Fcom.netapp.doc.pow-csp%2FGUID-0F81B700-7B79-456F-9C89-3A7D6451AEB6.html|NetApp Offiziell]]

In diesem Beispiel ist Cluster01 (HA Pärchen) der Source und Cluster02 (Single Node) die Destination
\\

**Lif's erstellen**
\\

**Lif erstellen auf Knoten 1 im Cluster 1**
<code>cluster1::> network interface create -vserver cluster1 -lif inter1_1 -role intercluster -home-node cluster1-01 -home-port e0f -address 192.168.1.101 -netmask 255.255.255.0 -status-admin up -failover-policy local-only -firewall-policy intercluster</code>
\\

**Lif erstellen auf Knoten 2 im Cluster 1**
<code>cluster1::> network interface create -vserver cluster1 -lif inter1_2 -role intercluster -home-node cluster1-02 -home-port e0f -address 192.168.1.102 -netmask 255.255.255.0 -status-admin up -failover-policy local-only -firewall-policy intercluster </code>
\\

**Lif erstellen auf dem Knoten 1 im Cluster 2**
<code>cluster2::> network interface create -vserver cluster2 -lif inter1_1 -role intercluster -home-node cluster2-01 -home-port e0f -address 192.168.1.110 -netmask 255.255.255.0 -status-admin up -failover-policy local-only -firewall-policy intercluster</code>
\\


===== Snapmirror =====
 

**Snapmirror anlegen**\\
Dies muss auf dem Ziel durchgeführt werden
<code>cluster2::> snapmirror create -source-path svm1:vol_src01 -destination-path svm1_clust2:vol_dest01 -vserver svm1_clust2 -throttle unlimited -type XDP -policy MirrorAllSnapshots -schedule hourly
 
cluster2::> snapmirror create -source-path svm1:vol_srv01 -destination-path svm1_clust2:vol_dest01 -vserver svm1_clust2 -throttle unlimited -type XDP
 
cluster2::> snapmirror initialize -destination-path svm1_clust2:vol_dest01
</code>
\\

**Anzeigen auf dem Source welche Snapmirror es gibt bzw. von him ziehen** 
<code>snapmirror list-destinations</code>
\\

**Snapmirror aufbrechen auf der Destination**
<code>cluster2::> snapmirror break -destination-path svm1_clust2:vol_dest01</code>
\\

**Snapmirror sync nach einem aufbrechen** \\
Nach dem Broken-Off den Sync in der gleichen konstelation wieder aufnehmen
\\
Snapmirror umdrehen \\
Snapmirror nach dem Broken-Off umdrehen da die STBY Seite das Volume übernommen hat.\\
Danach ist der alte Source die neue Destination\\
<code>snapmirror resync -destination-path svm1:vol_src1 -source-path svm1_clust2:vol_dest1</code>
\\
\\

Möchte man dies wieder auf den original Stand zurück stellen musss man das gleiche wieder mit einem Broken-Off und einem resync machen.\\
Dies macht man einfach so:
<code>cluster1::> snapmirror break -destination-path svm1:vol_src1
cluster2::> snapmirror resync -destination-path svm1_clust2:vol_dest1 -source-path svm1:vol_src1</code>
\\

Unterbrechen eines Snapmirrors
<code>cluster2::> snapmirror quiesce -destination-path svm1_clust2:vol_dest1</code>
\\


Nach einer Unterbrechen wieder starten
<code>cluster2::> snapmirror resume -destination-path svm1_clust2:vol_dest1</code>
\\


====== Trident ======
Um Trident für Kubernetes einzusetzten müssen ein paar Dinge auf der NetApp konfiguriert werden.\\
Hier verwende ich das Beispiel das wir für uns durchgeführt haben.

===== Vserver anlegen =====
<code>
vserver create -vserver ont_k8_test_trident_01 -subtype default -rootvolume root_ont_k8_test_trident_01 -rootvolume-security-style unix -language C.UTF-8 -snapshot-policy default -data-services data-iscsi,data-nfs,data-cifs,data-flexcache -foreground true -aggregate aggr_sata_01n2 -comment "Fuer ONTEC K8S Test Cluster" -aggr-list aggr_sata_01n2 -max-volumes 50
</code>
\\

===== Vserver NFS Service konfigurieren =====
<code>
vserver nfs create -vserver ont_k8_test_trident_01 -access true -v3 enabled -v4.0 enabled -tcp enabled -v4.0-acl disabled -v4.0-read-delegation disabled -v4.0-write-delegation disabled -v4-id-domain defaultv4iddomain.com -v4-grace-seconds 45 -v4-acl-preserve enabled -v4.1 enable -rquota disabled -v4.1-acl disabled -vstorage disabled -v4-numeric-ids enabled -v4.1-read-delegation disabled -v4.1-write-delegation disabled -mount-rootonly enabled -nfs-rootonly disabled -permitted-enc-types des,des3,aes-128,aes-256 -showmount enabled -name-service-lookup-protocol udp -idle-connection-timeout 360 -allow-idle-connection disabled -v3-hide-snapshot disabled -showmount-rootonly disabled
</code>
\\

===== Vserver Global Export Policy anlegen =====
<code>
export-policy rule create -vserver ont_k8_trident_01 -policyname default -clientmatch 0.0.0.0/0 -rorule any -rwrule any -allow-suid true -allow-dev true -protocol any -superuser any -ruleindex 1
</code>
\\

===== Firewall Policy anlegen =====
<code>
system services firewall policy create -vserver ont_k8_test_trident_01 -policy fp_k8s_trident -service dns -allow-list 0.0.0.0/0
system services firewall policy create -vserver ont_k8_test_trident_01 -policy fp_k8s_trident -service ndmp -allow-list 0.0.0.0/0
system services firewall policy create -vserver ont_k8_test_trident_01 -policy fp_k8s_trident -service ndmps -allow-list 0.0.0.0/0
system services firewall policy create -vserver ont_k8_test_trident_01 -policy fp_k8s_trident -service portmap -allow-list 0.0.0.0/0
system services firewall policy create -vserver ont_k8_test_trident_01 -policy fp_k8s_trident -service http -allow-list 0.0.0.0/0

onstore03::> system services firewall policy show -vserver ont_k8_test_trident_01
Vserver Policy       Service    Allowed
------- ------------ ---------- -------------------
ont_k8_test_trident_01
        fp_k8s_trident
                     dns        0.0.0.0/0
                     http       0.0.0.0/0
                     ndmp       0.0.0.0/0
                     ndmps      0.0.0.0/0
                     portmap    0.0.0.0/0
</code>
\\

===== Lif anlegen (Data und MGT für Trident) =====
<code>
network interface create -vserver ont_k8_test_trident_01 -lif lif_ont_k8_test_trident_01 -service-policy default-data-files -role data -data-protocol nfs,cifs,fcache -address 10.27.8.131 -netmask 255.255.255.0 -home-node onstore03n2 -home-port a0a-1008 -status-admin up -failover-policy system-defined -firewall-policy fp_k8s_trident -auto-revert false -failover-group br_1008

onstore03::> net int sh -vserver ont_k8_test_trident_01
  (network interface show)
            Logical    Status     Network            Current       Current Is
Vserver     Interface  Admin/Oper Address/Mask       Node          Port    Home
----------- ---------- ---------- ------------------ ------------- ------- ----
ont_k8_test_trident_01
            lif_ont_k8_test_trident_01 
                         up/up    10.27.8.131/24     onstore03n2   a0a-1008 
                                                                           true
</code>
\\


===== Service Policy anlegen und lif zuweisen =====
<code>
set advanced
network interface service-policy create -policy sp_k8s_trident -allowed-addresses 0.0.0.0/0 -vserver ont_k8_test_trident_01 -services management-https data-nfs data-cifs data-core data-flexcache data-iscsi
set admin

onstore03::> net interface service-policy show -vserver ont_k8_test_trident_01
  (network interface service-policy show)
Vserver   Policy                     Service: Allowed Addresses
--------- -------------------------- ----------------------------------------
ont_k8_test_trident_01
          default-data-blocks        data-core: 0.0.0.0/0
                                     data-iscsi: 0.0.0.0/0

          default-data-files         data-core: 0.0.0.0/0
                                     data-nfs: 0.0.0.0/0
                                     data-cifs: 0.0.0.0/0
                                     data-flexcache: 0.0.0.0/0

          default-management         data-core: 0.0.0.0/0
                                     management-ssh: 0.0.0.0/0
                                     management-https: 0.0.0.0/0

          sp_k8s_trident             data-core: 0.0.0.0/0
                                     data-nfs: 0.0.0.0/0
                                     data-cifs: 0.0.0.0/0
                                     data-flexcache: 0.0.0.0/0
                                     data-iscsi: 0.0.0.0/0
                                     management-https: 0.0.0.0/0



net interface modify -vserver ont_k8_test_trident_01 -lif lif_ont_k8_test_trident_01 -service-policy sp_k8s_trident
</code>

																   
===== User für Trident vorbereiten =====
<code>
security login password -username vsadmin -vserver ont_k8_test_trident_01 
security login unlock -username vsadmin -vserver ont_k8_test_trident_01

onstore03::> security login show -vserver ont_k8_test_trident_01                       

Vserver: ont_k8_test_trident_01
                                                                 Second
User/Group                 Authentication                 Acct   Authentication
Name           Application Method        Role Name        Locked Method
-------------- ----------- ------------- ---------------- ------ --------------
vsadmin        http        password      vsadmin          no     none
vsadmin        ontapi      password      vsadmin          no     none
vsadmin        ssh         password      vsadmin          no     none
</code>
\\

===== Trident Json =====
Für Kubernetes kann man dann dieses JSON dafür verwenden
<code>
{
    "version": 1,
    "storageDriverName": "ontap-nas",
    "managementLIF": "10.27.8.129",
    "dataLIF": "10.27.8.129",
    "svm": "ont_k8_test_trident_01",
    "username": "vsadmin",
    "password": "ASDF!!!",
    "nfsMountOptions": "nfsvers=3",
    "autoExportPolicy": true,
    "autoExportCIDRs": ["10.27.8.0/24"]
}
</code>
\\


===== Cluster Peering =====
\\

**Cluster Peer Anfrage auf von Cluster1 auf Cluster2 stellen (PW setzten – irgendwas wird nur einmal gebraucht)**
<code>
cluster1::> cluster peer create -peer-addrs <ip>

Beispiel:
onstore03::> cluster peer create -peer-addrs 172.25.1.21,172.25.1.22 -generate-passphrase -offer-expiration 2days

Notice: 
         Passphrase: gapasdfjleigSgVyk+79WEby 
         Expiration Time: 12/20/2019 16:09:08 +01:00 
         Initial Allowed Vserver Peers: - 
         Intercluster LIF IP: 172.25.1.24 
         Peer Cluster Name: estore 
        
         Warning: make a note of the passphrase - it cannot be displayed again.
</code>
\\
  
**Cluster Peer Anfrage von Cluster2 auf Cluster1 stellen (PW muss gleich sein)**
<code>
cluster2::> cluster peer create -peer-addrs <ip>

Beispiel:
estore::> cluster peer create -peer-addrs 172.25.1.23,172.25.1.24

Notice: Use a generated passphrase or choose a passphrase of 8 or more characters. To ensure the
        authenticity of the peering relationship, use a phrase or sequence of characters that would be
        hard to guess.

Enter the passphrase: 
Confirm the passphrase:
</code>
\\
 
**Anzeigen des Cluster Peerings**
<code>cluster1::> cluster peer show
Peer Cluster Name         Cluster Serial Number Availability   Authentication
------------------------- --------------------- -------------- --------------
cluster2                  1-80-000008           Available      ok
 
cluster2::> cluster peer show
Peer Cluster Name         Cluster Serial Number Availability   Authentication
------------------------- --------------------- -------------- --------------
cluster1  
</code>
\\
 
 
**Anzeigen des Peer Status**
<code>cluster peer show
cluster peer show -instance
cluster peer health show</code>
\\

===== Vserver peering =====
\\

Jetzt müssen noch die Vserver verbunden werden damit dann später ein Snapmirror funktionieren kann.
Dies muss man nur auf einem System machen.

**SVM Peering von Cluster1 auf Cluster 2**
<code>cluster1::> vserver peer create -vserver svm1 -peer-vserver svm1_clust2 -applications snapmirror -peer-cluster cluster2

Anzegen des SVM Peerings
cluster1::> vserver peer show
            Peer        Peer                           Peering        Remote
Vserver     Vserver     State        Peer Cluster      Applications   Vserver
----------- ----------- ------------ ----------------- -------------- ---------
svm1        svm1_clust2 initializing cluster2          snapmirror     svm1_clust2
 
 
cluster2::> vserver peer show
            Peer        Peer                           Peering        Remote
Vserver     Vserver     State        Peer Cluster      Applications   Vserver
----------- ----------- ------------ ----------------- -------------- ---------
svm1_clust2 svm1        pending      cluster1          snapmirror     svm1
</code>
\\






====== Monitoring ======

**Anzeigen der globalen Systemauslastung**
<code>system node run -node <nodename|local> sysstat -usx
Beispiel:
system node run -node sim-cluster-01 sysstat -usx</code>
\\

**Auslastung und Durchsatz allgemein**
<code>statistics disk show (-interval 5 -iterations 5)
statistics aggregate show (-interval 5 -iterations 5)
statistics volume show (-interval 5 -iterations 5)
statistics lun show (-interval 5 -iterations 5)</code>
\\

**Auslastung der einzelnen Spindeln (advanced user)**
<code>statistics disk show -sort-key disk_busy
statistics disk show -sort-key disk_busy -interval 5 -iterations 5
statistics disk show -sort-key disk_busy -interval 30 -iterations 1</code>
\\


**Durchsatz der einzelnen Spindeln (advanced user)**
<code>Latency in Microsekunden
Bps = Bytes per secound
statistics disk show -sort-key operation_latency</code>
\\


**Anzeige der top Clients** 
<code>statistics top client show</code>
\\


**Anzeigen der top Files**
<code>statistics top file show</code>
\\


**Ausgabe von sehr genauen Stats (sehr viel Info)**\\
ACHTUNG! Nicht vergessen diesen Job wieder zu stoppen!\\
<code>
set -privilege advanced
statistics start –object resource_headroom_cpu|aggr
statistics show –object resource_headroom_cpu|aggr
statistics stop -sample-id <id_des_jobs>

statistics start -preset statit
statistics start stop
statistics show -preset statit -counter disk_busy
</code>
\\

==== Cache Stats ====
Diag Modus only \\
Cache Stats starten
<code>
statistics start -sample-id test -object ext_cache_obj -counter inserts|hit_percent -duration 10
</code>
\\

Cache Stats ansehen
<code>
statistics show -sample-id test
</code>
\\

Sample löschen
<code>
statistics samples delete -sample-id test
</code>
\\
\\




====== Autosuport ======
** Anzeigen der aktuellen Einstellungen**
<code>
node autosupport show
</code>
\\

** Aktivieren vom Autosuppor inkl. Einstellungen**
<code>
node autosupport modify -node <node> -state enable -mail-hosts <smtphost> -from <mail> -to <mail> -support enable -transport https

Beispiel:
node autosupport modify -node storage1 -state enable -mail-hosts 192.168.123.15 -from netapp@ich.at -to to@ich.at -support enable -transport https
</code>
\\

** Wohin wird überall versendet**
<code>
node autosupport destinations show
</code>
\\

** Autosupport Check**
<code>
system node autosupport check show
system node autosupport check show-details
</code>
\\

** Anzeigen der History **
<code>
system node autosupport history show
</code>
\\

** Senden einer fehlgeschlagenen Nachricht **
<code>
system node autosupport history retransmit
</code>
\\

** Versenden einer Message für einen Upgrade **
<code>
system node autosupport invoke -node onstore03n1 -type test -message Systemupdate
</code>


===== Autosuport Download =====
Falls man ein Autosupport Bundle erstellen und runterladen muss, geht man so vor.
\\

==== Autosupport erstellen ====
<code>
autosupport invoke -node * -type all -message "invoke.all" -uri file:///mroot/etc/log/retransmit/body.7z
</code>
\\
Bis alle Daten gesammelt wurden kannes einige Zeit dauern. \\
So kann man sich einen Überblick verschaffen
<code>
autosupport history show
autosupport history show -node <node> -seq-num <####>
</code>
\\

==== Download vom Autosupport ====
<code>
https://<cluster_mgmt_IP>/spi/<node_name>/etc/log/retransmit/

Beispiel:
https://172.22.3.8/spi/Storage01n1/etc/log/retransmit/
</code>


\\
====== Cluster (nicht MetroCluster!) ======

Kurzer Check vor dem Failover
<code>
network interface show -failover-policy disabled
storage failover show
system health config show
</code>
\\


Takeover von Node 2 auf Node 1
<code>storage failover takeover -ofnode <Node2></code>
\\

**Giveback von Node2 auf Node1**
<code>storage failover giveback –ofnode <Node2></code>
\\

**Cluster DBs kontrollieren(diag mode)**
<code>cluster ring show</code>
\\

Disable HA to be able to disable cluster failover:
<code>cluster ha modify -configured false

Warning: This operation will unconfigure cluster HA.  Cluster HA must be
         configured on a two-node cluster to ensure data access availability in
         the event of storage failover.
Do you want to continue? {y|n}: y

Notice: HA is disabled.
</code>
<code>storage failover modify -enabled false -node estore01
storage failover modify -enabled false -node estore02
</code>

====== MetroCluster ======


**Status anuzeigen des MetroClusters**
<code>metrocluster node show
metrocluster operation show</code>


=== MetroCluster takeover und giveback ===
Um dies durchzuführen sind ein paar Schritte mehr nötig als unter dem 7-Mode.\\
\\

**Takeover bzw. Switchover**\\
Health Check davor (Es müssen nicht alle Befehle immer durchgeführt werden jedoch die ersten 4 sind immer anzuraten):
<code>
metrocluster show
system health config show
metrocluster node show
metrocluster interconnect mirror show
metrocluster check run
metrocluster check aggregate show
metrocluster check cluster show
metrocluster check lif show
metrocluster check node show
metrocluster check config-replication show
metrocluster vserver show
metrocluster check enable-periodic-check
</code>
\\
**
Switchover (erst wenn die ersten vier Schritte kontrolliert worden sind)**
<code>metrocluster switchover</code>
\\

**Switchback (hier sind einige Punkte zu beachten)**\\
Auf der noch laufenden Node sind dies Befehle durchzuführen. Diese sollten jedoch kurz bevor man den Giveback vor hat durchführen.
<code>
metrocluster heal -phase aggregate
metrocluster heal -phase root-aggregate
metrocluster operation show
</code>
\\

Danach muss man sich via dem Services Prozessor auf der aktuell abgeschalteten Nodes anmelden
<code>
ssh -l admin <SP IP>
SP> system console
boot_ontap
</code>
\\

ONTAP bootet eine Zeit lang. Dies kann man sehr gut über den Service Prozessor sehen. Ist die Node erfolgreich gestartet ist es empfohlen 3-5 Minuten zu warten bis man den Switchback durchführt.
\\

Switchback (auszuführen auf der Node die noch aktiv ist):
<code>
metrocluster show
metrocluster vserver show -cluster <partner node>
metrocluster switchback
</code>
\\

====== ONTAP Mediator ======
ONTAP Mediator kann auf er Webseite runtergeladen werden. Dieser sollte auf dienem dritten Standort laufen. \\
Installiert wird dieser auf einer Linux VM. Siehe dazu die Doku von NetApp.
\\

==== Mediator am Metrocluster konfigurieren ====

<code>
metrocluster configuration-settings mediator add -mediator-address <ip>

Beispiel:
SuperCluster01::> metrocluster configuration-settings mediator add -mediator-address 172.11.11.11
Adding the mediator and enabling Automatic Unplanned Switchover. It may take a few minutes to complete.
Please enter the username for the mediator: mediatoradmin
Please enter the password for the mediator:
Confirm the mediator password:
Successfully added the mediator.
</code>
\\

Danach ist der Mediator registiert
<code>
SuperCluster::> metrocluster configuration-settings mediator show
Mediator IP     Port    Node                    Configuration Connection
                                                Status        Status
--------------- ------- ----------------------- ------------- -----------
172.11.11.11
                31784   Node01                  true          true
                        Node02                  true          true
                        Node03                  true          true
                        Node04                  true          true
</code>

<code>
SuperCluster::> storage disk show -container-type mediator
                     Usable           Disk    Container   Container
Disk                   Size Shelf Bay Type    Type        Name      Owner
---------------- ---------- ----- --- ------- ----------- --------- --------
NET-1.1                   -     -   - VMDISK  mediator    -         Node01
NET-1.2                   -     -   - VMDISK  mediator    -         Node02
NET-1.3                   -     -   - VMDISK  mediator    -         Node03
NET-1.4                   -     -   - VMDISK  mediator    -         Node04
4 entries were displayed.
</code>

\\

Danach sollte man noch die ONTAP Doku checken da es für das Umschalten vom Cluster noch ein paar Optionen gibt.
\\

====== Verschlüsselung ======
Verschlüssung von Aggregaten bzw. Volumes

===== Anzeigen der verschlüsselten Aggrs =====
<code>
aggr show -fields encrypt-with-aggr-key
</code>
\\

===== Anzeigen der verschlüsselten Volumes =====
<code>
vol show -fields encrypt
</code>
\\

===== Anzeigen Verschlüsselungs Jobs =====
<code>
vol encryption conversion show
</code>
\\

===== Anzeigen der Verschlüsslungskeys =====
<code>
security key-manager show
</code>
\\

===== NAE Aggr erstellen =====
Neues verschlüsseltes Aggr erstellen
<code>
aggr create -aggregate test -encrypt-with-aggr-key true .......
</code>
\\

Bestehendes Aggr verschlüsselen. ACHTUNG! Sind schon Vol angelegt und sind diese nicht verschlüsselt muss dies davor gemacht werden.
<code>
aggr modify -aggregate aggr_sas_01n1 -encrypt-with-aggr-key true
</code>
\\



====== Logs ======
**Anzeigen der Logs der letzten 10 Minuten**
<code>event log show -time >10m</code>
\\


====== Health ======

**Anzeigen der Health Alert Logs**
<code>system health config show
system health subsystem show</code>
\\

Mehr Details:
<code>
system health subsystem show -instance
</code>
\\

**Anzeigen der letzten Alert Logs**
<code>system health alert show</code>
\\

Wenn die NetApp einmal einen Error in den Logs hatte bleibt dieser auch so lange bestehen bis man diesen gelöscht hat. Dies passiert auch bei jedem Metrocluster Switch. Hier wird auch das Monitoring (Checkmk) immer rot bleiben.\\
\\

**Löschen der Fehler aus dem Log**\\
(Sehr brutale Methode)
<code>
system health alert delete -monitor * -alert-id *
</code>
\\

**Sensor Daten** \\
<code>
system node environment sensors show
system node run -node <node name> -command environment chassis list-sensors
</code>
\\
====== Firmware ======

**Anzeigen der physischen Disken (Modell und Firmware)**
<code>storage disk show -physical
storage show disk</code>
\\

**Anzeigen des Update-Status von Disken**
<code>disk firmware show-update-status</code>
\\

**Kontrolle des Disk Qual Firmware Packs**
<code>node run -node * -command rdfile /etc/qual_devices_v3</code>
\\

**Anzeigen der aktuell Shelf Firmware**
<code>node run -node * sysconfig -a</code>
\\


====== User ======

**Anzeigen der User und dessen Berechtigungen**
<code>security login show</code>
\\

**Anlegen von Users für ein CheckMk Monitoring**
<code>security login create -user-or-group-name monitoring -application http -authentication-method password -role readonly
security login create -user-or-group-name monitoring -application ontapi  -authentication-method password -role readonly</code>
\\

**Anlegen eines SSH Keys für den User Admin**\\
Danach kann sich der User Admin entweder mit PW oder mit Key anmelden. Es ist nicht beides erforderlich.\\
<code>
security login modify -user-or-group-name admin -application ssh -authentication-method password -second-authentication-method publickey
security login publickey create -username admin -index 0 -publickey "SSH-Key"
security login modify -user-or-group-name admin -application ssh -authentication-method password -second-authentication-method none
</code>
\\

====== Upgrade Disk Firmware ======
===== Disk Firmware Anzeigen =====
Anzeigen der Disk Firmware 
<code>
storage disk show -fields disk,type,model,firmware-revision,usable-size
</code>
\\

===== Disk Firmware Update =====
<code>
set -privilege advanced
storage firmware download -node * -package-url http://<web-server>/path/all.zip
storage disk firmware update -node <node1>
storage disk firmware show-update-status
</code>
\\

===== Disk Qual Pack =====
==== Qual Pack Version anzeigen ====
<code>
node run -node <node> -command rdfile /etc/qual_devices_v3
</code>
\\

==== Qual Pack installieren ====
<code>
set -privilege advanced 
storage firmware download -node * -package-url http://<web-server>/path/qual_devices.zip 
</code>
\\





===== Shutdown =====
==== Shutdown Local Cluster ====

<code>
system node autosupport invoke -node * -type all -message "MAINT=8h Power Maintenance"
system node halt -node * -skip-lif-migration-before-shutdown true -ignore-quorum-warnings true -inhibit-takeover true
</code>

\\
==== Shutdown Metro Cluster ====