Differences

This shows you the differences between two versions of the page.

--- storage:netapp:ontap9 [2022/12/15 14:17] – stone
+++ storage:netapp:ontap9 [2024/09/26 08:37] (current) – stone
@@ Line 130: / Line 130: @@
 Wenn Autoupdate auf true steht sollte innerhalb der nächsten 30 Minuten das Update automatisch durchgeführt werden. \\
 Wenn Autoupdate auf false steht oder man nicht so lange warten möchte kann man dies auch manuell starten.\\
+<code>
+system service-processor image show -fields autoupdate
+</code>
+\\
 Wenn Autoupdate auf true steht man jedoch trotzdem nicht warten möchte kann man das Update auch manuell durchführen.
@@ Line 333: / Line 337: @@
 </code>
+\\
+WICHTIG! \\
+Wird ein Volume angelegt das als CIFS Share verwendet werden soll muss man den security-style vom Vol auf NTFS stellen.
 \\
@@ Line 919: / Line 926: @@
 <code>
 vol modify -vserver <vserver> -volume <volume> -snapdir-access <true|false>
+</code>
+\\
+Hat man CIFS im Einsatz muss hier am Share selbst auch noch etwas tun damit der Verzeichnis angezeigt wird
+<code>
+cifs share properties add -vserver <vserver> -share-name <sharename> -share-properties showsnapshot
 </code>
@@ Line 1114: / Line 1127: @@
 **Lif erstellen auf dem Knoten 1 im Cluster 2**
 <code>cluster2::> network interface create -vserver cluster2 -lif inter1_1 -role intercluster -home-node cluster2-01 -home-port e0f -address 192.168.1.110 -netmask 255.255.255.0 -status-admin up -failover-policy local-only -firewall-policy intercluster</code>
+\\
+===== Snapmirror =====
+**Snapmirror anlegen**\\
+Dies muss auf dem Ziel durchgeführt werden
+<code>cluster2::> snapmirror create -source-path svm1:vol_src01 -destination-path svm1_clust2:vol_dest01 -vserver svm1_clust2 -throttle unlimited -type XDP -policy MirrorAllSnapshots -schedule hourly
+cluster2::> snapmirror create -source-path svm1:vol_srv01 -destination-path svm1_clust2:vol_dest01 -vserver svm1_clust2 -throttle unlimited -type XDP
+cluster2::> snapmirror initialize -destination-path svm1_clust2:vol_dest01
+</code>
+\\
+**Anzeigen auf dem Source welche Snapmirror es gibt bzw. von him ziehen**
+<code>snapmirror list-destinations</code>
+\\
+**Snapmirror aufbrechen auf der Destination**
+<code>cluster2::> snapmirror break -destination-path svm1_clust2:vol_dest01</code>
+\\
+**Snapmirror sync nach einem aufbrechen** \\
+Nach dem Broken-Off den Sync in der gleichen konstelation wieder aufnehmen
+\\
+Snapmirror umdrehen \\
+Snapmirror nach dem Broken-Off umdrehen da die STBY Seite das Volume übernommen hat.\\
+Danach ist der alte Source die neue Destination\\
+<code>snapmirror resync -destination-path svm1:vol_src1 -source-path svm1_clust2:vol_dest1</code>
+\\
+\\
+Möchte man dies wieder auf den original Stand zurück stellen musss man das gleiche wieder mit einem Broken-Off und einem resync machen.\\
+Dies macht man einfach so:
+<code>cluster1::> snapmirror break -destination-path svm1:vol_src1
+cluster2::> snapmirror resync -destination-path svm1_clust2:vol_dest1 -source-path svm1:vol_src1</code>
+\\
+Unterbrechen eines Snapmirrors
+<code>cluster2::> snapmirror quiesce -destination-path svm1_clust2:vol_dest1</code>
+\\
+Nach einer Unterbrechen wieder starten
+<code>cluster2::> snapmirror resume -destination-path svm1_clust2:vol_dest1</code>
+\\
+====== Trident ======
+Um Trident für Kubernetes einzusetzten müssen ein paar Dinge auf der NetApp konfiguriert werden.\\
+Hier verwende ich das Beispiel das wir für uns durchgeführt haben.
+===== Vserver anlegen =====
+<code>
+vserver create -vserver ont_k8_test_trident_01 -subtype default -rootvolume root_ont_k8_test_trident_01 -rootvolume-security-style unix -language C.UTF-8 -snapshot-policy default -data-services data-iscsi,data-nfs,data-cifs,data-flexcache -foreground true -aggregate aggr_sata_01n2 -comment "Fuer ONTEC K8S Test Cluster" -aggr-list aggr_sata_01n2 -max-volumes 50
+</code>
+\\
+===== Vserver NFS Service konfigurieren =====
+<code>
+vserver nfs create -vserver ont_k8_test_trident_01 -access true -v3 enabled -v4.0 enabled -tcp enabled -v4.0-acl disabled -v4.0-read-delegation disabled -v4.0-write-delegation disabled -v4-id-domain defaultv4iddomain.com -v4-grace-seconds 45 -v4-acl-preserve enabled -v4.1 enable -rquota disabled -v4.1-acl disabled -vstorage disabled -v4-numeric-ids enabled -v4.1-read-delegation disabled -v4.1-write-delegation disabled -mount-rootonly enabled -nfs-rootonly disabled -permitted-enc-types des,des3,aes-128,aes-256 -showmount enabled -name-service-lookup-protocol udp -idle-connection-timeout 360 -allow-idle-connection disabled -v3-hide-snapshot disabled -showmount-rootonly disabled
+</code>
+\\
+===== Vserver Global Export Policy anlegen =====
+<code>
+export-policy rule create -vserver ont_k8_trident_01 -policyname default -clientmatch 0.0.0.0/0 -rorule any -rwrule any -allow-suid true -allow-dev true -protocol any -superuser any -ruleindex 1
+</code>
+\\
+===== Firewall Policy anlegen =====
+<code>
+system services firewall policy create -vserver ont_k8_test_trident_01 -policy fp_k8s_trident -service dns -allow-list 0.0.0.0/0
+system services firewall policy create -vserver ont_k8_test_trident_01 -policy fp_k8s_trident -service ndmp -allow-list 0.0.0.0/0
+system services firewall policy create -vserver ont_k8_test_trident_01 -policy fp_k8s_trident -service ndmps -allow-list 0.0.0.0/0
+system services firewall policy create -vserver ont_k8_test_trident_01 -policy fp_k8s_trident -service portmap -allow-list 0.0.0.0/0
+system services firewall policy create -vserver ont_k8_test_trident_01 -policy fp_k8s_trident -service http -allow-list 0.0.0.0/0
+onstore03::> system services firewall policy show -vserver ont_k8_test_trident_01
+Vserver Policy       Service    Allowed
+------- ------------ ---------- -------------------
+ont_k8_test_trident_01
+        fp_k8s_trident
+                     dns        0.0.0.0/0
+                     http       0.0.0.0/0
+                     ndmp       0.0.0.0/0
+                     ndmps      0.0.0.0/0
+                     portmap    0.0.0.0/0
+</code>
+\\
+===== Lif anlegen (Data und MGT für Trident) =====
+<code>
+network interface create -vserver ont_k8_test_trident_01 -lif lif_ont_k8_test_trident_01 -service-policy default-data-files -role data -data-protocol nfs,cifs,fcache -address 10.27.8.131 -netmask 255.255.255.0 -home-node onstore03n2 -home-port a0a-1008 -status-admin up -failover-policy system-defined -firewall-policy fp_k8s_trident -auto-revert false -failover-group br_1008
+onstore03::> net int sh -vserver ont_k8_test_trident_01
+  (network interface show)
+            Logical    Status     Network            Current       Current Is
+Vserver     Interface  Admin/Oper Address/Mask       Node          Port    Home
+----------- ---------- ---------- ------------------ ------------- ------- ----
+ont_k8_test_trident_01
+            lif_ont_k8_test_trident_01
+                         up/up    10.27.8.131/24     onstore03n2   a0a-1008
+                                                                           true
+</code>
+\\
+===== Service Policy anlegen und lif zuweisen =====
+<code>
+set advanced
+network interface service-policy create -policy sp_k8s_trident -allowed-addresses 0.0.0.0/0 -vserver ont_k8_test_trident_01 -services management-https data-nfs data-cifs data-core data-flexcache data-iscsi
+set admin
+onstore03::> net interface service-policy show -vserver ont_k8_test_trident_01
+  (network interface service-policy show)
+Vserver   Policy                     Service: Allowed Addresses
+--------- -------------------------- ----------------------------------------
+ont_k8_test_trident_01
+          default-data-blocks        data-core: 0.0.0.0/0
+                                     data-iscsi: 0.0.0.0/0
+          default-data-files         data-core: 0.0.0.0/0
+                                     data-nfs: 0.0.0.0/0
+                                     data-cifs: 0.0.0.0/0
+                                     data-flexcache: 0.0.0.0/0
+          default-management         data-core: 0.0.0.0/0
+                                     management-ssh: 0.0.0.0/0
+                                     management-https: 0.0.0.0/0
+          sp_k8s_trident             data-core: 0.0.0.0/0
+                                     data-nfs: 0.0.0.0/0
+                                     data-cifs: 0.0.0.0/0
+                                     data-flexcache: 0.0.0.0/0
+                                     data-iscsi: 0.0.0.0/0
+                                     management-https: 0.0.0.0/0
+net interface modify -vserver ont_k8_test_trident_01 -lif lif_ont_k8_test_trident_01 -service-policy sp_k8s_trident
+</code>
+===== User für Trident vorbereiten =====
+<code>
+security login password -username vsadmin -vserver ont_k8_test_trident_01
+security login unlock -username vsadmin -vserver ont_k8_test_trident_01
+onstore03::> security login show -vserver ont_k8_test_trident_01
+Vserver: ont_k8_test_trident_01
+                                                                 Second
+User/Group                 Authentication                 Acct   Authentication
+Name           Application Method        Role Name        Locked Method
+-------------- ----------- ------------- ---------------- ------ --------------
+vsadmin        http        password      vsadmin          no     none
+vsadmin        ontapi      password      vsadmin          no     none
+vsadmin        ssh         password      vsadmin          no     none
+</code>
+\\
+===== Trident Json =====
+Für Kubernetes kann man dann dieses JSON dafür verwenden
+<code>
+{
+    "version": 1,
+    "storageDriverName": "ontap-nas",
+    "managementLIF": "10.27.8.129",
+    "dataLIF": "10.27.8.129",
+    "svm": "ont_k8_test_trident_01",
+    "username": "vsadmin",
+    "password": "ASDF!!!",
+    "nfsMountOptions": "nfsvers=3",
+    "autoExportPolicy": true,
+    "autoExportCIDRs": ["10.27.8.0/24"]
+}
+</code>
 \\
@@ Line 1200: / Line 1393: @@
-===== Snapmirror =====
-**Snapmirror anlegen**\\
-Dies muss auf dem Ziel durchgeführt werden
-<code>cluster2::> snapmirror create -source-path svm1:vol_src01 -destination-path svm1_clust2:vol_dest01 -vserver svm1_clust2 -throttle unlimited -type XDP -policy MirrorAllSnapshots -schedule hourly
-cluster2::> snapmirror create -source-path svm1:vol_srv01 -destination-path svm1_clust2:vol_dest01 -vserver svm1_clust2 -throttle unlimited -type XDP
-cluster2::> snapmirror initialize -destination-path svm1_clust2:vol_dest01
-</code>
-\\
-**Anzeigen auf dem Source welche Snapmirror es gibt bzw. von him ziehen**
-<code>snapmirror list-destinations</code>
-\\
-**Snapmirror aufbrechen auf der Destination**
-<code>cluster2::> snapmirror break -destination-path svm1_clust2:vol_dest01</code>
-\\
-**Snapmirror sync nach einem aufbrechen** \\
-Nach dem Broken-Off den Sync in der gleichen konstelation wieder aufnehmen
-\\
-Snapmirror umdrehen \\
-Snapmirror nach dem Broken-Off umdrehen da die STBY Seite das Volume übernommen hat.\\
-Danach ist der alte Source die neue Destination\\
-<code>snapmirror resync -destination-path svm1:vol_src1 -source-path svm1_clust2:vol_dest1</code>
-\\
-\\
-Möchte man dies wieder auf den original Stand zurück stellen musss man das gleiche wieder mit einem Broken-Off und einem resync machen.\\
-Dies macht man einfach so:
-<code>cluster1::> snapmirror break -destination-path svm1:vol_src1
-cluster2::> snapmirror resync -destination-path svm1_clust2:vol_dest1 -source-path svm1:vol_src1</code>
-\\
-Unterbrechen eines Snapmirrors
-<code>cluster2::> snapmirror quiesce -destination-path svm1_clust2:vol_dest1</code>
-\\
-Nach einer Unterbrechen wieder starten
-<code>cluster2::> snapmirror resume -destination-path svm1_clust2:vol_dest1</code>
-\\
@@ Line 1301: / Line 1449: @@
 </code>
 \\
+==== Cache Stats ====
+Diag Modus only \\
+Cache Stats starten
+<code>
+statistics start -sample-id test -object ext_cache_obj -counter inserts|hit_percent -duration 10
+</code>
+\\
+Cache Stats ansehen
+<code>
+statistics show -sample-id test
+</code>
+\\
+Sample löschen
+<code>
+statistics samples delete -sample-id test
+</code>
+\\
+\\
@@ Line 1378: / Line 1549: @@
 \\
 ====== Cluster (nicht MetroCluster!) ======
+Kurzer Check vor dem Failover
+<code>
+network interface show -failover-policy disabled
+storage failover show
+system health config show
+</code>
+\\
 Takeover von Node 2 auf Node 1
@@ Line 1516: / Line 1696: @@
 Danach sollte man noch die ONTAP Doku checken da es für das Umschalten vom Cluster noch ein paar Optionen gibt.
 \\
+====== Verschlüsselung ======
+Verschlüssung von Aggregaten bzw. Volumes
+===== Anzeigen der verschlüsselten Aggrs =====
+<code>
+aggr show -fields encrypt-with-aggr-key
+</code>
+\\
+===== Anzeigen der verschlüsselten Volumes =====
+<code>
+vol show -fields encrypt
+</code>
+\\
+===== Anzeigen Verschlüsselungs Jobs =====
+<code>
+vol encryption conversion show
+</code>
+\\
+===== Anzeigen der Verschlüsslungskeys =====
+<code>
+security key-manager show
+</code>
+\\
+===== NAE Aggr erstellen =====
+Neues verschlüsseltes Aggr erstellen
+<code>
+aggr create -aggregate test -encrypt-with-aggr-key true .......
+</code>
+\\
+Bestehendes Aggr verschlüsselen. ACHTUNG! Sind schon Vol angelegt und sind diese nicht verschlüsselt muss dies davor gemacht werden.
+<code>
+aggr modify -aggregate aggr_sas_01n1 -encrypt-with-aggr-key true
+</code>
+\\
 ====== Logs ======
 **Anzeigen der Logs der letzten 10 Minuten**
@@ Line 1527: / Line 1750: @@
 <code>system health config show
 system health subsystem show</code>
+\\
+Mehr Details:
+<code>
+system health subsystem show -instance
+</code>
 \\
@@ Line 1534: / Line 1763: @@
 Wenn die NetApp einmal einen Error in den Logs hatte bleibt dieser auch so lange bestehen bis man diesen gelöscht hat. Dies passiert auch bei jedem Metrocluster Switch. Hier wird auch das Monitoring (Checkmk) immer rot bleiben.\\
+\\
 **Löschen der Fehler aus dem Log**\\
@@ Line 1593: / Line 1823: @@
 <code>
 storage disk show -fields disk,type,model,firmware-revision,usable-size
-</code>
-\\
-===== Disk Qual Pack =====
-Qual Pack installieren
-<code>
-set -privilege advanced
-storage firmware download -node * -package-url http://<web-server>/path/qual_devices.zip
 </code>
 \\
@@ Line 1611: / Line 1833: @@
 storage disk firmware show-update-status
 </code>
 \\
-====== Upgrade ONTAP ======
+===== Disk Qual Pack =====
-===== Allgemein =====
+==== Qual Pack Version anzeigen ====
-Am besten man geht in den Active IQ unter [[https://mysupport.netapp.com/|https://mysupport.netapp.com/]] und gibt die gewünschten Daten ein. Danach kommt man ein PDF mit allen informationen was zu tun ist bzw. wie groß ein Update Sprung sein darf.
-\\
-===== Update =====
-Das Update von einem Single Cluster ist im Grunde recht simpel. \\
-Befolgen der Anweisungen vom Active IQ. \\
-\\
-===== Repository =====
-Anzeigen der Images im local Repo und eventuell löschen von alten Images.
 <code>
-cluster image package show-repository
+node run -node <node> -command rdfile /etc/qual_devices_v3
-cluster image package delete -version <version>
 </code>
 \\
-===== ONTAP Image Download =====
+==== Qual Pack installieren ====
-Download vom ONTAP Image auf die Nodes
 <code>
-cluster image package get -url http://<url>
+set -privilege advanced
+storage firmware download -node * -package-url http://<web-server>/path/qual_devices.zip
 </code>
 \\
-===== Autosupport =====
-Dem Autosupport eine Startmeldung geben
-<code>
-autosupport invoke -node * -type all -message "MAINT Starting_NDU"
-</code>
-\\
-===== Update Validieren =====
-Update Check
-<code>
-cluster image validate -version <version>
-</code>
-\\
-Update
+===== Shutdown =====
+==== Shutdown Local Cluster ====
 <code>
-cluster image update -version <version> -estimate-only
+system node autosupport invoke -node * -type all -message "MAINT=8h Power Maintenance"
-cluster image update -version <version>
+system node halt -node * -skip-lif-migration-before-shutdown true -ignore-quorum-warnings true -inhibit-takeover true
-cluster image show-update-progress
 </code>
-\\
-===== Autosupport =====
-Dem Autosupport eine Endemeldung geben
-<code>
-autosupport invoke -node * -type all -message "MAINT END"
-</code>
 \\
+==== Shutdown Metro Cluster ====