Differences

This shows you the differences between two versions of the page.

--- storage:netapp:ontap9 [2023/02/16 14:43] – [Snapshots] stone
+++ storage:netapp:ontap9 [2024/09/26 08:37] (current) – stone
@@ Line 337: / Line 337: @@
 </code>
+\\
+WICHTIG! \\
+Wird ein Volume angelegt das als CIFS Share verwendet werden soll muss man den security-style vom Vol auf NTFS stellen.
 \\
@@ Line 924: / Line 927: @@
 vol modify -vserver <vserver> -volume <volume> -snapdir-access <true|false>
 </code>
+\\
 Hat man CIFS im Einsatz muss hier am Share selbst auch noch etwas tun damit der Verzeichnis angezeigt wird
@@ Line 1123: / Line 1127: @@
 **Lif erstellen auf dem Knoten 1 im Cluster 2**
 <code>cluster2::> network interface create -vserver cluster2 -lif inter1_1 -role intercluster -home-node cluster2-01 -home-port e0f -address 192.168.1.110 -netmask 255.255.255.0 -status-admin up -failover-policy local-only -firewall-policy intercluster</code>
+\\
+===== Snapmirror =====
+**Snapmirror anlegen**\\
+Dies muss auf dem Ziel durchgeführt werden
+<code>cluster2::> snapmirror create -source-path svm1:vol_src01 -destination-path svm1_clust2:vol_dest01 -vserver svm1_clust2 -throttle unlimited -type XDP -policy MirrorAllSnapshots -schedule hourly
+cluster2::> snapmirror create -source-path svm1:vol_srv01 -destination-path svm1_clust2:vol_dest01 -vserver svm1_clust2 -throttle unlimited -type XDP
+cluster2::> snapmirror initialize -destination-path svm1_clust2:vol_dest01
+</code>
+\\
+**Anzeigen auf dem Source welche Snapmirror es gibt bzw. von him ziehen**
+<code>snapmirror list-destinations</code>
+\\
+**Snapmirror aufbrechen auf der Destination**
+<code>cluster2::> snapmirror break -destination-path svm1_clust2:vol_dest01</code>
+\\
+**Snapmirror sync nach einem aufbrechen** \\
+Nach dem Broken-Off den Sync in der gleichen konstelation wieder aufnehmen
+\\
+Snapmirror umdrehen \\
+Snapmirror nach dem Broken-Off umdrehen da die STBY Seite das Volume übernommen hat.\\
+Danach ist der alte Source die neue Destination\\
+<code>snapmirror resync -destination-path svm1:vol_src1 -source-path svm1_clust2:vol_dest1</code>
+\\
+\\
+Möchte man dies wieder auf den original Stand zurück stellen musss man das gleiche wieder mit einem Broken-Off und einem resync machen.\\
+Dies macht man einfach so:
+<code>cluster1::> snapmirror break -destination-path svm1:vol_src1
+cluster2::> snapmirror resync -destination-path svm1_clust2:vol_dest1 -source-path svm1:vol_src1</code>
+\\
+Unterbrechen eines Snapmirrors
+<code>cluster2::> snapmirror quiesce -destination-path svm1_clust2:vol_dest1</code>
+\\
+Nach einer Unterbrechen wieder starten
+<code>cluster2::> snapmirror resume -destination-path svm1_clust2:vol_dest1</code>
+\\
+====== Trident ======
+Um Trident für Kubernetes einzusetzten müssen ein paar Dinge auf der NetApp konfiguriert werden.\\
+Hier verwende ich das Beispiel das wir für uns durchgeführt haben.
+===== Vserver anlegen =====
+<code>
+vserver create -vserver ont_k8_test_trident_01 -subtype default -rootvolume root_ont_k8_test_trident_01 -rootvolume-security-style unix -language C.UTF-8 -snapshot-policy default -data-services data-iscsi,data-nfs,data-cifs,data-flexcache -foreground true -aggregate aggr_sata_01n2 -comment "Fuer ONTEC K8S Test Cluster" -aggr-list aggr_sata_01n2 -max-volumes 50
+</code>
+\\
+===== Vserver NFS Service konfigurieren =====
+<code>
+vserver nfs create -vserver ont_k8_test_trident_01 -access true -v3 enabled -v4.0 enabled -tcp enabled -v4.0-acl disabled -v4.0-read-delegation disabled -v4.0-write-delegation disabled -v4-id-domain defaultv4iddomain.com -v4-grace-seconds 45 -v4-acl-preserve enabled -v4.1 enable -rquota disabled -v4.1-acl disabled -vstorage disabled -v4-numeric-ids enabled -v4.1-read-delegation disabled -v4.1-write-delegation disabled -mount-rootonly enabled -nfs-rootonly disabled -permitted-enc-types des,des3,aes-128,aes-256 -showmount enabled -name-service-lookup-protocol udp -idle-connection-timeout 360 -allow-idle-connection disabled -v3-hide-snapshot disabled -showmount-rootonly disabled
+</code>
+\\
+===== Vserver Global Export Policy anlegen =====
+<code>
+export-policy rule create -vserver ont_k8_trident_01 -policyname default -clientmatch 0.0.0.0/0 -rorule any -rwrule any -allow-suid true -allow-dev true -protocol any -superuser any -ruleindex 1
+</code>
+\\
+===== Firewall Policy anlegen =====
+<code>
+system services firewall policy create -vserver ont_k8_test_trident_01 -policy fp_k8s_trident -service dns -allow-list 0.0.0.0/0
+system services firewall policy create -vserver ont_k8_test_trident_01 -policy fp_k8s_trident -service ndmp -allow-list 0.0.0.0/0
+system services firewall policy create -vserver ont_k8_test_trident_01 -policy fp_k8s_trident -service ndmps -allow-list 0.0.0.0/0
+system services firewall policy create -vserver ont_k8_test_trident_01 -policy fp_k8s_trident -service portmap -allow-list 0.0.0.0/0
+system services firewall policy create -vserver ont_k8_test_trident_01 -policy fp_k8s_trident -service http -allow-list 0.0.0.0/0
+onstore03::> system services firewall policy show -vserver ont_k8_test_trident_01
+Vserver Policy       Service    Allowed
+------- ------------ ---------- -------------------
+ont_k8_test_trident_01
+        fp_k8s_trident
+                     dns        0.0.0.0/0
+                     http       0.0.0.0/0
+                     ndmp       0.0.0.0/0
+                     ndmps      0.0.0.0/0
+                     portmap    0.0.0.0/0
+</code>
+\\
+===== Lif anlegen (Data und MGT für Trident) =====
+<code>
+network interface create -vserver ont_k8_test_trident_01 -lif lif_ont_k8_test_trident_01 -service-policy default-data-files -role data -data-protocol nfs,cifs,fcache -address 10.27.8.131 -netmask 255.255.255.0 -home-node onstore03n2 -home-port a0a-1008 -status-admin up -failover-policy system-defined -firewall-policy fp_k8s_trident -auto-revert false -failover-group br_1008
+onstore03::> net int sh -vserver ont_k8_test_trident_01
+  (network interface show)
+            Logical    Status     Network            Current       Current Is
+Vserver     Interface  Admin/Oper Address/Mask       Node          Port    Home
+----------- ---------- ---------- ------------------ ------------- ------- ----
+ont_k8_test_trident_01
+            lif_ont_k8_test_trident_01
+                         up/up    10.27.8.131/24     onstore03n2   a0a-1008
+                                                                           true
+</code>
+\\
+===== Service Policy anlegen und lif zuweisen =====
+<code>
+set advanced
+network interface service-policy create -policy sp_k8s_trident -allowed-addresses 0.0.0.0/0 -vserver ont_k8_test_trident_01 -services management-https data-nfs data-cifs data-core data-flexcache data-iscsi
+set admin
+onstore03::> net interface service-policy show -vserver ont_k8_test_trident_01
+  (network interface service-policy show)
+Vserver   Policy                     Service: Allowed Addresses
+--------- -------------------------- ----------------------------------------
+ont_k8_test_trident_01
+          default-data-blocks        data-core: 0.0.0.0/0
+                                     data-iscsi: 0.0.0.0/0
+          default-data-files         data-core: 0.0.0.0/0
+                                     data-nfs: 0.0.0.0/0
+                                     data-cifs: 0.0.0.0/0
+                                     data-flexcache: 0.0.0.0/0
+          default-management         data-core: 0.0.0.0/0
+                                     management-ssh: 0.0.0.0/0
+                                     management-https: 0.0.0.0/0
+          sp_k8s_trident             data-core: 0.0.0.0/0
+                                     data-nfs: 0.0.0.0/0
+                                     data-cifs: 0.0.0.0/0
+                                     data-flexcache: 0.0.0.0/0
+                                     data-iscsi: 0.0.0.0/0
+                                     management-https: 0.0.0.0/0
+net interface modify -vserver ont_k8_test_trident_01 -lif lif_ont_k8_test_trident_01 -service-policy sp_k8s_trident
+</code>
+===== User für Trident vorbereiten =====
+<code>
+security login password -username vsadmin -vserver ont_k8_test_trident_01
+security login unlock -username vsadmin -vserver ont_k8_test_trident_01
+onstore03::> security login show -vserver ont_k8_test_trident_01
+Vserver: ont_k8_test_trident_01
+                                                                 Second
+User/Group                 Authentication                 Acct   Authentication
+Name           Application Method        Role Name        Locked Method
+-------------- ----------- ------------- ---------------- ------ --------------
+vsadmin        http        password      vsadmin          no     none
+vsadmin        ontapi      password      vsadmin          no     none
+vsadmin        ssh         password      vsadmin          no     none
+</code>
+\\
+===== Trident Json =====
+Für Kubernetes kann man dann dieses JSON dafür verwenden
+<code>
+{
+    "version": 1,
+    "storageDriverName": "ontap-nas",
+    "managementLIF": "10.27.8.129",
+    "dataLIF": "10.27.8.129",
+    "svm": "ont_k8_test_trident_01",
+    "username": "vsadmin",
+    "password": "ASDF!!!",
+    "nfsMountOptions": "nfsvers=3",
+    "autoExportPolicy": true,
+    "autoExportCIDRs": ["10.27.8.0/24"]
+}
+</code>
 \\
@@ Line 1209: / Line 1393: @@
-===== Snapmirror =====
-**Snapmirror anlegen**\\
-Dies muss auf dem Ziel durchgeführt werden
-<code>cluster2::> snapmirror create -source-path svm1:vol_src01 -destination-path svm1_clust2:vol_dest01 -vserver svm1_clust2 -throttle unlimited -type XDP -policy MirrorAllSnapshots -schedule hourly
-cluster2::> snapmirror create -source-path svm1:vol_srv01 -destination-path svm1_clust2:vol_dest01 -vserver svm1_clust2 -throttle unlimited -type XDP
-cluster2::> snapmirror initialize -destination-path svm1_clust2:vol_dest01
-</code>
-\\
-**Anzeigen auf dem Source welche Snapmirror es gibt bzw. von him ziehen**
-<code>snapmirror list-destinations</code>
-\\
-**Snapmirror aufbrechen auf der Destination**
-<code>cluster2::> snapmirror break -destination-path svm1_clust2:vol_dest01</code>
-\\
-**Snapmirror sync nach einem aufbrechen** \\
-Nach dem Broken-Off den Sync in der gleichen konstelation wieder aufnehmen
-\\
-Snapmirror umdrehen \\
-Snapmirror nach dem Broken-Off umdrehen da die STBY Seite das Volume übernommen hat.\\
-Danach ist der alte Source die neue Destination\\
-<code>snapmirror resync -destination-path svm1:vol_src1 -source-path svm1_clust2:vol_dest1</code>
-\\
-\\
-Möchte man dies wieder auf den original Stand zurück stellen musss man das gleiche wieder mit einem Broken-Off und einem resync machen.\\
-Dies macht man einfach so:
-<code>cluster1::> snapmirror break -destination-path svm1:vol_src1
-cluster2::> snapmirror resync -destination-path svm1_clust2:vol_dest1 -source-path svm1:vol_src1</code>
-\\
-Unterbrechen eines Snapmirrors
-<code>cluster2::> snapmirror quiesce -destination-path svm1_clust2:vol_dest1</code>
-\\
-Nach einer Unterbrechen wieder starten
-<code>cluster2::> snapmirror resume -destination-path svm1_clust2:vol_dest1</code>
-\\
@@ Line 1310: / Line 1449: @@
 </code>
 \\
+==== Cache Stats ====
+Diag Modus only \\
+Cache Stats starten
+<code>
+statistics start -sample-id test -object ext_cache_obj -counter inserts|hit_percent -duration 10
+</code>
+\\
+Cache Stats ansehen
+<code>
+statistics show -sample-id test
+</code>
+\\
+Sample löschen
+<code>
+statistics samples delete -sample-id test
+</code>
+\\
+\\
@@ Line 1387: / Line 1549: @@
 \\
 ====== Cluster (nicht MetroCluster!) ======
+Kurzer Check vor dem Failover
+<code>
+network interface show -failover-policy disabled
+storage failover show
+system health config show
+</code>
+\\
 Takeover von Node 2 auf Node 1
@@ Line 1525: / Line 1696: @@
 Danach sollte man noch die ONTAP Doku checken da es für das Umschalten vom Cluster noch ein paar Optionen gibt.
 \\
+====== Verschlüsselung ======
+Verschlüssung von Aggregaten bzw. Volumes
+===== Anzeigen der verschlüsselten Aggrs =====
+<code>
+aggr show -fields encrypt-with-aggr-key
+</code>
+\\
+===== Anzeigen der verschlüsselten Volumes =====
+<code>
+vol show -fields encrypt
+</code>
+\\
+===== Anzeigen Verschlüsselungs Jobs =====
+<code>
+vol encryption conversion show
+</code>
+\\
+===== Anzeigen der Verschlüsslungskeys =====
+<code>
+security key-manager show
+</code>
+\\
+===== NAE Aggr erstellen =====
+Neues verschlüsseltes Aggr erstellen
+<code>
+aggr create -aggregate test -encrypt-with-aggr-key true .......
+</code>
+\\
+Bestehendes Aggr verschlüsselen. ACHTUNG! Sind schon Vol angelegt und sind diese nicht verschlüsselt muss dies davor gemacht werden.
+<code>
+aggr modify -aggregate aggr_sas_01n1 -encrypt-with-aggr-key true
+</code>
+\\
 ====== Logs ======
 **Anzeigen der Logs der letzten 10 Minuten**
@@ Line 1609: / Line 1823: @@
 <code>
 storage disk show -fields disk,type,model,firmware-revision,usable-size
-</code>
-\\
-===== Disk Qual Pack =====
-Qual Pack installieren
-<code>
-set -privilege advanced
-storage firmware download -node * -package-url http://<web-server>/path/qual_devices.zip
 </code>
 \\
@@ Line 1627: / Line 1833: @@
 storage disk firmware show-update-status
 </code>
 \\
-====== Upgrade ONTAP ======
+===== Disk Qual Pack =====
-===== Allgemein =====
+==== Qual Pack Version anzeigen ====
-Am besten man geht in den Active IQ unter [[https://mysupport.netapp.com/|https://mysupport.netapp.com/]] und gibt die gewünschten Daten ein. Danach kommt man ein PDF mit allen informationen was zu tun ist bzw. wie groß ein Update Sprung sein darf.
-\\
-===== Update =====
-Das Update von einem Single Cluster ist im Grunde recht simpel. \\
-Befolgen der Anweisungen vom Active IQ. \\
-\\
-===== Repository =====
-Anzeigen der Images im local Repo und eventuell löschen von alten Images.
 <code>
-cluster image package show-repository
+node run -node <node> -command rdfile /etc/qual_devices_v3
-cluster image package delete -version <version>
 </code>
 \\
-===== ONTAP Image Download =====
+==== Qual Pack installieren ====
-Download vom ONTAP Image auf die Nodes
 <code>
-cluster image package get -url http://<url>
+set -privilege advanced
+storage firmware download -node * -package-url http://<web-server>/path/qual_devices.zip
 </code>
 \\
-===== Autosupport =====
-Dem Autosupport eine Startmeldung geben
-<code>
-autosupport invoke -node * -type all -message "MAINT Starting_NDU"
-</code>
-\\
-===== Update Validieren =====
-Update Check
-<code>
-cluster image validate -version <version>
-</code>
-\\
-Update
-<code>
-cluster image update -version <version> -estimate-only
-cluster image update -version <version>
-cluster image show-update-progress
-</code>
-\\
-===== Autosupport =====
-Dem Autosupport eine Endemeldung geben
-<code>
-autosupport invoke -node * -type all -message "MAINT END"
-</code>
-\\
 ===== Shutdown =====