Stone Wiki

This page is read only. You can view the source, but not change it. Ask your administrator if you think this is wrong.
====== MySQL Replication ======

===== Vorbereiten des Masters =====
Damit der Master Bin Logs schreibt müssen in der Config ein paar Sachen gemacht werden.
\\
\\

Änderungen in der my.cnf (bei Mariadb kann das etwas sein) - Service muss danach neugestartet werden.
<code>
server_id = 1
log_bin = /var/lib/mysql/mysql-bin.log
relay-log=/var/lib/mysql/mysql-relay-bin
sync_binlog = 1
expire_logs_days=7
max_binlog_size=500M
max_relay_log_size=500M
relay_log_space_limit=5G
relay_log_purge=1
replicate-ignore-db=performance_schema,information_schema
log-error = /var/log/mysql/error.log
bind-address = 192.168.0.1
</code>
Manche Einstellungen sollten natürlich angepasst werden.
\\
\\
Danach muss ein User angelegt werden am Master.
\\
Als IP wird die Source IP vom Slave genommen.
<code>
mysql -u root

CREATE USER 'repl'@'192.168.10.28' IDENTIFIED BY 'password';
GRANT REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'repl'@'192.168.10.28';
FLUSH PRIVILEGES;
</code>


===== Vorbereiten des Slaves =====
Ähnlich wie beim Master braucht man hier ein paar Config Einstellungen.
\\
\\
Änderungen in der my.cnf (bei Mariadb kann das etwas sein) - Service muss danach neugestartet werden.
<code>
server_id = 2
log_bin = /var/lib/mysql/mysql-bin.log
relay-log=/var/lib/mysql/mysql-relay-bin
sync_binlog = 1
expire_logs_days=7
max_binlog_size=500M
max_relay_log_size=500M
relay_log_space_limit=5G
relay_log_purge = 1
replicate-ignore-db=performance_schema,information_schema
log-error = /var/log/mysql/error.log
bind-address = 192.168.0.1
read_only = 1
super_read_only = 1
</code>
\\

Überprüfen ob die RO Flags auch ziehen:
<code>
show global variables like '%read_only%';
</code>
\\

===== Übernehmen des Datenstand =====
Die Daten vom Master müssen auf den Slave. Dies geht am besten mit einem Backup. Zur not kann man auch den ganzen Server Clonen. Achtung UUID der MySQL Intanz muss angepasst werden.

\\


==== Backup auf dem Master ====
Das Backup muss ein offline Backup sein (bei MyISAM). Damit die DB online bleiben kann gibt es auch für MyISAM einen Parameter. Es kann jedoch trotzdem zu Problemen der Application in der Zeit kommen.

<code>
mysqldump --all-databases --allow-keywords --single-transaction --quote-names --flush-logs --source-data=2 -r /root/mysqldump.sql

Bei ältern DBs muss der Parameter --source-data gegen --master-data ersetztn werden
mysqldump --all-databases --allow-keywords --single-transaction --quote-names --flush-logs --master-data=2 -r /root/mysqldump.sql
</code>
\\

==== Backup auf dem Master und scp ====
Hier ein Beispiel wie man den Dump gleich auf den Slave weiter schieben kann via SCP. \\
Ich verwende hier zusätzlich noch das Tool pv um mir einen Status anzeigen zu lassen.
\\
\\
Ohne gzip
<code>
mysqldump --all-databases --allow-keywords --single-transaction --quote-names --flush-logs --source-data=2 | pv | ssh root@<IP> 'cat > <path>/masterdump.sql'
</code>
\\

Mit gzip
<code>
mysqldump --all-databases --allow-keywords --single-transaction --quote-names --flush-logs --source-data=2 | pv | gzip -9 -c | ssh root@<IP> 'cat > <path>/masterdump.sql.gz'
</code>
\\

==== Restore auf dem Slave ====
Sync Bin Log beim Import deaktivieren
<code>
mysql -u root
SET GLOBAL sync_binlog=0;
SHOW VARIABLES like '%sync%';
</code>
\\
\\

Daten importieren einfach ohne gzip
<code>
cat /root/mysqldump.sql | mysql -u root
</code>
\\
\\

Import von gzip Daten
<code>
zcat /path/to/file.sql.gz | mysql -u 'root' 
</code>
\\
\\

Import von gzip Daten mittels pv
<code>
pv masterdump.sql.gz | gunzip | mysql -u root
</code>
\\




Progress der Datenübernahme
<code>
watch -n 5 'echo "show processlist;" | mysql -uroot' ;
</code>
\\

Sync Bin wieder aktivieren und rechte aktualisieren
<code>
mysql -u root
SET GLOBAL sync_binlog=1;
SHOW VARIABLES like '%sync%';

FLUSH PRIVILEGES;
</code>

\\

==== Starten der Replikation ====
Auf dem Slave

<code>
root@db01:~$ head -n 50 db_dump_from_master.sql | grep -i "master"
CHANGE MASTER TO MASTER_LOG_FILE='mariadb-bin.000011', MASTER_LOG_POS=386;

mysql -u root
stop slave;
reset slave;
change master to master_host='<Master-IP>', master_user='repl', master_password='<PW>', master_log_file='<Master Log File>', master_log_pos=<Master Log Pos>;

Beispiel:
change master to master_host='192.168.0.1', master_user='repl', master_password='password', master_log_file='mariadb-bin.000011', master_log_pos=386;

start slave;
</code>

\\

===== Status des Slave =====

<code>
show slave status\G
</code>

Wichtige Parameter:
  * Master_Host: 172.26.1.143 --> Master Host IP Adresse
  * Master_Log_File: mariadb-bin.000313 --> Aktuelles Master Logfile
  * Read_Master_Log_Pos: 4735680 --> Aktuelle Master Log Position
  * Relay_Master_Log_File: mariadb-bin.000312 --> Aktuelles Logfile vom Slave. In diesem befindet er sich gerade
  * Exec_Master_Log_Pos: 521525383 --> Aktuelle Slave Log Position
  * Seconds_Behind_Master: 1973 --> Standby ist xx Sec nach dem Master hinter nach und arbeitet die Logs ab.

\\

===== Master Log Position =====
So kann man sich die Master Log Position ansehen.
<code>
mysql -u root
show master status;
</code>
Dies sollte jedoch für den Aufbau des Slaves nicht nötigen sein da wir dies in den Dump gleich rein schreiben.
\\

Man kann sich die Log Positon auch offline ansehen
<code>
mysqlbinlog <letztes file> | tail
end_log_pos ->
</code>
\\


===== Server ID anzeigen =====
<code>
SHOW VARIABLES LIKE 'server_id';
</code>
\\

===== Server UUID anzeigen =====
<code>
show variables like '%uuid%';
</code>
\\

==== Server UUID ändern ====
Oft liegt unter /etc/mysql oder /var/lib/mysql ein File mit dem Namen "auto.cnf".
\\
Dieses muss gelöscht werden und der Service neu gestartet.
<code>
rm /var/lib/mysql/auto.cnf
systemctl restart mysql.service
</code>
\\
===== Slave Wiederaufbau =====
Funktioniert die Replikation warum auch immer nicht mehr kann man den Slave wenn die Logfiles am Master noch verfügbar sind so wieder aufbauen

<code>
show slave status\G

stop slave;
reset slave;
start slave;
</code>

\\

Sollte das nicht funktionieren und die DBs nicht mehr zusammen finden kann man den Startpunkt auch manuell angeben.
<code>
show slave status\G
stop slave;
reset slave;

change master to master_host='<Master-IP>', master_user='repl', master_password='<PW>', master_log_file='<Relay_Master_Log_File>', master_log_pos=<Exec_Master_Log_Pos>;

start slave
</code>
\\

===== Manueler Logswitch =====

Mit diesem Befehl wird das aktuell Binlog geswitch auf das nächste.\\
Befehl muss auf der Master DB abgesetzt werden.
<code>
FLUSH BINARY LOGS;
</code>



\\
===== Problem beim Sync =====
Falls es beim Sync zu Problemen kommt.

==== Duplicate entry ====
Wenn man beim Sync die Meldung bekommt das es Duplicate entry's gibt kann man die auf der Standby entweder manuell raus löschen oder Skipen
<code>
mysql -u root

stop slave;
set global sql_slave_skip_counter=1
start slave;
show slave status\G
</code>
\\

Kommt dies mehrfach vor kann man dies mit einer Schleife abhandeln. \\
Dies passiert wenn die Dbs nicht richtig zusammen finden und in der Slave schon die gleichen Daten wie in der Master Db stehen. Damit überspringt man dann diese Datensätze.
<code>
while [ 1 ]; 
do
dup=`mysql -u root -e "show slave status \G;" | grep "Duplicate entry" | wc -l`
if [ $dup -eq 2 ] ; 
then mysql -u root -e "stop slave; set global sql_slave_skip_counter=1; start slave;"; 
fi; sleep 1; 
mysql -u root -e "show slave status\G"; 
done
</code>

Wenn es sehr viele davon sind dann kann man sleep 1 auch auf sleep 0 setzten und go...
\\
Wobei man sich hier schon überlegen sollte ob man die Slave DB nicht komplett neu aufbaut...

\\

===== Drop aller Datenbanken =====
Muss zB für einen neuen Slave am Slave selbst alle DBs gelöscht werden kann diese Schleife dazu verwendet werden
<code>
for i in `mysql -uroot -e "show databases" | grep -v Database | grep -v mysql| grep -v information_schema`;
do mysql -uroot -e "drop database $i;";
echo $i - deleted;
done
</code>
\\

===== MySQL-Bin Logs Löschen =====
Wenn viele alte Logs rum liegen auf einem Master können diese so gelöscht werden
\\

==== Löschen der Logs bis zum Log xxx ====
<code>
PURGE BINARY LOGS TO 'mysql-bin.000223';
</code>
\\

==== Löschen der Logs älter als drei Tage ====
<code>
PURGE BINARY LOGS BEFORE DATE(NOW() - INTERVAL 3 DAY) + INTERVAL 0 SECOND;
</code>
\\

==== Löschen der Logs bis zu einem Daten ====
<code>
PURGE BINARY LOGS BEFORE '20021-11-01 00:00:00';
</code>
\\


==== Setzen von automatischen löschen ====
In der my.cnf - Neustart von MySQL erforderlich
<code>
expire-logs-days=3
</code>

\\
Online in der DB setzten
<code>
SET GLOBAL expire_logs_days = 3;
</code>
\\

Anzeigen ob dieser Parameter schon gesetzt ist
<code>
SHOW VARIABLES like 'expire%';
</code>
\\