Versions Compared

Key

  • This line was added.
  • This line was removed.
  • Formatting was changed.
Comment: Content imported from a Scroll Translations translation file.

...

Sv translation
languagede

Rebuild Slave-DB & Replication

Da der Befehl mysqldump die Tables locked, ist es nicht notwendig, dass auf der Master Datenbank kein Traffic ist. Durch --master-data wird im Befehl mysqldump die richtige Position zum Einsetzen der Replication auf dem Slave Server hinterlegt. 

Falls die Festplatte des Slaves voll ist, dann bitte die Anleitung auf dieser Seite weiter unten - "Slave Platte Voll" betrachten.

  1. Auf Slave-Server anmelden
    • Anmeldung in MySQL mit Credentials USER und PWD, danach Slave stoppen und MySQL wieder verlassen. Dafür folgende Befehle nutzen:

      Translations Ignore
      • mysql -uUSER -pPWD

      • STOP SLAVE;

      • RESET SLAVE;

      • QUIT;


    • MySQL Server mit service mysqld restart neu starten.

  2. Einen MySQL-Dump schreiben. Auf dem Master-Server nun folgenden Schritte durchführen. Dazu ein Backup-Verzeichnis anlegen und in selbiges wechseln. Der MySQL-Dumb wird nun mit dem folgenden Befehl ausgeführt:

    • mysqldump -uUSER -pPWD --single-transaction --master-data=2 --databases JTELWeb JTELStats JTELLog --add-drop-database --add-drop-table --events --routines --triggers > filename.sql

      Ab Release 3.12 wird folgender Befehl benötigt:

    • mysqldump -uUSER -pPWD --single-transaction --master-data=2 --databases JTELWeb JTELStats JTELStats2 JTELLog --add-drop-database --add-drop-table --events --routines --triggers > filename.sql

    Hierzu eine kurze Erklärung:

    • <Name LogFile> und <Position LogFile> werden durch --master-data im Dump gespeichert.
    • nur die JTEL-Datenbanken verwenden '--databases'
    • alle Datenbanken vor Import löschen  '--add-drop-database'
    • alle Tabelle der Datenbanken vor Import löschen '--add-drop-table'
    • alle Routinen und Prozeduren im Dump implementieren '--events --routines'
    • Zusätzlich kann noch der Parameter --default_character_set utf8 verwendet werden

    Warning

    In Versionen 3.12, 3.14 und 3.15:

    Wenn sich jemand am Portal Anmeldet, während der Dump gezogen wird, geht das schief. Anbei eine SQL abfrage. Wenn die Zeit sich nach dem ausführen der Abfrage ändert, hat ein Login stattgefunden.

    Wenn das passiert, muss der Dump erneut gezogen werden und währenddessen dauerhaft geprüft werden, ob ein Login stattgefunden hat. Nur wenn dem nicht so ist, kann man den Dump Fehlerfrei auf den Slave replizieren.

    SELECT Max(dtAcdLoggedIn) FROM Users;

    In Versionen 3.11 und abwärts sowie Version 3.16 besteht dieses Problem nicht.


  3. MySQL-Dump vom Master Datenbankserver auf den Slave Datenbank Server kopieren.
    Verwende hierfür das Tool deiner Wahl: Kommandozeile (scp), WinSCP, ...

  4. Wir wechseln wieder auf den Slave-Server und importieren nun den mysqldump.

    Translations Ignore
    • mysql -uUSER -pPWD (Nun sind wir in MySQL)

    • SET foreign_key_checks = 0;

    • drop database JTELLog;

    • drop database JTELStats;

    • drop database JTELWeb;

    • drop database JTELStats2;

    • SET foreign_key_checks = 1;

    • source <filename>;


  5. Wir ermitteln nun die Replikationsparameter, da wir sie gleich benötigen werden:
    • In der mysqldump Datei ganz am Anfang finden wir im Kommentarblock eine Zeile, die folgendermaßen aussieht: CHANGE MASTER TO MASTER_LOG_FILE='binlog.000872', MASTER_LOG_POS=11940974; Die Parameter MASTER_LOG_FILE und MASTER_LOG_POS muss man sich merken.
    • Wir brauchen den Namen oder die IP vom Master DB Server
    • Wir brauchen das Passwort des Benutzers repl auf dem Master DB Server. Dies entspricht eigentlich immer dem Passwort des Benutzers root - man kann es am einfachsten ausprobieren, in dem man sich vom Slave auf dem Master mit diesem Passwort anmeldet: mysql -h <masterIP> -u repl -p<Passwort> - wenn das Funktioniert, weiss man bescheid.
  6. Jetzt befindet sich auf dem Slave server schon eine konsistente, einigermaßen neuer Stand der Daten. Es ist nun nur noch erforderlich die Replikation neu zu konfigurieren. Dazu folgende Befehle:
    • mysql -uUSER -pPWD

    • CHANGE MASTER TO MASTER_HOST='<name oder IP des master servers>',MASTER_USER='repl',MASTER_PASSWORD='<passwort>',MASTER_LOG_FILE='<Name LogFile>', MASTER_LOG_POS=<Position LogFile>;
      Hier sind alle Parameter mit denen aus Schritt 5 zu ersetzen.

      Translations Ignore
      • START SLAVE;


    Nun überprüfen wir den Slave Status (ein paar mal) mit dem Befehl: 

    Translations Ignore
    • SHOW SLAVE STATUS\G


    und erwarten folgendes Ergebnis:
    • Slave_IO_Running: Yes

    • Slave_SQL_Running: Yes

    Damit läuft die Replikation nun wieder. Der Name des Logfiles und die Position sollten zeitnah ziemlich genau denen des show master status auf der Master-Datenbank entsprechen.

  7. Aufräumen von Datenmüll nicht vergessen! D.h. mysqldumps und Verzeichnisse zumindest auf dem Slave wieder löschen. Auf der Master Datenbank kann ein Backup bleiben, sofern genügend Platz vorhanden ist. 

Slave Platte Voll

Es gibt diverse Gründe, warum die Slave Platte voll-laufen kann.

tmp Verzeichnis ist voll

Hintergrund

Jedes Mal, wenn eine Query eine tmp Tabelle anlegt, wird dies in das temp Verzeichnis, üblicherweise /tmp geschrieben. Dies geschieht dann, wenn die maximale Größe der maximale "in Memory" Tabellengröße überschritten wird.Dies wird mit den Variablen  tmp_table_size sowie max_heap_table_size definiert.

Siehe auch https://dev.mysql.com/doc/refman/5.6/en/internal-temporary-tables.html für mehr Information. 

Die Tabellen in /tmp werden solange gehalten, bis die jeweilige DB-Verbindung geschlossen wird, oder ein DROP TEMPORARY TABLE aufgerufen wird. Falls das /tmp Verzeichnis voll-läuft, ist zu vermuten dass ein DROP TEMPORARY TABLE irgendwo fehlt. Dies kann durchaus auch durch Kunden-Abfragen an die DB geschehen.

Aushilfe auf permanente Weise schafft hier die Installation von tmpwatch

Hinweise:
  • Auf CentOS 6 wird das /tmp Verzeichnis dann standardmäßig dann von Dateien auf den kein Zugriff > 10 Tage nicht erfolgt ist befreit
    • Unter Umständen reicht dies nicht aus
  • Auf CentOS 7 wird das /tmp Verzeichnis dann standardmäßig dann von Dateien auf den kein Zugriff > 1 Tag nicht erfolgt ist befreit

Vorgehensweise

  1. Es muss erstmal Platz geschaffen werden. Einfach gnadenlos alles aus /tmp löschen.
  2. Falls dies genügend Platz verschafft, dann erstmal den mysql Dienst neustarten: service mysql restart
  3. Falls dann genug Platz vorhanden ist (mindestens ca. 20%), dann mit Wiederherstellung der Replikation wie Oben beschrieben fortfahren.

Jede Menge "relay Logs" vorhanden

MySQL schreibt die Relay-Logs vom Master erstmal in eine Datei. Wenn die Replikation erstmal gebrochen ist, aber der Slave Relay Prozess weiter arbeitet, dann wird die Platte durch Relay Logs befüllt. 

Dieser Schritt sollte im jeden Fall durchgeführt werden, insbesondere vor dem nächsten (ibdata zu groß), um Platz zu schaffen.

Vorgehensweise

Die Dateien für die Datenbank befinden sich in der Regel in /var/lib/mysql

Falls nicht, dann ist der Speicherort in /etc/my.cnf zu finden. Der Entsprechende Eintrag ist datadir=(pfad)

  1. Alle Relay Logs löschen:

    Translations Ignore

    cd /var/lib/mysql
    rm mysqld-relay-bin*

    MySQL Dienst neustarten

    Translations Ignore

    service mysqld restart

    Falls genug Platz vorhanden (mind. 20%) dann mit der Wiederherstellung des Slaves fortfahren wie oben beschrieben.

ibdata Dateien auf den Slave "Riesen-Groß"

Die Dateien für die Datenbank befinden sich in der Regel in /var/lib/mysql
Auf Grund von nicht klar dokumentierte MySQL internas, kann die Datei /var/lib/mysql/ibdata1 eine riesige Größe annehmen im Vergleich zu der Master Datenbank.
Um dies zu bereinigen, muss man etwas härter vorgehen.

Vorgehensweise

  1. Falls nicht weniger als 100% Platte durch die Schritte Oben erreicht werden kann:
    1. Den MySQL Dienst aus der Autostart austragen:

      Translations Ignore

      service mysqld disable


    2. Den Rechner neu starten mit:

      Translations Ignore

      reboot

      Geht nur wenn weniger als 100% Platte erreicht ist (ggf. nach Reboot oben) dann:

      1. Auf den mysql Server anmelden:

        Translations Ignore

        mysql -u root -p


      2. Alle JTEL Datenbanken droppen:

        Translations Ignore

        SET FOREIGN_KEY_CHECKS=0;
        DROP DATABASE JTELLog;
        DROP DATABASE JTELStats;
        DROP DATABASE JTELWeb;
        SET FOREIGN_KEY_CHECKS=1;

        Mit CTRL+C wieder auf die Kommandozeile, und dann:

        Translations Ignore

        service mysqld stop
        rm /var/lib/mysql/ibdata*
        rm /var/lib/mysql/ib_log_*

        MySql Server starten, und ggf. wieder enablen:

        Translations Ignore

        service mysqld start
        service mysqld enable

        Plattenplatz prüfen, und mit Slave Wiederherstellung wie oben beschrieben fortfahren.

Trotzdem kein Plattenplatz > 20% Frei

In diesen Fall ist der Slave einfach zu klein. Die Festplatte muss erweitert werden (wie bei Erweiterung der Rolle STORE, nur auf das Logical Volume anwenden auf den die Daten der MySQL Datenbank sich befinden). Dann die Schritte wieder durchführen, bei Platte zu Klein, dann Slave wieder herstellen wie Oben beschrieben.

Oder der Slave wird komplett neu gebaut mit einer größeren Platte.

Sv translation
languagefr

Reconstruire la BD-esclave et Réplication

Comme la commande mysqldump verrouille les tables, il n'est pas nécessaire qu'il n'y ait pas de trafic sur la base de données principale. Avec --master-data, la commande mysqldump enregistre la position correcte pour l'insertion de la réplication sur le serveur esclave. 

Si le disque dur de l'esclave est plein, veuillez vous référer aux instructions sur cette page ci-dessous - "Disque d'esclave complet".

  1. Connexion àserveur esclaves
    • Connectez-vous à MySQL avec les identifiants USER et PWD, puis arrêtez l'esclave et quittez MySQL à nouveau. Utilisez pour cela les commandes suivantes :

      Translations Ignore
      • mysql -uUSER -pPWD

      • STOP SLAVE;

      • RESET SLAVE;

      • QUIT;


    • Redémarrer Serveur MySQL avecservice mysqld restart.

  2. Ecrire un dump MySQL. Effectuez maintenant les étapes suivantes sur le serveur maître. Créer un répertoire de sauvegarde et le modifier. Le dumb MySQL est maintenant exécuté avec la commande suivante

    • mysqldump -uUSER -pPWD --single-transaction --master-data=2 --databases JTELWeb JTELStats JTELLog --add-drop-database --add-drop-table --events --routines --triggers > filename.sql

      A partir de la version 3.12, veuillez utiliser la commande suivante :

    • mysqldump -uUSER -pPWD --single-transaction --master-data=2 --databases JTELWeb JTELStats JTELStats2 JTELLog --add-drop-database --add-drop-table --events --routines --triggers > filename.sql

    Voici une brève explication à ce sujet :

    • <Name LogFile> et <Position LogFile> sont enregistrés grâce à --master-data dans le dump
    • utiliser uniquement les bases de données JTEL '--databases'
    • supprimer toutes les bases de données avant l'importation  '--add-drop-database'
    • supprimer toutes les tables des bases de données avant l'importation '--add-drop-table'
    • Mettre en œuvre toutes les routines et procédures dans la décharge '--events --routines'
    • De plus, le paramètre--default_character_set utf8 peut être utilisé

    Warning

    Dans les versions 3.12, 3.14 et 3.15

    Si quelqu'un se connecte au portail alors que la décharge est en cours d'extraction, cela va mal se passer. Ci-joint une requête SQL. Si l'heure change après l'exécution de la requête, c'est qu'une connexion a eu lieu.

    Si cela se produit, la décharge doit être à nouveau retirée et, dans l'intervalle, il faut vérifier en permanence si une connexion a eu lieu. Si ce n'est pas le cas, le dépôt peut être reproduit sans erreur à l'esclave.

    SELECT Max(dtAcdLoggedIn) FROM Users;

    Dans les versions 3.11 et inférieures et la version 3.16, ce problème n'existe pas.


  3. Copier le dump MySQL du serveur de base de données maître vers le serveur de base de données esclave
    Utilisez l'outil de votre choix : ligne de commande (scp), WinSCP, ...

  4. Nous retournons à la serveur esclave et maintenant importer mysqldump.

    Translations Ignore
    • mysql -uUSER -pPWD (we are now in MySql)

    • SET foreign_key_checks = 0;

    • drop database JTELLog;

    • drop database JTELStats;

    • drop database JTELWeb;

    • drop database JTELStats2;

    • SET foreign_key_checks = 1;

    • source <filename>;


  5. Nous sommes en train de déterminer les paramètres de réplication, car nous en aurons besoin dans un instant :
    • Dans le fichier mysqldump, au tout début, nous trouvons une ligne dans le bloc de commentaires qui ressemble à ceci : CHANGE MASTER TO MASTER_LOG_FILE='binlog.000872', MASTER_LOG_POS=11940974;Mémoriser les paramètres MASTER_LOG_FILE et MASTER_LOG_POS.
    • Nous avons besoin du nom ou de l'adresse IP du serveur principal de la base de données
    • Nous avons besoin du mot de passe de l'utilisateur repl sur le serveur de base de données principal. Généralement, c'est always le Mot de passe Utilisateur root - la façon la plus simple de l'essayer est de se connecter de l'esclave au maître avec ce mot de passe : mysql -h <masterIP> -u repl -p<Passwort> - si cela fonctionne, alors vous savez.
  6. Maintenant, sur le serveur esclave, il y a déjà un état cohérent et assez nouveau des données. Il ne reste plus qu'à reconfigurer la réplication. Les commandes suivantes le font :
    • mysql -uUSER -pPWD

    • CHANGE MASTER TO MASTER_HOST='<name or ip of master servers>',MASTER_USER='repl',MASTER_PASSWORD='<passwort>',MASTER_LOG_FILE='<Name LogFile>', MASTER_LOG_POS=<Position LogFile>;
      Ici, tous les paramètres doivent être remplacés par ceux de l'étape 5.

      Translations Ignore
      • START SLAVE;


    Maintenant, nous vérifions le statut de l'esclave (plusieurs fois) avec la commande 

    Translations Ignore
    • SHOW SLAVE STATUS\G


    et attendez le résultat suivant :
    • Slave_IO_Running: Yes

    • Slave_SQL_Running: Yes

    Maintenant, la réplication fonctionne à nouveau. Le nom du fichier journal et la position devraient rapidement correspondre à peu près au statut de maître d'exposition sur la base de données principale.

  7. N'oubliez pas de nettoyer les déchets de données ! C'est à dire supprimer les mysqldumps et les répertoires au moins sur l'esclave. Une sauvegarde peut rester sur la base de données maître, à condition qu'il y ait assez de place. 

Disque d'esclave complet

Il y a plusieurs raisons pour lesquelles le disque esclave peut devenir plein.

le répertoire tmp est complet

Background

Chaque fois qu'une requête crée une table tmp, elle est écrite dans le répertoire temp, généralement /tmp. Cela se produit lorsque la taille maximale dépasse la taille maximale de la table "en mémoire". Celle-ci est définie avec les variables tmp_table_size ainsi que max_heap_table_size .

See also https://dev.mysql.com/doc/refman/5.6/en/internal-temporary-tables.html pour plus d'informations. 

Les tables dans /tmp sont conservées jusqu'à ce que la connexion DB respective soit fermée ou qu'une TABLE TEMPORAIRE DROP soit appelée. Si le répertoire /tmp est plein, il est probable qu'il manque quelque part une DROP TABLE TEMPORAIRE. Cela peut également se produire par le biais de requêtes des clients à la DB.

L'installation de tmpwatch crée de l'aide de façon permanente

Indices:
  • Sous CentOS 6, le répertoire /tmp est alors par défaut libéré des fichiers qui n'ont pas été consultés pour > 10 jours
    • Cela peut ne pas être suffisant
  • Sous CentOS 7, le répertoire /tmp est alors libéré par défaut des fichiers qui n'ont pas été consultés depuis > 1 jour

Procédure

  1. Un espace doit d'abord être mis à disposition. Il suffit de tout supprimer impitoyablement dans /tmp.
  2. Si cela permet de disposer de suffisamment d'espace, il faut d'abord redémarrer le service mysql : service mysql restart
  3. S'il y a suffisamment d'espace (au moins environ 20 %), il faut alors procéder à la réplication comme décrit ci-dessus.

Beaucoup de "journaux de relais" disponibles

MySQL écrit d'abord les journaux de relais du maître dans un fichier. Une fois que la réplication est interrompue, mais que le processus de relais esclave continue à fonctionner, le disque est rempli par les journaux de relais. 

Cette étape doit être effectuée dans tous les cas, surtout avant la prochaine (ibdata trop grande) pour faire de la place.

Procédure

Les fichiers de la base de données se trouvent généralement dans /var/lib/mysql

Si ce n'est pas le cas, le lieu peut être trouvé dans /etc/my.cnf L'entrée correspondante est datadir=(pfad)

  1. Effacer tous les journaux de relais :

    Translations Ignore

    cd /var/lib/mysql
    rm mysqld-relay-bin*

    Redémarrer le service MySQL

    Translations Ignore

    service mysqld restart

    Si l'espace disponible est suffisant (au moins 20 %), il faut alors procéder à la récupération d'esclave comme décrit ci-dessus.

Fichiers ibdata sur l'esclave "très grand"

Les fichiers de la base de données se trouvent généralement dans /var/lib/mysql

En raison de l'absence de documentation claire sur MySQL internas, le fichier /var/lib/mysql/ibdata1 peut être énorme par rapport à la base de données principale.
Pour y remédier, il faut procéder avec un peu plus de rigueur.

Procédure

  1. Si les étapes ci-dessus permettent d'atteindre au moins 100 % de disque :
    1. Désinscrire le service MySQL au démarrage automatique :

      Translations Ignore

      service mysqld disable


    2. Redémarrez l'ordinateur avec :

      Translations Ignore

      reboot

      Ne fonctionne que si le disque est inférieur à 100% (éventuellement après le redémarrage ci-dessus) alors

      1. Connectez-vous au serveur mysql :

        Translations Ignore

        mysql -u root -p


      2. Supprimer toutes les bases de données JTEL :

        Translations Ignore

        SET FOREIGN_KEY_CHECKS=0;
        DROP DATABASE JTELLog;
        DROP DATABASE JTELStats;
        DROP DATABASE JTELWeb;
        SET FOREIGN_KEY_CHECKS=1;

        Appuyez sur CTRL+C pour revenir à la ligne de commande, puis

        Translations Ignore

        service mysqld stop
        rm /var/lib/mysql/ibdata*
        rm /var/lib/mysql/ib_log_*

        Démarrez MySql Server, et réactivez-le si nécessaire :

        Translations Ignore

        service mysqld start
        service mysqld enable

        Vérifiez l'espace disque, et procédez à la restauration des esclaves comme décrit ci-dessus.

Toujours pas d'espace disque > 20% gratuit

Dans ce cas, l'esclave est tout simplement trop petit. Le disque dur doit être étendu (comme pour l'extension du rôle STORE, ne s'appliquer qu'au volume logique où résident les données de la base de données MySQL). Ensuite, si le disque est trop petit, il faut à nouveau effectuer les étapes, puis restaurer l'esclave comme décrit ci-dessus.

Ou bien l'esclave est complètement reconstruit avec une plaque plus grande.

Translations Ignore
  • mysql -uUSER -pPWD

  • STOP SLAVE;

  • RESET SLAVE;

  • QUIT;

Warning
Translations Ignore
  • mysql -uUSER -pPWD (we are now in MySql)

  • SET foreign_key_checks = 0;

  • drop database JTELLog;

  • drop database JTELStats;

  • drop database JTELWeb;

  • drop database JTELStats2;

  • SET foreign_key_checks = 1;

  • source <filename>;

Translations Ignore
  • START SLAVE;

Translations Ignore
  • SHOW SLAVE STATUS\G

Translations Ignore

cd /var/lib/mysql
rm mysqld-relay-bin*

Translations Ignore

service mysqld restart

Translations Ignore

service mysqld disable

Translations Ignore

reboot

Translations Ignore

mysql -u root -p

Translations Ignore

SET FOREIGN_KEY_CHECKS=0;
DROP DATABASE JTELLog;
DROP DATABASE JTELStats;
DROP DATABASE JTELWeb;
SET FOREIGN_KEY_CHECKS=1;

Translations Ignore

service mysqld stop
rm /var/lib/mysql/ibdata*
rm /var/lib/mysql/ib_log_*

Translations Ignoreservice mysqld start
service mysqld enable