J'ai une problématique un peu spécial !
Nous avons actuellement toutes les nuits des opérations d'Export et d'Import de Données entre les "Sites" et le Serveur "Appli Web"
Et Cela plombe nos Serveurs. Trop de Données circulent !
En fait pour chaque besoin, il y a des Exports de Données, mais ces données sont parfois les mêmes, on aimerait regrouper le tout d'un export global, les Appli Web ferait le tri (ne prendrait que ce qu'elles ont besoin)
Pour le Moment, je n'aborde que problématique Sites -> Server, mais l'autre sens existe aussi !
Contraintes
* Sites
... Windows
... EasyPHP 1.8, MySQL 4.1.9 - Il n'est pas prévu de changer de version
... 60 Sites = 60 Serveur MySQL
... Non Accesible depuis l'Extérieur
* Serveur "Appli Web"
... Linux
... MySQL 5.0
... 60 Bases = une pour chaque site !
... Non Accessible depuis l'Extérieur (sauf SSH mais le Directeur ne veut pas que l'on fasse de Tunnel, un petit coup de paranoïa)
Attention, cela serait une réplication asynchrone entre 21h et 6h.
L'Objectif serait d'extraire le Journal Binaire (ça c'est bon, j'ai mis log-bin dans le fichier ini de MySQL de EasyPHP, cela enregistre mes requêtes), d'envoyer ce Log Binaire vers le Serveur !
Mais on voudrait réduire les Flux !
Donc au lieu d'exporter tout le Log Binaire, j'aimerais n'exporter que le log de certaines tables (j'ai vu --replicate-do-table sur l'Esclave, mais je ne vais pas transférer le log de 100 tables pour récupérer le contenu de 5)
J'ai vue que l'on peut accéder au log via SHOW BINLOG EVENTS, je pourrais bidouiller un système qui envoie les requêtes de certaines tables (en parsant le SQL) via un WebService qui les executerait sur le Slave, avec gestion des erreurs évidemment
Comme j'ai un temps limité de travail (21h à 6h), imaginons, qu'il n'est pas fini la replication à 6h, il faudra gérer un curseur pour reprendre le lendemain la lecture du log à l'endroit où l'on était la veille ... Uzinagaz en prévision !
Pour information, c'est la même problématique "Utiliser Talend pour Replication entre Bases Hérétorgènes" à la différence que l'on aurait des Bases Homogènes, forcément en replication, et qu'il y aurait une transformation dans un second temps ...
J'ai besoin de votre avis pour mettre en place cette replication SANS utiliser trop de bidouilles ou de truc maison
Partager