Discussion :

[ctobini]

Bonjour,

Je souhaite injecter des données dans une table d'une base MySQL 5.0 tout en pouvant effectuer des SELECT sur la table active.

J'injecte un grand nombre de données et je voudrais pouvoir contrôler l'état d'avancement des INSERT. Actuellement, je n'ai la main sur la table qu'une fois l'INSERT effectué.

Sauriez-vous comment pouvoir faire ceci ?

En vous remerciant,

C. Tobini

[berceker united]

Bonne question.
Comme je suis pas sur mon poste je pourrais pas trop testé mais tu pourrais tester les LOW_PROPERTY. Cela aura pour effet d'insérer seulement quand la table est libre. Si tu place en plus un HIGHT_PROPERTY sur ton SELECT cela aura peut être de pouvoir lire les données. A savoir quand même que cela aura pour effet de retarder l'opération.
Il y a un autre parametre à prendre en compte. Il y a plusieurs syntaxe d'insert possible.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
 
INSERT INTO xxx (...) VALUES (...);
INSERT INTO xxx (...) VALUES (...);
INSERT INTO xxx (...) VALUES (...);

et

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

INSERT INTO xxx (...) VALUES (...), (...), (...);

Si tu es dans le deuxième cas je ne pense pas que la méthode au déssus puisse fonctionner.

Ici je n'ai fais qu'une méthode que j'ai en tête mais je crois qu'il y en a d'autre. Il se pourrait aussi que c'est lié au vérouillage de la table. A vérifier.

[ctobini]

Bonjour et merci de la réponse,

J'ai tenté une INSERT DELAYED, pour l'instant la table n'est pas nourrie.

Je 'croise' 53 000 000 de lignes avec 24 000 000 de lignes d'autres tables et 200 000 lignes d'une autre base, le tout bourré d'index évidemment

Apparement les transactions ne permettent pas non plus d 'avoir de visibilité sur les requêtes, je vais m'intéresser aux logs pour voir s'il y a moyen de savoir où en est la requête.

C. Tobini

[Sivrît]

Par défaut les transactions sont isolées afin que l'on ne voit que les modifications après leur commit. C'est généralement ce que l'on veut mais ça peut se régler.

Donc avec plusieurs requêtes d'insertion (s'il y a autant de données ça doit déjà être le cas) et des commit de temps à autre, autocommit ou encore en jouant sur le mode isolation ça devrait le faire.

[Antoun]

Pour compléter la réponse de Sivrît, j'ajouterai que les transactions (et donc l'isolation) ne concerne que les tables InnoDB.

[berceker united]

Je me demande si en utilisant un COUNT(*) au lieu de lire le contenu de cette table ne change pas le mécanisme de lecture. C'est à dire qu'il est possible de lire cette information.

[Antoun]

Pour les tables MyISAM, il y a effectivement un mécanisme de lecture spécial pour le COUNT(*) sur l'ensemble de la table.

[ctobini]

Bonjour à tous et merci de vos réponses,

J'ai temporairement résolu le problème avec un script Perl :

J'appelle la commande dans une boucle while() en créant un shift d'un million sur les id de ma table temporaire de départ, chaque fois qu'un million de ligne est traité, j'en suis averti dans mon Terminal.

Je vais regarder du côté des transactions pour pouvoir traiter tout en global et vérifier de temps en temps l'évolution du traitement.

Bonne journée à vous,

C. Tobini