Discussion :

[helpcomm]

Salut,

Je vous présente ma problématique: J'ai un script qui doit traiter 2 millions d'enregistrements. Je veux séparer les traitements de manière à traiter des blocs de 50000. J'excède la limite de mémoire après deux blocs. Je vous liste les solutions possibles que je veux éviter:

1. exécuter manuellement un bloc à la fois
2. recourir à un cron.
3. Allouer plus de mémoire dans le php.ini.

Avez d'autres suggestions?

[stealth35]

montre ton script, tu dois avoir un problème de mémoire pour la mémoire augmente

[helpcomm]

La mémoire nécessaire pour le script est élevée. Je le sais d'avance. C'est à cause que je dois traiter deux millions d'enregistrement provenant d'une table dans une BD. J'ai dejà fait des tests avec 50000 enregistrement. Cela marche parfaitement. Pour le moment je me contente de faire les traitements pour des blocs de 50000 enregistrement à la fois.

Mais s'il n y a pas une autre solution à part celle que j'ai mentionné dans mon premier message, c'est compréhensible aussi. Au moins je peux être sure que je n'ai pas considéré une solution parce que j'en ignorait l'existence.

Merci

[stealth35]

montre ton code on pourra t'en déjà plus niveau des perf, si tu pense que ton code est optimisé, t'as pas le choix d’être en limite technique, mais sache que PHP (coté web) n'est pas dutout fait pour ça.

[helpcomm]

Bonjour,

En fait mon script est destiné à être exécuté en ligne de commande. J'ai pensé à la fonction "sleep", mais je n'ai trouvé nul part dans la documentation que la mémoire n'ai plus utilisée pendant la durée du "sleep". Idéalement, j'aimerai avoir un moyen d'exécuter un bloc, arrêter pendant une certaine durée pour libérer la mémoire, puis continuer avec la deuxième itération, arrêter, et ainsi de suite.

Merci

[Benjamin Delespierre]

Heu... En PHP la libération mémoire c'est pas magique, tu peux mettre tous les slips que tu veux, ça va rien changer.

Ce que tu peux faire en revanche c'est paralléliser les scripts en ouvrant plusieurs queues de traitements. Mais là encore, comme l'a rappellé Stealth, PHP c'est pas du tout fait pour ça et tu t'en sortira mieux avec un programme Python ou Java.

Encore une fois, si tu veux qu'on réponde avec précision: montre ton code, j'ai oublié ma boule de cristal.

[helpcomm]

Merci beaucoup

[stealth35]

tu peux mettre tous les slips que tu veux, ça va rien changer.

[helpcomm]

Je n'avais pas remarqué, mais c'est vraiment drôle :-)

Pour revenir à l'optimisation du code en tant que tel. Mon script enregistre les données extraites de la BD (2 millions d'enregistrement) et les écrit sous format XML. J'ai utilisé DOM XML avec php 5.3
Y a-t-il un autre moyen qui donnerait de meilleures performances?

[Benjamin Delespierre]

De quelle façon utilises-tu les ressources ?

[Invité]

Bonjour,
J'ais écris souvent sur le sujet, en php, si la fonction n'est pas
bloquée par ton hébergeur (refusant les risques de saturation)
tu procédes ainsi

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
 
<?PHP
ini_set ('max_execution_time', 0);
 
//==============puis dans ta boucle (même énorme on s'en moque)
//============== que se soit un FOR ou WHILE ou etc...
for ($x=1;$x<1000000000000;$x++)
{
//========traitement
set_time_limit(10); 
 
}

[helpcomm]

Merci beaucoup, Avec cette méthode je peux allouer de la mémoire dynamiquement, celà m'évite de modifier les configurations globales et même sur un navigateur ça marche. Quand vous dites que vous écrivez souvent là dessus, est ce que c'est sur le forum où sur un blogue? Si c'est un blogue j'aimerais avoir l'URL.

Merci

[Invité]

Merci beaucoup, Avec cette méthode je peux allouer de la mémoire dynamiquement, celà m'évite de modifier les configurations globales et même sur un navigateur ça marche. Quand vous dites que vous écrivez souvent là dessus, est ce que c'est sur le forum où sur un blogue? Si c'est un blogue j'aimerais avoir l'URL.
Merci

j'avais réalisé un article sur mon pertit web ici
http://www.fox-infographie.com/ajax_lance_php.php