Discussion :

[Mr N.]

Salut les gens,

J'ai un petit souci de perfs. J'ai un objet, qui me sert à parcourir un résultat de requête sql, il implémente ArrayAccess, Countable. Ainsi je peux faire:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
foreach ($dao->searchById(123) as $row) {
   echo $row['champ_1'];
}

Très bien. Ça marche nickel.


Maintenant j'ai une requête sql un peu complexe qui me retourne un ensemble de tuples (tutu_id, toto_id). Sur un système en charge, j'ai 50000 tuples qui me sont retournés... J'ai besoin de tous ces tuples donc je ne peux faire de LIMIT pour réduire le nombre.

Là où j'ai un bottleneck, c'est que je mets ce résultât de recherche dans un tableau:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
$tablo = array();
foreach ($dao->searchComplexeQuery() as $row) {
   $tablo[] = $row;
}

Ça ça me bouffe des ressources

Comme j'ai un ArrayAccess, j'ai pensé faire directement un:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

$tablo = $dao->searchComplexeQuery();

Mais plus tard dans mon script je fais, entre autres, un array_map sur mon $tablo pour extraire soit un tableau (tutu_id_1, tutu_id_2, ...) soit un tableau (toto_id_1, toto_id_2, ...). Et array_map n'apprécie pas que je lui passe un ArrayAccess, il veut un array tout court

Mon code actuel:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
 
$tablo = array();
foreach ($dao->searchComplexeQuery() as $row) {
   $tablo[] = $row;
}
//...
$tutus = array_map('extract_tutu', $tablo);
$totos = array_map('extract_toto', $tablo);

Questions:
- Y a-t-il une interface à implémenter dans la SPL qui me permettrait de balancer un objet à array_map ?
- Ou un toArray() qui me permettrait d'avoir un tableau nativement sans passer par une couche de foreach en PHP ?
- Ou une autre façon d'écrire mon code ?

Merci.

PS: je suis en PHP 5.1.6 mais suis curieux de connaitre si il y a une solution miracle en 5.2 ou 5.3.

[Yellu]

Bonjour,

Ton problème n'est pas le foreach à mon avis, mais plutôt le memory limit qui est dépassé par le gros tableau qui en résulte.

Je pense que ta classe DB implémente un itérateur autour d'un resultset, et non d'un "vrai" array.
Ainsi les 50 000 lignes sont en fait dans un memory HEAP de la base de données et pas dans la mémoire utilisable par PHP.

En revanche la bascule en "vrai" array fait passer le resultset dans l'espace mémoire PHP sous la forme d'un array, et là ça coince en mémoire ...

Edit : Pour le coup si tu augmente ton memory limit et que tu es prêt à générer le tableau, je verrai le toArray comme une méthode dans ta classe rowset que tu fetch actuellement et qui encapsulerait le foreach.

[Mr N.]

Ainsi les 50 000 lignes sont en fait dans un memory HEAP de la base de données et pas dans la memoire utilisable par PHP.

Oui, tout à fait.


Par contre je n'ai pas de problème de mémoire, c'est plutôt le temps d'exécution qui me fait souci. J'ai passé le memory_limit à 1024M (!) et ça ne change rien au problème.

[Yellu]

Effectivement pour la vitesse, augmenter le memory_limit n'aidera en rien.
Mais tes rows doivent être maigrichonne si ça passait sans augmenter le memory limit natif qui est à 16M je pense en 5.1 par defaut !

[Mr N.]

J'ai trouvé comment améliorer le bousin !
J'utilise GROUP_CONCAT dans ma requête sql.

Ceci me permet d'obtenir en une seule ligne toutes mes informations dont j'ai besoin. Cependant je perds la correspondance entre les deux parties du tuple (mais je n'en ai pas besoin donc osef !)

En gros:

Code sql :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
 
SELECT tutu_id, toto_id FROM table;
 
tutu_id  | toto_id
---------+--------
1        | 34
2        | 25
3        | 37
... # 50000 lignes comme ça

devient =>

Code sql :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
 
SELECT GROUP_CONCAT(tutu_id), GROUP_CONCAT(toto_id) FROM table;
 
tutu_id  | toto_id
---------+--------
1,2,3,...| 34,25,37,...

Je gagne entre 2 et 3 secondes de traitement... énorme !

Heureux je suis