Discussion :

[Alesque]

Bonjour à vous tous,

Je viens vers vous car je me retrouve face à un problème de taille en PHP.

L'application que je suis en train de coder doit pouvoir gérer une liste d'objets. Alors vous allez me dire, facile en PHP, le problème n'est pas là c'est que j'en ai ~ 700.000, et la mémoire consommée approche des 800 Mo

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
 
class MyObject {
  protected $n;
  protected $list;
 
  function __construct($n, $list)
  {
    $this->n = $n;
    $this->list = $list;
  }
}

Voici un code reproduisant l'allocation des 700.000 objets.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
 
$objects = array();
for($i =1 ; $i<=700.000 ; $i++) {
 
  $objects[] = new MyObject($i, array(1, 2, 3, 4, 5));
}

À la découverte de ce problème, j'ai tenté d'ajouter à ma liste directement le tableau sans passer par l'encapsulation dans un objet. Mais la mémoire consommée est toujours d'un ordre de grandeur d'un autre monde (300 Mo).

J'ai aussi essayé en utilisant une implémentation d'une liste chainée pour éviter d'utiliser les array, mais le problème est le même, la mémoire utilisée par PHP reste énorme.

Bref, venant du monde du C, je suis un peu effaré de voir la taille allouée en mémoire. Alors soit PHP n'est pas fait pour ça, soit mon code n'est pas correct, alors à votre avis ?

À titre de comparaison en C on aurait besoin de ((n = 4 octets) + (list = (4 octets x 5)) + (pointeur sur la liste = 4 octets)) x 700.000 = ~ 18 Mo.

Pour info j'utilise la version PHP 5.1.2 sous Windows XP.

[gorgonite]

ben php n'est pas fait pour gérer dans de trucs en même temps... du moins je ne pense pas.


tu devrais peut-être te tourner vers un base de données, tu pourrais ainsi avoir énormement de données, pouvoir sélectionner celles que tu souhaites dans l'ordre que tu veux, et le tout très facilement... une fois qu'on connait les rudiments du SQL


mais comme je ne sais pas quel en est l'usage, tu peux aussi aller voir du côté des cgi... ou un morceau écrit en C te reverra le résultat d'un tel traitement.

[wamania]

Alors soit PHP n'est pas fait pour ça

pas vraiment en qd meme

Pose toi la question, as-tu vraiment besoin de charger les 700 000 en meme temps?
sinon, stocke dans une bdd, prend au fur et à mesure et restocke dans la bdd

[siddh]

quelque soit le langage utilisé, chargé autant d'objet en mémoire est une abération.

[Alesque]

quelque soit le langage utilisé, chargé autant d'objet en mémoire est une abération.

Monsieur le modérateur quand on ne connait pas l'usage il vaut mieux s'abstenir de ce genre de commentaires, à croire que vous n'avait jamais fait de calcul combinatoire ! Prétendre que d'allouer 700.000 objets/strctures quelques que soit le langage est une abération, cette affirmation en est effectivement une

Je vous rassure je ne fais pas de la combinatoire directement en PHP non plus, mais je dois faire un post traitement sur des résultats stockés dans une base de données. Le cas présenté est un cas extrême car sur mes 4000 définitions j'en ai une centaine qui ont de 200.000 a 700.000 éléments liés. Pour chaque définition je dois charger l'intégralité des éléments, et si je ne le fais pas au début, à la fin du process ils le seront tous de toute façon.

Dans la moyenne c'est 4500 et tout ce passe très bien au niveau de la vitesse et niveau de la mémoire, cela reste acceptable. Mais à ces niveaux ca ne l'est plus, 800 Mo c'est beaucoup trop pour ce que cela doit faire.

L'encapsulation dans des objets je peux éventuellement m'en passer, mais pour l'instant mis à part serialiser les données sous forme de chaine et gérer une liste de chaines (~ 90 Mo de mémoire), je n'ai pas trouvé d'autres parades pour que php soit moins gourmand. En contre partie la charge CPU augmente car à chaque fois que j'ai besoin d'un élément il faut que je le décode.

[Mr N.]

Et si tu nous donnais un peu plus de détails, peut-être qu'on pourrait t'aiguiller sur une piste plus performantes ?

- Natures des objets ?
- Liens entre eux ?
- Besoin fonctionnel ?
- Algo utilisé ?
- Age du capitaine ?
- ... ?

[Alesque]

mais comme je ne sais pas quel en est l'usage, tu peux aussi aller voir du côté des cgi... ou un morceau écrit en C te reverra le résultat d'un tel traitement.

J'ai déjà créé une extension PHP en C pour accélerer certains traitements. Malheureusent à cet endroit j'ai une interaction avec la db, et ca m'obligerait à coder l'accès de la db dans l'extension PHP en plus de celle codée en PHP.

Si je dois me taper la couche d'accès à la db en C autant tout faire en C et publier le process avec un service web via gSOAP. Si je pouvais éviter de jetter à la poubelle tout ce que je viens de coder ca ne serait que mieux, même si je commence à en douter sérieusement

[Alesque]

- Natures des objets ?

des combinaisons...

- Liens entre eux ?

J'ai un problème qui a été résolu dont le résultat a été stocké dans une db. Ce sont les fameux objets que je dois récupérer en mémoire.

- Besoin fonctionnel ?

Faire du post process au travers d'une application web à la demande. Et l'algo utilisé (y en a pas d'autres) sur le process m'obligent à avoir l'ensemble des éléments en mémoire malheureusement. Sur ce post process je n'ai aucune contrainte de temps, mais bon 800 Mo ce n'est tout simplement pas acceptable.

L'appli ne fait pas que ça, mais c'est une des fonctions... Elle permet ensuite de l'administration basique, consulter les améliorations qui ont été publiées, demander l'optimisation d'une solution via un serveur déporter qui communique via le protocole SOAP, etc.

Je vais avoir le même problème car dans l'extension PHP que j'ai développé j'utilise un algo pour vérifier que la solution est bien valide et mon extension prend en paramètre le fameux vecteur qui peut avoir une taille de 700.000 éléments.

[siddh]

désolé si j'ai paru un peu abrupt mais sincèrement, vouloir charger 700000 objets en mémoire, surtout en php ...

Pour ce qui est de ton histoire de bdd, penches toi sur pdo qui est codé en c. Ses perfs sont meilleures que les fonctions natives.

Je ne pense pas que php soit fait pour gérer des choses comme ça, enfin il peut mais avec de rosses consos de mémoires, ça serais d'ailleurs pareil en java.

Apres peut etre que sous linux ca serais plus performant que sous windows mais ca sera pas faramineux non plus.

[Alesque]

J'ai essayé avec Java, une matrice de 700000 x 5 consomme 25 Mo de mémoires et la JVM alloue un tas de 45 Mo.

Runtime runtime = Runtime.getRuntime();

int items[][] = new int[700000][5];

System.out.println("Heap: " + (runtime.totalMemory()));
System.out.println("Usage: " + (runtime.totalMemory() - runtime.freeMemory()));

En PHP n'y a t'il pas moyen de gérer une matrice plutot qu'un array de array ?

[siddh]

le probleme c est que php n'est pas typé, regardes dans la spl, tu trouveras peut etre ton bonheur
http://www.php.net/~helly/php/ext/spl/classes.html
peut etre ca sera plus performant

[Alesque]

J'ai déjà fait un tour dans les SPL et essayé les ArrayObjet et les SplObjectStorage mais la mémoire utilisée est exactement la même car le type array doit être le support de ces implémentations.

+ http://www.php.net/~helly/php/ext/spl/

Je me suis fait une raison et je passe à Java. J'ai semble-t-il un peu surestimé PHP. Je vous rassure je ne l'abandonne pas pour autant

PHP est un très bon langage mais pas pour faire ce que je suis en train de faire et c'est bien dommage.