Discussion :

[sirbaldur]

Bonjour,

Je dois traiter une base de donnée assez importante avec plusieur millier d'entrée.

Quel est le meilleur choix technique? Tous charger en mémoire vive avec des tableau PHP, ou bien developper directement avec la base mysql en faisant des requetes à chaque fois qu'on en a besoin.

Actuellement avec la deuxieme méthode mon script fait 20 sec, il traite et calcule plus de 60 000 entrée.

[Eusebius]

Bonjour

C'est peu probable qu'Apache te laisse tout charger en mémoire vive, et à mon humble avis c'est pas du tout souhaitable, PHP n'est pas une base de données.

Je te suggère plutôt de réfléchir très soigneusement à l'optimisation de ton code, si tu veux gagner du temps (mais si tu dois faire autant d'opérations en un seul script, ça sera forcément un peu long)

[kankrelune]

Comme je l'ais dis dans ton autre post un solution alternative serait d'effectuer le traitement par un programme compilé (en C/C++) executé en CGI... parce qu'avec le nobre de traitement que tu as à faire faut pas espérer un temps de traitement très rapide... .. .

@ tchaOo°

[sirbaldur]

merci de votre aide, je pense que je deja essayer d'optimiser le script que j'ai fait, et au pire je passerais pas un programme compilé.

[tuxout]

Je dirai même que l'idéal est de traiter tout ce que tu peux en SQL.
C'est son travail ! Et c'est écrit en C/C++ donc tout va bien niveau performance.
Regarde si tu ne peux pas optimiser tes requêtes, pas mal de techniques existent à ce sujet.

[stephane eyskens]

Regarde si tu ne peux pas optimiser tes requêtes, pas mal de techniques existent à ce sujet.

1. Optimisation des requêtes et éventuellement du schéma de ta base (index au bon endroit et uniquement si nécessaires)

2. Optimisation de l'utilisation de l'API mysql. Préférer les mysql_unbuffered....lorsque tu n'as pas besoin d'un buffer.

3. Optimiser les techniques d'affichages et de compression de données transitant sur le réseau. voir les fonctions ob_.....

4. Mysql est un serveur et à ce titre, il est capable d'optimiser (caching) aussi certaines choses.

5. Eviter le CGI (moins sécurisé, plus lent car nécessite des appels systèmes tels que "system", "exec" etc....)

6. A mon sens, une base de données avec quelques milliers d'enregistrements est loin d'être une base énorme.