Discussion :

[adelinesc2]

Bonjour à tous,

J'ai une table sous PostgreSQL : temp avec 4 colonnes (id int, campaign character varying, sender character varying, date_s date) de près de 9 millions lignes. Et c'est une table sans index.

Le souci intervient à chaque fois que j'essaie d'exécuter cette requête :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

SELECT COUNT(*) FROM temp WHERE id = $idmail and campaign = '$variable_campaign' AND date > '$date_c' "

dans une boucle de 100K

Je n'ai toujours pas obtenu de réponses (depuis 20/30 minutes). (Comme j'ai mis un set_time_limit illimité en PHP sinon j'aurai obtenu 500 error en 5 minutes)

En fait le but de toutes ces requêtes c'est de récupérer une liste de mails auxquels la campagne n'a pas été envoyé cette semaine.

Avez-vous des pistes svp, je me retrouve un peu bloquée.

J'avais aussi en tête si jamais je ne pourrai pas exécuter des requêtes sur une table de 9M de faire une sorte de système de fichiers temporaires mais je trouvais plus propre de le faire avec une base de données...

Merci pour vos réponses !

[punkoff]

Bonjour,


Déjà pour la requête en elle même il faudrait un index.

l'index doit être comme ceci : id, campaign , date


Ensuite on peut se poser la question sur l'utilité de faire cette requête 100k fois.


Vous devriez pouvoir sortir les résultats nécessaire en 1seule requête, et globalement le coup de cette unique requête devrait être inférieur à l’exécution des 100k autres.

[gorgonite]

clairement, mettre un index adapté pour cette requête par exemple

ensuite $date_c varie-t-il pour chaque requête ?
si non, pourquoi ne pas faire un joli group by ?

[adelinesc2]

Très bien pour l'index. Merci !

Du coup j'ai pensé à une requête de ce genre :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

select id_mail from temp t right join mail m ON t.id_mail = m.m_id where t.campagne != '$variable_campaign' AND date > '$date_c' "''

La variable $date_c ne varie pas, et si jamais elle varie je ferai uniquement une boucle sur la date (3 ou 4 dates maximum) ce qui me fera largement moins de 100K requêtes.

Je vais essayer la requête et je vous tiens au courant de son temps d'exécution.

[Waldar]

Votre besoin s'exprimera très bien en une seule requête.

Pouvez-vous fournir la structure des tables complètes ainsi que leur fonctionnement ?

[gorgonite]

bizarre on est passé de = à != pour '$variable_campaign'


Ce genre de requête ne serait-elle pas appropriée ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

SELECT COUNT(1) FROM temp WHERE date > '$date_c' GROUP BY (id,campaign)

[adelinesc2]

Finalement la requête :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

select id_mail from temp t right join mail m ON t.id_mail = m.m_id where t.campagne != '$variable_campaign' AND date > '$date_c'

fonctionne très bien ! Temps d'exécution de moins de 2 minutes

Pour la suite j'ai décidé de faire des procédures PL/SQL

Merci pour vos contributions

[adelinesc2]

bizarre on est passé de = à != pour '$variable_campaign'


Ce genre de requête ne serait-elle pas appropriée ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

SELECT COUNT(1) FROM temp WHERE date > '$date_c' GROUP BY (id,campaign)

Je vais l'essayer et voir ce que ça donne

Merci encore !