Discussion :

[localhost]

Bonjour,
J'ai une bd d'emails comportant 16 milions de lignes dans une table.
quand je fais SELECT * FROM la_table il reste plusque 30 minutes à importer le resultat avant de l'afficher.
est ce que j'ai dépassé les limites de mysql pour que ca soit trés lent ?
Si oui que SGBD choisir pour ce genre de stockage ?
merci


[Titre édité par Maximilian]

[qi130]

Cela me parait dans la normalité des choses, surtout si le nb de colonnes est important et/ou si la taille des colonnes est conséquente.

Ensuite, on peut aussi prendre en considération l'éventuelle désorganisation de la table, la puissance de la machine hébergeant la BD (et son taux de sollicitation=combien de clients et d'appli sur ce serveur)....

[localhost]

la base est hébergé localement sous fedora3 P4 3Ghz 1MoDDR, la table ne comporte que deux colonnes :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
id bigint auto_increment,
email varchar(60) NOT NULL,

voila, est ce que vous me conseillez de changer d'SGBD ?
parce que la pour faire une requete de type

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

SELECT count(*) WHERE email like '%.fr'

ca prends une 20ene de minutes

[qi130]

Ben ouais, encore un problème de conception.....(on construit un truc sans savoir à quoi il servira )


Ce serait bien, par exemple, de rajouter 1 colonne

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

Mail_Domaine VARCHAR (8) NOT NULL

qui contiendrait le domaine (fr, com, fr.st, etc...) et surtout de l'indexer !

Ainsi la requète s'appuierait sur cet index.

Actuellement, le moteur relationnel doit scanner l'ensemble des "EMAIL" à la recherche du critère, autant dire que le relationnel ne sert à rien, tu aurais de meilleurs perf avec un fichier à plat !

[localhost]

Désolé d'insister mais je voudrais comprendre ce truc, l'indexation.
Peut tu me donner un exemple comment je pourrais refaire ma structure en adoptant l'indexation ?
merci beacoiups

[qi130]

.... et les tutoriaux....?


ta table actuelle:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
 
1*x@z.com
2*h@z.fr
3*y@w.com
4*m@k.fr
5*g@f.com

pour savoir quels sont les %.FR, tu n'as d'autres solutions que de regarder 1 par 1 toutes les adresses, soit 5 opérations sur la table ci-dessus...
Avec 1 colonne supplémentaire "mail_domaine":

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
 
1*x@z.com*com
2*h@z.fr*fr
3*y@w.com*com
4*m@k.fr*fr
5*g@f.com*com

L'index déclaré sur cette colonne va avoir cette organisation:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
 
com*1
com*3
com*5
fr*2
fr*4

et le moteur relationnel qui va recevoir ta requète de count:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

SELECT COUNT(*) FROM xxxxxx WHERE mail_domaine LIKE 'fr%'

va utiliser cet index de sa propre initiative (c'est magique hein ?).

Résultat : seulement 2 opérations de scan (gain 60%)

[localhost]

merci infiniment