Discussion :

[kenji33]

Bonjour,

je me retrouve confronté à une demande singulière.
Dans une base contenant plus de 45 000 entrées d'actualités, je dois pouvoir faire un top 10 des mots les écrits
j'ai de suite penser à un regex mais après je ne vois pas trop quel chemin suivre pour aboutir à ce top 10 des mots les plus écrits dans les actualités en évitant les mots tel que 'le, la, les, et, etc...'
Vous auriez des pistes ?

Merci
Kenji

[julien.63]

salut,
une proposition qui n'a pas la prétention d'être LA solution:
* créér un tableau dont les clés seront les mots et les valeurs le nombre d'occurence.
* tu passes tes enregistrements un par un et tu isoles chaque mot.
* si le tableau ne contient pas la clé (le mot courant) tu la crées avec la valeur un
* sinon tu incrémentes de un

pour éviter les le, la, des..., je vois trois possibilités:
* soit tu détermines un longueur de mot minimum (par exemple 4)
* soit, plus exhaustif, tu te crées un tableau contenant tous les mots à exclure
* soit un mix des deux solutions: éliminer tous les mots de 2 caractères, plus d'autres plus longs mais non pertinent.

voilà premières idées à enrichir...

[kenji33]

Salut,

en effet c'est une solution mais le risque en passant par un tableau est qu'il va être assez important , la table fait 130 mo de texte.
un tableau pourrais t il supporter autant d'enregistrement avec un temps d'exécution rapide ?

merci

[julien.63]

Peut être qu'il faut procéder en plusieurs requêtes pour ne pas tout charger d'un coup... 20 enregistrements par 20 ?

[kenji33]

je vais suivre cette piste de tableau
en mettant un javascript avec timeout sur 5 sec en bas de page pour relancer le script automatiquement ensuite.
surtout que ce ne sera utile que pour une seule fois a des fins statistiques donc je vais chercher au plus rapide

merci pour les pistes

Kenji

[julien.63]

je ne suis pas sûr que tu aies besoin de javascript (ou j'ai mal compris ce que tu veux faire). Tu peux faire une boucle qui s'incrémente de 20 à chaque tour. Et dans cette boucle du fait ta requête et ton traitement. Qu'en penses-tu?

[kenji33]

en faisant une boucle qui s'incremente , le script ne s'arrête pas et sur le serveur il y a le limit a 30 secondes.

du coup pour éviter de surcharger le serveur en modifiant le set time dans un htaccess, je pensais faire la boucle sur x entrées, ensuite une fois finis je met un javascript avec un time out de 1 sec par exemple et cela rappelle la page jusqu'à épuisement.

bon ok je reconnais que c'est une méthode très barbare

[parksto]

ou tu te fait une table avec seulement un champ : mot

tu y met tous les mots de tous tes articles, sans te soucier des doublons et en supprimant les mots trop courants.

après, tu utilise une requete du genre : (de tête, donc à vérifier)

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

SELECT mot, COUNT(mot) AS valeur FROM mots GROUP BY valeur ORDER BY valeur DESC LIMIT 10;

[julien.63]

ok, je comprends, c'est vrai qu'il y a la contrainte de temps.

[kenji33]

ou tu te fait une table avec seulement un champ : mot

tu y met tous les mots de tous tes articles, sans te soucier des doublons et en supprimant les mots trop courants.

après, tu utilise une requete du genre : (de tête, donc à vérifier)

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

SELECT mot, COUNT(mot) AS valeur FROM mots GROUP BY valeur ORDER BY valeur DESC LIMIT 10;

intéressant.
je sors les texte, fait un explode sur l'espace blanc, et faire une requête d'insert à la suite sur le mot

je vais étudier cette solution qui semble plus rapide pour extraire le résultat ensuite

merci

[parksto]

intéressant.
je sors les texte, fait un explode sur l'espace blanc, et faire une requête d'insert à la suite sur le mot ...

deux petites précisions,

- n'oublie pas de supprimer la ponctuation

- n'oublie pas que tu peux inserer plusieurs valeurs en une seule requete

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

INSERT INTO mots (mot) VALUES ('plusieurs'), ('mots'), ('en'), ('une'), ('seule'), ('requete')