Discussion :

[hendrix67]

j'ai un texte très long, il est stocké dans ma base de donnée, et je souhaite stocker dans une table ce même texte avec les occurences supprimés et dans une autre table qui contient 2 colonnes avec chaque mot et le nombre d'occurences.
d'abord j'ai mon texte en entrée, il va prendre le premier mot et en meme temps on initialise une variable qui contient le nombre d'occurences du mot courant qui commencera à 1, et il va boucler sur reste du texte et dès qu'il trouve une occurence de mot il la supprime et et incremente la variable jusqu'a la fin du texte ensuite passer au mot suivant et répeter la procedure.
remarques: si par exemple on trouve un mot "bateau" et "bateaux" je veux qu'il les considère comme un seul mot mais qu'il stocke que le mot en pluriel, pour ca je pense que la regex c'est bien '/mot[x|s]?/' n'est-ce pas?
mais n'etant pas à l'aise avec php je ne sais pas comment se deplacer dans le texte, si une ame charitable puisse m'aider ce serai très sympa.
merci par avance.

[eyquem]

Salut,


Je pense qu’il faut commencer par se poser des questions de base:

- Quelle est la taille de ton texte très long ?
Quelle est la taille de ta RAM ?

- Quels sont les mots dont tu veux établir les occurences ?
Te sont ils connus avant de commencer l’analyse de ton texte (ce qu’il me semble d’après ce que tu décris comme procédure envisagée) ?

- Est-ce que tu sais déjà comment ouvrir le fichier, éventuellement le charger en mémoire s’il n’est pas trop gros, et faire 1 parcours pour déterminer l’occurence de 1 mot ?
Si oui, mesure le temps que ça prend, et multiplie ce temps par le nombre de mots dont tu veux les nombres d’occurences. Ça te donnera une idée du temps total prévisible pour que tourne le programme sur tous les mots à examiner selon la procedure que tu envisages.

- D’un point de vue algorithmique, si on te demande de compter le nombre de pieds de chacune de trois espèces d’arbres se trouvant le long d’un chemin de 4 km de long, est ce que tu va t’amuser à compter d’abord le nombre d’individus de l’espèce 1, repartir du départ pour compter la 2 ième espèce, et refaire une 3 ième fois le trajet pour compter la dernière espèce ?

[hendrix67]

le texte très long ne depassera pas 1000 mots et le texte est stocké dans une variable php et non pas dans un fichier, pour 1000 mots je ne pense pas que ca sera enorme en temps, le texte est deja traité pour enlever les articles superflux comme "la, le , un , une ...." et ce traitement reduit mon texte de la moitié environ sans que les mots clés importants ne disparaissent,j'ai fait une analyse de texte aléatoire et le choix des mots superflux est pertinent. et donc ce que je veux faire ca sera sur du texte contenant dans les 500 mots et je pense ainisi ramener le texte utile à une centaine, donc du point de vue coup ca ne sera pas du tout enorme.
de plus c'est un traitement qui me permettra de faire de l'indexation dont le temps m'importe peu puisque j'ai programmé un processus pour le faire la nuit, et du coup la recherche sera plus rapide ce qui est mon but. (plutot que d'indexer tout le texte, n'indexer que les mots clés et donc ce sera relativement rapide, d'autant plus j'envise de faire une recherche sémantique qui elle aussi va contenir du traitement plus complexe donc autant reduire le volume du texte à chercher).
ce que je veux savoir c'est comment me deplacer dans le texte qui est contenu dans ma variable $txt.
merci

[asdf007]

Regarde du côté de http://us.php.net/fr/preg_match_all pour chopper tous les mots.

L'expression régulière pour capturer un mot :
/\b[a-z-]+\b/i

Rajouter 0-9 dans la classe de caractères si des chiffres peuvent être contenus dans ce que tu appelles un "mot".

Par contre pour les pluriels ça va être très compliqué sans outil spécifique.