Discussion :

[hendrix67]

dans ma quete d'ameliorer le moteur de recherche que je suis entrain de faire, je suis amené à stocker un texte qui contiendra les mots clé importants sans les articles "le,la,un,une, ...", est ce qu'il existe une fonction qui le fait ou est-ce que je dois la programmer moi meme?

[sabotage]

Tout ce qui traite du français est déjà peu probable en PHP.

[hendrix67]

voici pour l'instant ce que j'ai programmé:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
 
function enleveSuperflux($text)
{
$original= array(
                     "un ";
                     "le ";
                     "une ";
                     "la ";
                     );
 
$new_text = str_replace($original,"",$text)
return $new_text;
}

ca marche pour ces mots là, il existerai pas un dictionnaire de mots comme ca?
sinon j'envisage de faire une analyse de textes longs pris au hasard qui prend un texte en entrée et qui me renvoie un tableau avec tous les mots avec le nombre de recurrences , et à ce moment là je prendrais des mots comme ca , parce qu'on essayant de les deviner on perd du temps.
et si oui quel serait cette fonction .
merci

[hendrix67]

je reviens vers vous car str_replace() n'est pas efficace , j'aimerai utiliser preg_replace(), mais je vais devenir fou avec les expressions régulieres, je veux pour les mots que je décide de supprimer qu'ils soient supprimés en milieu de phrase ou en debut et fin et aussi en cas de retour à la ligne, le texte que je traite ne contient pas de ponctuation ca été fait avant.
merci

[s.n.a.f.u]

un truc dans ce genre ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

$str = preg_replace('/\b(un|le|une|la)\b/i', '', $str);

[hendrix67]

ca a marché merci, mais il reste les caractères avec accent comme "à", "là" meme si je les inclus dans ma regex (a|la|à|là), est-ce que c'est normal ou bien il faut rajouté des métacaractères spécifiques?

[s.n.a.f.u]

Tu travailles sûrement en utf-8...

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
$reg = '/\b(un|une|à|la|le)\b\s+/ui';
$str = preg_replace($reg, '', $str);

[hendrix67]

j'ai droit à cette erreure:
Warning: preg_replace() [function.preg-replace]: Compilation failed: invalid UTF-8 string at offset 11 in /home/Sites/cms-utf-2.2.6/www/libs/class/StringProcessor.class.php on line 61

c'est la ligne qui contient mon preg_replace() en question et j'ai cette erreur quand je rajoute les caractere "à", dès que je les enleve j'ai plus ce probleme.

[s.n.a.f.u]

Alors il y a conflit : ton fichier de données est en utf8 et ton script est en iso-8859-1 ou le contraire.

[hendrix67]

mon fichier de données est stocké dans ma BD, c'est du code html avec toutes les balises et tous les &eAcute ...
dans ma fonction qui enleve les articles non désiré , je veux enlever "on" par exemple, et ce que je ne comprends pas c'est pourquoi le "on" est enlevé dès lors qu'il est précédé par un caractère spécial par exemple , "leçon" => "leç" du coup il y'aurai perte d'information au niveau de l'indexation que je souhaite mettre en place (les données indexées stockés aussi dans la BD).
le pire c'est qu'en utilisant un html_entity_decode($montexte), il stock "lecon" et quand je lui fais le traitement de ma fonction(html_entity_decode($montexte)) il me stocke "lec" alor qu'il n'y a plus de caracteres speciaux , (le mot "baton" par exemple reste intact et le "on" ne s'enleve pas)
sinon comment verifier que c'est du utf ou iso , la cms sur laquelle je bosse est en utf normalement, ou est-ce qu'il pourrai y avoir conflit? je suis embrouillé