Discussion :

[matperino]

Bonjour,

Je dois réaliser un moteur de recherche pour une base importante de fichiers en texte brut (environ 5000, d'une dizaine de pages chacun), afin de pouvoir trouver un mot ou une expression, puis l'afficher dans une liste de résultats (comme le fait google en clair).

J'ai commencé à faire quelque chose en php :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
$dossier = opendir(...);
          while ($fichier = readdir($dossier)) {
            if(is_file($dossier.$fichier)) {
              $contenu = implode("",file($dossier.$fichier));
 
            etc....

et je prévois de coupler ça avec une base Mysql qui recensera pour chaque fichier le titre et la date de rédaction.

Mais je ne sais pas si ce système est recommandé pour une base de cette taille, notamment si le trafic sur le site est important.

Qu'en pensez-vous ? Y a-t-il d'autres solutions ?
Est-il judicieux de convertir mes fichiers txt en xml ?

Merci par avance de vos conseils

[10_GOTO_10]

http://www.google.com/coop/cse/

[matperino]

merci de cette info, mais ce que je veux, c'est des pistes pour développer mon propre moteur, sans passer par google ou un logiciel extérieur...

[Montor]

Je veux savoir ces fichier sont dans votre ordinateur ou sur un site web
Tu doit creer une table d'indexation pour touts les mots, titre et symboles comme ça la recherche sera plus rapide et tu doit la mettre en jour a chaque fois
ex :le mot "savoir"
------->endroits
fichier1.txt
fichier12.txt
fichier11.txt
ex :le mot "web"
------->endroits
fichier5.txt
fichier120.txt
fichier18.txt
fichier12.txt
recherche avancé "savoir web"
fichier12.txt
la recherche se dans la table pas dans les fichier !!!!!!!!!!!!!!

[matperino]

Pour répondre à votre question : ces fichiers sont sur un site web.

Pouvez vous m'en dire plus sur cette "table d'indexation", quel langage me conseillez-vous d'utiliser pour la créer? permettra-t-elle de localiser une ligne précise à l'intérieur d'un fichier ?

Merci encore.

[Montor]

j'ai trouvé ces liens
http://www.spip.net/fr_article1575.html
http://www.robotstats.com/telechargement.php

Les fichier sont consulter seulement par le client ou pour des infos complémentaire toutes les taches s'effectues dans la base de donnee elle sa taille pourra depassee celle des fichiers
de ma part je pense que le php et le javascript sont des language tres lent j'essaie de vous aider par un programme en delphi qui va decouper le text et extraire la liste des mots set leur positions
ça vat vous aider à créer la base de donnée principale

[matperino]

Merci pour ces liens, je vais regarder ça.Toutes vos autres suggestions seront les bienvenues.

[Montor]

Bonjour
j'ai testé ce programme avec le easyphp la connexion

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
"localhost root pwd ' ' "