[debutant] lister tout les mots d'une page web!

**kriskikout** · 25/05/2006, 18h15

bonjour à tous!
Les questions encore sans réponse sont écrites en rouges... comme ça vous avez pas besoin de tout lire!

voila, j'aimerais créer un petit programme en perl permettant de visualiser une page web quelquonque et de lister tout les mot de cette page dans un nouveau fichier les uns en dessous des autres.

seulement c'est déja un gros défi pour moi!

j'ai déja une grosse interrogation:
Peut on faire parcourir une page web avec un programme uniquement sur l'ordi, ou faut il que ce programme soit heberger sur un serveur (cgi ou un bidule dans le genre... oui je débute )

Alors voici comment je pense procéder:
-ouverture de la page web
-mettre tout les mots dans un tableau
-mettre le contenu du tableau dans un fichier txt.

Alors encore quelques questions:
-quelle fonction utiliser pour lister une page? j'avais penser a split avec comme motif un espace, mais je ne sais pas quoi mettre comme chaine de caractère (car il faut mettre le texte en entier)
un truc du genre:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

split (' ', variable contenant tout le texte)

-que vois perl quand il ouvre un doc .html? la source ou juste le texte que l'on voit quand on charge la page normalement?

m'enfin voili voilou...
si vous pouviez m'aider un petit peu, ca serait super gentil

**elvivo** · 25/05/2006, 21h15

La page que tu veux parser, tu dois en connaitre le code html non ?
A partir de la tu peux utiliser des regexp pour analyser chaque ligne que tu lis dans la page vu que tu connais les motifs que tu recherches.

Pour consulter la page tu peux faire ca depuis chez toi. Soit tu utilises des sockets (je fais ca moi) soit tu te sers d'un module (je ne sais plus lequel mais il y en a un il me semble qui permet de causer a un serveur web).

**Jedai** · 26/05/2006, 03h21

Envoyé par elvivo

Pour consulter la page tu peux faire ca depuis chez toi. Soit tu utilises des sockets (je fais ca moi) soit tu te sers d'un module (je ne sais plus lequel mais il y en a un il me semble qui permet de causer a un serveur web).

elvivo tu utilises des Sockets pour faire du HTTP ? Je te conseille fortement de passer à LWP, tes programmes ne pourront qu'y gagner en lisibilité !

--
Jedaï

**elvivo** · 26/05/2006, 15h31

Oui j'utilises des sockets. Ca ne me semblait pas si complique que ca et je passais un proxy http. Mais je regarderai du cote de lwp ^^

**kriskikout** · 27/05/2006, 11h33

Merci beaucoup pour vos réponse même si pour l'instant c'est du chinois pour moi!

Je repose donc une question dont je suis suceptible de comprendre la réponse (lol paye ton boulet ce vjonas

) :pour ouvrir une page web, on ne peut utiliser la fonction "open"?
ou une autre fonction?
ou aucune fonction?

J'ai commencé a travailler sur le sujet: je vous fais part de ma progression!
j'avance petit à petit: pour l'instant je liste un fichier texte sur mon disque dur...
c'est moins dur, et ça me permet de comprendre!

voila ce que je code pour faire ça:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
#!usr/bin/perl -w
open (TEXTE,"texte.txt");
open (RESULTAT, ">resultat.txt");
while ($ligne=<TEXTE>) {
 my @tab;
 $ligne=~s/[.,!,,]//g;
 print "$ligne\n";
 @tab= split (' ',"$ligne");
 push (@tab,"\n");
 print RESULTAT join("\n", @tab);
}
close TEXTE;
close RESULTAT;

voici mon fichier texte:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
j'ecris dans le fichier TEXTE un petit texte...
oui!
et hop, une virgule.
c'est cool ca!
ca me fait une bonne jambe!
on dit une belle jambe!!!
ok

et mon fichier résultat (apres lancement du programme):

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
j'ecris
dans
le
fichier
TEXTE
un
petit
texte
oui
et
hop
une
virgule
c'est
cool
ca
ca
me
fait
une
bonne
jambe
on
dit
une
belle
jambe
ok

quelques précisions sur mon code:
-le "push" est vraiment moche, j'en suis conscient!

c'était un test! en fait c'était pour que dans mon fichier le dernier élément du tableau de la 1ere ligne ne soit pas collé avec le premier élement du tableau de la deuxième ligne...
Mais pour faire un truc mieux, il faudrait modifier le dernier élément du tableau en rajoutant un "\n". Je cherche donc une expression qui permet d'avoir le dernier indice d'un tableau pour la modifier, mais je ne connais pas cette expression... (sinon je peux toujours faire un truc du style

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
$taille=@tableau;
$dernierindice=$taille -1;

Mais bon, c'est pas super beau non plus...)

EDIT: j'ai retrouver l'expression pour avoir le dernier indice du tableau $#tableau

-il y a surement des fonctions plus adaptées pour lister les mots d'un fichier, mais je ne les connais pas pour l'instant et il faut bien que j'apprene a me servir des fonctions que j'ai commencé a voir...

merci pour votre aide!

**Jedai** · 27/05/2006, 13h31

Envoyé par vjonas

Merci beaucoup pour vos réponse même si pour l'instant c'est du chinois pour moi!

Je repose donc une question dont je suis suceptible de comprendre la réponse (lol paye ton boulet ce vjonas

) :pour ouvrir une page web, on ne peut utiliser la fonction "open"?
ou une autre fonction?
ou aucune fonction?

Suis le lien que je t'ai donné dans mon message, il donne sur un article qui t'expliquera comment faire en détail.

--
Jedaï

**gorgonite** · 27/05/2006, 16h30

juste une question, tu veux te programmer un moteur de recherche en perl ?

pour en avoir fait un embryon, je peux te dire que ce n'est pas forcemment approprié... même si c'est simple de faire des traitements sur des chaînes de caractères

**kriskikout** · 27/05/2006, 20h16

non, non je n'cherche pas à faire un moteur de recherche!

**gorgonite** · 27/05/2006, 20h18

autant pour moi

**Jedai** · 27/05/2006, 21h22

Envoyé par gorgonite

juste une question, tu veux te programmer un moteur de recherche en perl ?

pour en avoir fait un embryon, je peux te dire que ce n'est pas forcemment approprié... même si c'est simple de faire des traitements sur des chaînes de caractères

Tu peux m'expliquer en quoi ce n'est pas approprié ? C'est sans doute l'un des langage les plus adaptés pour faire rapidement un moteur de recherche correct... Personnellement je regarderais plutôt du côté des solutions toute faites, mais je ne vois pas en quoi Perl ne serait pas le bon outil (excepté si on s'appelle Google et qu'on indexe le Web, mais c'est un problème d'échelle...). Hash, traitement de chaîne de caractères, parser HTML, interface facile avec les bases de données... Qu'est-ce qui manque ?

--
Jedaï

**gorgonite** · 28/05/2006, 13h19

Envoyé par Jedai

Tu peux m'expliquer en quoi ce n'est pas approprié ? C'est sans doute l'un des langage les plus adaptés pour faire rapidement un moteur de recherche correct... Personnellement je regarderais plutôt du côté des solutions toute faites, mais je ne vois pas en quoi Perl ne serait pas le bon outil (excepté si on s'appelle Google et qu'on indexe le Web, mais c'est un problème d'échelle...). Hash, traitement de chaîne de caractères, parser HTML, interface facile avec les bases de données... Qu'est-ce qui manque ?

déjà il faut savoir que de nombreux moteurs de recherche n'utilisent pas seulement les bases de données... c'est peut-être très pratique pour stocker des documents, mais le coût de traitement de requêtes complexes est trop important. ils utilisent des listes inversées sur lesquels ils vont faire les recherches, et c'est seulement à la fin qu'ils vont faire la correspondance avec les documents... grâce aux données stockées dans une base.

ensuite, le coût de traitement (temps et/ou mémoire) pour la recherche dans les listes inversées n'est pas favorable au Perl...

pour les autres points, il n'y a pas trop de différences entre les langages...

nb: ce raisonnement est valable à grande échelle... donc pour Google & cie
toutefois, il faut savoir que certains sites de grandes entreprises ont abandonné les procédés traditionnels pour passer à des solutions développés par des moteurs de recherche (et oui, ils vendent aussi du service

)

**kriskikout** · 28/05/2006, 16h54

alors je vous fais part de ma progression

(et oui, mine de rine, ça progresse!!

)

alurs alurs, maintenant je liste un document htm enfin un document assez simple...

voici ma page web que je veux lister:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
<html>
 
<head>
<meta http-equiv="Content-Language" content="fr">
<meta http-equiv="Content-Type" content="text/html; charset=windows-1252">
<title>bienvenue sur ma page web</title>
</head>
 
<body>
<p>bienvenue sur ma page web!</p>
<p>elle est terrible ma page!</p>
<p>ah bon? tu trouve?</p>
<p>oui.</p>
</body>
 
</html>

à cause des lignes vide, j'ai eu quelque soucis avec mon ancien code...
je l'ai donc transformé en:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
#!usr/bin/perl -w
print "le programme liste tout les mots du fichier page.htm dans le fichier resultat!";
open (TEXTE,"page.htm");
open (RESULTAT, ">resultat.txt");
while ($ligne=<TEXTE>) {
 my @tab;
 if (length($ligne)>1) { 
 $ligne=~s/[.,!,,,?,]//g;
 @tab= split (' ',"$ligne");
 $tab[$#tab]="$tab[$#tab]"."\n";
 print RESULTAT join("\n", @tab);
}
}
close TEXTE;
close RESULTAT;
exit;

le if (length...) c'est pour que perl ne m'affiche pas un message d'erreur quand dans le fichier à lister il y a une ligne vide!
avant (sans le if), perl affichait:
"Use of uninitialized value in string at listagemot.pl line 9, <TEXTE> line 2.
Modification of non-creatable array value attempted, subscript -1 at listagemot.
pl line 9, <TEXTE> line 2."
je pense que c'est à cause du travail sur les chaines de caractere que je lui demande de faire à chaque ligne (pour enlever les points, les virgules... de chaque ligne)
NON?
en tout cas, j'ai créer ce "if" pour lui dire de ne pas s'occuper des lignes vides, mais je ne comprends pas pourquoi avec if (length($ligne)>0) ca ne marche pas, alors qu'avec if (length($ligne)>1) ca marche...

vous pouvez m'éclaircir?

dernière question: dans mon fichier résultat.txt, j'obtiens evidemment tout le contenu de ma page web, y compris les "balises de mise en forme" (<html> <p>...) comment faire pour les enlever de mon fichier?
je pense à un truc du genre: $ligne=~s/[<****>]//g; avec a la place de **** une expression voulant dire "n'importe quel chaine de caractere".

merci encore!

ps: merci jedaï pour le lien!

**kriskikout** · 31/05/2006, 10h28

UP!

personne ne peut m'aider pour mes dernière questions? (celle écrites en rouges...)

merci d'avance!

**gorgonite** · 31/05/2006, 11h49

Envoyé par vjonas

en tout cas, j'ai créer ce "if" pour lui dire de ne pas s'occuper des lignes vides, mais je ne comprends pas pourquoi avec if (length($ligne)>0) ca ne marche pas, alors qu'avec if (length($ligne)>1) ca marche...

vous pouvez m'éclaircir?

il y a peut-être "\n"

Envoyé par vjonas

dernière question: dans mon fichier résultat.txt, j'obtiens evidemment tout le contenu de ma page web, y compris les "balises de mise en forme" (<html> <p>...) comment faire pour les enlever de mon fichier?
je pense à un truc du genre: $ligne=~s/[<****>]//g; avec a la place de **** une expression voulant dire "n'importe quel chaine de caractere".

module HTML::Entities

**kriskikout** · 31/05/2006, 13h00

oki, je vais aller me documenter un peu sur ce module!

par contre, je n'ai toujours pas compris pour le coup du if:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
if (length($ligne)>1)

ca signifie bien que si la ligne est composée de plus de 1 caractère, alors on fais tatati tatata.
Plus de 1 caractère, ca commence à 2 non?
Donc si dans la ligne il y a "\n" (2 caractères), il devrait faire tatati tatata... Mais, il ne le fait pas, puisque plus d'erreur...?

je sais pas si j'ai était très clair...

**Jedai** · 31/05/2006, 17h41

Envoyé par gorgonite

ensuite, le coût de traitement (temps et/ou mémoire) pour la recherche dans les listes inversées n'est pas favorable au Perl...

C'est un argument, si tu fais l'alternative dans un langage vraiment rapide (type C, C++, probablement Java, encore qu'il doit être facile de faire un truc lourd dans ce dernier), mais les hashages de Perl sont plutôt rapides, et il peut faire des entrées/sorties aussi vite que n'importe quel langage (c'est à dire lentement...). Par contre les Tries en Perl manquent de module XS.

En conclusion, pour un site de taille raisonnable, je ne vois pas de raison pour que ça ne colle pas.

--
Jedaï

**scaleo** · 31/05/2006, 19h37

Si j'ai bien compris tu voudrais faire un petit robot capable de parcourir un site et de lister pour chaque page les mots qu'elle contient ?

**kriskikout** · 31/05/2006, 20h12

oui scaleo!

pour l'instant ca marche presque, il faut juste que j'élimine les balise et c'est bon!

**scaleo** · 31/05/2006, 20h43

Envoyé par vjonas

oui scaleo!

pour l'instant ca marche presque, il faut juste que j'élimine les balise et c'est bon!

Ok no problemo pour ce qui est de récupérer les mots de ta page essaie sa

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
my $tree = HTML::TreeBuilder->new;
   $tree->utf8_mode;
 
 
my $formatter = HTML::FormatText->new();
 
 
sub format_code {
  my $html = shift;
     $tree->parse("$html");
  my $htm = $formatter->format($tree);
     $htm =~ s/\s+/ /g;
  my @mots = split ' ', $htm;
  return @mots;
}

**scaleo** · 31/05/2006, 20h52

Envoyé par Jedai

Tu peux m'expliquer en quoi ce n'est pas approprié ? C'est sans doute l'un des langage les plus adaptés pour faire rapidement un moteur de recherche correct... Personnellement je regarderais plutôt du côté des solutions toute faites, mais je ne vois pas en quoi Perl ne serait pas le bon outil (excepté si on s'appelle Google et qu'on indexe le Web, mais c'est un problème d'échelle...). Hash, traitement de chaîne de caractères, parser HTML, interface facile avec les bases de données... Qu'est-ce qui manque ?

--
Jedaï

Jedai a raison ont peut tout a fait faire un moteur de recherche en Perl il suffit de pas coder avec les pieds et sa roule. Pour ce qui est d'indexer le web ma foi sa doit être possible il faudrait je pense faire un peu le ménage dans LWP pour ne garder que l'essentiel et ainsi supprimé le surplus de couches il suffit de faire un benchmark entre LWP et l'utilisation de socket pour voir que ce sont les couches qui ralentisse le traitement. Après pour ce qui est de l'indexation a proprement parler la oui C++, C# ou Java sinon point de salut en perl qui est trop lent pour sa en plus HTML:

arser est allergique aux threads.

Quoique il suffirais de faire un parser html reposant sur du code C++ par exemple FLEX qui est utilisé par google en faisant attention a ce que l'on puisse multithreader la lib sans dead lock etc...

[debutant] lister tout les mots d'une page web!

Web Perl

Discussions similaires

Partager

Partager