Discussion :

[cryptorchild]

J'ai fait le script suivant mais il ne marche

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
#!C:/PROGRA~1/Perl/bin/perl.exe -w
use LWP::Simple qw(get);
use WWW::RobotRules;
my $rules = WWW::RobotRules->new('MOMspider/1.0');
 
$r = "http://google.fr";
 
$r = rules($r);
 
print "$r\n";
 
 
 
sub rules
{
my $url .= "\/robots\.txt" unless ($_ =~ /\/$/);
  {
   my $robots_txt = get $url;
   $rules->parse($url, $robots_txt) if defined $robots_txt;
  }
  if($rules->allowed($url)) {
     $c = get $url;
     return $c;
 }
}

Pourriez vous aussi éclairer ma lanterne sur WWW::RobotRules

a quoi sert

$c = get $url;

exactement ?

[cryptorchild]

Personne veut m'aider
z'ete méchant

[vic]

Hum qu'entends-tu par "ne marche [pas]" ?

Essaie de préciser un peu le problème éventuel par toi même.

[Bouroff]

: Pour t'aider il faudrait que tu nous dise ce que tu essaies de faire dans ton script, sinon tu nous oblige à essayer de deviner ce que tu essayais de faire : Mais on a peu de chance d'aboutir vu que tu dis toi-même que ça ne marche pas.

[cryptorchild]

Heu ben en fait je voudrais l'utiliser dans un crawler , car je n'arrive pas a utiliser LWP::RobotUA.