Discussion :

[siaoly]

Bonjour j'ai un petit bout de code destiné a extraire des liens d'une page web mon code fonctionne mais je voudrais qu'il soit,plus simple car le foreach() prend quand même du temps , j'ai essayer de faire moi meme mais je n'y suis pas arrivé

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
sub extraire_liens  {
 my (@liens, $lesliens);
 $code = shift;
 $url  = shift;
 my $parseur = HTML::LinkExtor->new(sub {
                               my($tag, %attr) = @_;
                               return if $tag ne 'a';
                               push(@liens, values %attr);
                             });
   $parseur->parse($code);
   foreach my $uri ( map { $_ = url($_, $url)->abs; } @liens ) {
      $lesliens->{$uri} = 1;
   }
 return $lesliens;
}

[pospos]

pour gagner un peu de vitesse tu peux instancier ton objet linkextor en dehors de ta sub, en le mettant en cache dans ton objet si tu fait du OO ou en le gardant en statique dans ta sub (grace à un bloque autour de ta sub, qui localise les variables) :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
{
  my $parseur;
  my @liens;
  sub extraire_liens  {
    my ($lesliens);
    my $parseur||= HTML::LinkExtor->new(...
    @liens = ();
   ...
  }
}

avec le || $parseur ne sera créer que si il n'existe pas deja.
en plus tu evite la closure (la sub anonyme dans el new) qui est assez lente lors de sa creation. En contrepartie puisque tu utilise @liens dans ta closure tu dois la sortir aussi en statique, et la vider à chaque fois.

Autre chose, pour ton foreach et map, tu peux eviter le map et faire l'absolutisation d'url dans le foreach:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
for my $extracted (@liens) {
  $lesliens->{ url($extracted, $url)->abs } = 1;
}

ensuite ce qui reste lent c'est sans doute l'absolutisation d'url: le modeul URI est tres bien mais c'est une sacrée limace...

[siaoly]

Merci pospos , connais tu un module plus rapide qu' URI ?

Autre question ou je met ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
my($tag, %attr) = @_;
return if $tag ne 'a';
push(@web, values %attr);

[siaoly]

Sa marche

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
{
  my $parseur;
  my @liens;
  sub links : locked method {
    my ($lesliens);
    my $parseur||= HTML::LinkExtor->new(sub {
                                         my($tag, %attr) = @_;
                                         return if $tag ne 'a';
                                         push(@liens, values %attr);
                                       });
       $parseur->utf8_mode;
       $parseur->parse($code);
    for my $extracted (@liens) {
      $lesliens->{ url($extracted, $url)->abs } = 1;
    }
    @liens = ();
    return $lesliens;
  }
}

merci encore pospos

[Jedai]

J'ajouterais que je ne vois pas l'intérêt du tableau @liens ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
 
{
  my $url;
  my $lesliens;
  my $parseur = HTML::LinkExtor->new(sub {
                                         my($tag, %attr) = @_;
                                         return if $tag ne 'a';
                                         $lesliens->{ url($attr{href}, $url)->abs } = 1
                                       });
 
  $parseur->utf8_mode;
  sub links : locked method {
      $lesliens = {};
      my $code = shift;
      $url = shift;
      $parseur->parse($code);
      return $lesliens;
  }
}

--
Jedaï

[pospos]

exacte, autant tout faire dans la sub

j'ai fait une boulette dans mon example:
il faut faire
$parser ||=
et non
my $parser ||=

sinon le fait que la variable soit statique ne sert à rien.

Ensuite tu peux faire comme jedai decrit, et faire le new directement en degors de ta sub, mais dans ce cas pense a mettre le bloc qui entour ta sub en BEGIN, car sinon il risque ne ne pas avoir été initialisé au moment ou tu appel ta sub (si par exemple tout cela est dans un script et non un module)

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
BEGIN {
  my $parser = ...
  sub links {
  }
}