Discussion :

[stoyak]

Bonjour à tous,

Mon code est fonctionnel, mais je crains qu'il ne soit pas optimal. En effet, il tourne depuis plus de 3h maintenant sur des données tests ... je n'ose pas imaginer ce que cela pourrait donner sur les données que j'ai à traiter

Voilà le code :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
 
use List::Compare;
 
for ( my $i = 0; $i<$NbOfProbesToExclude;$i++ ) {
  my $ScalarRandom = scalar(@ArrayAllProbesRandom);
 
  my $Max = $ScalarRandom -1;
  my $IdProbeToExclude = int( rand() * $Max );
 
  my @ArrayToExclude;
  push(@ArrayToExclude,$ArrayAllProbesRandom[$IdProbeToExclude]);
  print "\n\t - $ArrayAllProbesRandom[$IdProbeToExclude]\n";
 
  # Soustraire cette case du tableau
  my $ListCompareNew = List::Compare->new(\@ArrayAllProbesRandom, \@ArrayToExclude);
  @ArrayAllProbesRandom = $ListCompareNew->get_unique;;
 
 
}

J'ai donc un tableau @ArrayAllProbesRandom qui contient l'ensemble de mes données. Je veux sélectionner un élément de manière aléatoire $NbOfProbesToExclude fois (12000 éléments dans l'exemple qui tourne).
J'utilise le module List::Compare afin de soustraire l'élément sélectionné du tableau final pour la prochaine itération afin de ne pas choisir deux fois le même élément.
Comme je l'ai dit, le code tourne .... mais si vous avez une idée pour qu'il soit plus rapide, je suis preneuse!

[Jasmine80]

Je dois aller à une réunion, je n'ai pas le temps de regarder en détails mais pourquoi ne pas utiliser shuffle du module List::Util afin de trier ton tableau de façon aléatoire et ensuite récupérer les $NbOfProbesToExclude premières valeurs?

Sinon

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
my @array = (...);
my $val = $array[int rand($#array)];

[djibril]

Voici un exemple de script qui sélectionne 15000 éléments dans un tableau d'un million d'éléments.

Il dure à peine 2 secondes, tu peux t'en inspirer

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
#!/usr/bin/perl
use warnings;
use strict;
 
my $IndiceTableau;
my $NbrTiragealeatoire    = 15000;                  # nombre d'lement qu'on veut selectionner aleatoirement dans notre tableau
my @TableauGeneral        = (1..1_000_000);      # notre tableau
my @TableauAvecSelection;                        # tableau contenant les elements selectionnés aleatoirement
my %Temp;
while ( 1 ) {                     # boucle infinie
  $IndiceTableau = int( rand() * ( scalar(@TableauGeneral) -1) ); # tirage aleatoire : indice entre 0 et et la derniere case du tableau general
  $Temp{ $TableauGeneral[$IndiceTableau] } = 1;                   # On stocke l'element dans le hash temporaire (ça evite les doublons)
  if ( $NbrTiragealeatoire == scalar( keys %Temp) ) {             # Si le nombre d'element est OK, on stocke ces elements
    @TableauAvecSelection = keys %Temp;                           # et on supprime le hash temporaire.
    undef %Temp;
    last;
  }
}
print "fini";

[djibril]

autre solution

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
use List::Util qw( shuffle );
my $i = 1;
foreach ( shuffle @TableauGeneral ) {
  push (@TableauAvecSelection, $_);
  if ( $i == $NbrTiragealeatoire ) {
    last;
  }
  $i++;
}

[Jasmine80]

Voici un module qui devrait t'intéresser : Data::Rand
http://search.cpan.org/~dmuey/Data-R...b/Data/Rand.pm

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

my @values = rand_data( $NbrTiragealeatoire, \@studio_audience, { 'do_not_repeat_index' => 1 } );

Je ne l'ai jamais utilisé, je viens de le trouver sur le CPAN

[stoyak]

Un grand merci à tous les 2!

J'ai donc utiliser la méthode suggérée par Jasmine: la fonction shuffle du module List::Util!
Je randomize donc mon tableau initial et je supprime les $NbOfProbesToExclude premières valeurs.

L'exécution prend à peine quelques secondes!
L'utilisation de List::Compare est donc à conseiller uniquement dans le cas de petits tableaux.

Encore merci!

[Jedai]

L'utilisation de List::Compare est donc à conseiller uniquement dans le cas de petits tableaux.

Le problème de ton code n'était pas List::Compare, c'était le fait que tu utilisais une opération couteuse dans ta boucle, tu étais en O(n²) au moins alors que tu aurais pu être en O(n)... C'est une différence énorme quand on parle de milliers d'éléments.

Je ne sais pas si List::Compare est lent ou pas, mais il est clairement innocent de tes difficultés.

--
Jedaï