Importation des données à partir d'un serveur FTP

**kargero** · 29/10/2007, 13h23

Bonjour à tous,

Je suis confronté dans mon travail à un problème que je n'arrive pas à résoudre.

Je dois :

importer sur un serveur local toutes les données se trouvant sur ftp://ftp.ensembl.org/pub/current_genbank/
chaque dossier correspond à un organisme et contient desfichiers compressés avec gunzip. Donc je dois décompresser les fichiers de chaque dossier, les fusionner dans un même fichier et renomer ce nouveau fichier avec le nom du dossier dans lequel il se trouve avec l'extension .dat
créer un nouveau dossier en dehors des dossiers importer et y mettre tous les fichiers nouvellement créés à l'étape 2.

Je vous en prie, aidez-moi, je ne maitrise pas très bien perl et cette partie bloque tout mon travail.

Merci d'avance

**Gardyen** · 29/10/2007, 13h53

commence donc par chercher un peu de documentation...

par exemple sur le site http://search.cpan.org/

au sujet des modules IO::Uncompress::AnyInflate ou Net::FTP ...

**kargero** · 29/10/2007, 14h25

Envoyé par Gardyen

commence donc par chercher un peu de documentation...

par exemple sur le site http://search.cpan.org/

au sujet des modules IO::Uncompress::AnyInflate ou Net::FTP ...

Merci pour ta réponse.

J'ai besoin d'une fonction ne faisant pas appel à des modules externes car je dois pas modifier l'installation de quoi que ce soit sur le serveur.

En gros, j'ai des restrictions au niveau du serveur.

Merci

**Gardyen** · 29/10/2007, 15h00

net::Ftp devrait être installé par défaut avec Perl, vérifie quand même

pour io::uncompress je ne pense pas, mais tu peux "tricher" un peu en utilisant la fonction system, en supposant que gunzip soit installé sur ton serveur ...

**djibril** · 29/10/2007, 15h13

Je t'aurais conseillé de tout faire en perl pour une question de portabilité. Mais bon, je ne sais pas sur quel OS tu travail, Win, Linux?
Si tu es sous linux, et que tu ne peux vraiment pas installer de modules perl comme Net::FTP, ou même Net::FTP::Recursive , ainsi que Archive::Extract, tu pourrais faire une bonne partie en ligne de commande.
Tu pourrais faire un script perl dans lequel tu ferais déjà quelques commandes system (telque wget -r, pour telecharger tout). Même si je ne trouve pas ça tres propre.
Ensuite à toi de parcourir les repertoires en perl afin de dezipper les fichiers un à un via gzip (encore faut il qu'il soit installé sur ton serveur).
Et ensuite, tu peux faire le reste en perl.
A toi de réfléchir, sur les étapes de ton script, sur ton algorithme et de nous proposer un script.
On ne pourra pas le faire à ta place.
courage

**Jedai** · 29/10/2007, 15h34

Net::FTP est déjà disponible par défaut avec Perl, tu n'auras qu'à compléter avec un petit appel à gunzip (consulte la FAQ pour savoir comment exécuter une commande).

--
Jedaï

**kargero** · 29/10/2007, 15h46

Envoyé par djibril

Je t'aurais conseillé de tout faire en perl pour une question de portabilité. Mais bon, je ne sais pas sur quel OS tu travail, Win, Linux?
Si tu es sous linux, et que tu ne peux vraiment pas installer de modules perl comme Net::FTP, ou même Net::FTP::Recursive , ainsi que Archive::Extract, tu pourrais faire une bonne partie en ligne de commande.
Tu pourrais faire un script perl dans lequel tu ferais déjà quelques commandes system (telque wget -r, pour telecharger tout). Même si je ne trouve pas ça tres propre.
Ensuite à toi de parcourir les repertoires en perl afin de dezipper les fichiers un à un via gzip (encore faut il qu'il soit installé sur ton serveur).
Et ensuite, tu peux faire le reste en perl.
A toi de réfléchir, sur les étapes de ton script, sur ton algorithme et de nous proposer un script.
On ne pourra pas le faire à ta place.
courage

Merci pour vos conseils,

Je travaille sur opensuse 10.2

Je conçois une base de donnée biologique fédérant les informations provenant d'autres bases/banques de données biologiques comme GenBank de la NCBI et ENSEMBL (désolé pour les termes crus du domaine, mais j'ai pas le choix) et des publications se trouvant sur le web.

La partie pour parser les informations sur le web est déjà faite.

Mais j'ai été bloqué sur les fichiers GenBank et la structure de stockage des fichiers dans leur banque.

La partie terminée, j'ai utilisé PHP/MySQL/AJAX.

Un ami m'a conseillé d'utiliser Perl pour récupérer des infos sur Genbank mais comme je suis débutant en Perl, j'ai préféré demandé de l'aide étant donné que mon temps est très limité pour apprendre correctement Perl.

Bien à toi
En gros c'est ça.

**kargero** · 29/10/2007, 15h47

Envoyé par Jedai

Net::FTP est déjà disponible par défaut avec Perl, tu n'auras qu'à compléter avec un petit appel à gunzip (consulte la FAQ pour savoir comment exécuter une commande).

--
Jedaï

Merci.

Je pense que je vais essayer avec Net::FTP (Je n'ai pas le choix)

Merci encore

**kargero** · 30/10/2007, 11h09

Voilà, j'ai essayé avec Net::FTP comme vous me l'avez conseillé.
Juste pour essayer de récupérer les fichiers mais je ne vois pas pourquoi il ne les récupère pas

Error:
Can't get file list

Voici le code utilisé :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
 
#!/usr/bin/perl
use Net::FTP;
 
my $host="ftp.ensembl.org";
my $directory="pub/current_genbank";
 
$ftp=Net::FTP->new($host,Timeout=>240) or $newerr=1;
  push @ERRORS, "Can't ftp to $host: $!\n" if $newerr;
  myerr() if $newerr;
print "Connected\n";
 
$ftp->login("anonymous","anonymous") or $newerr=1;
print "Getting file list";
  push @ERRORS, "Can't login to $host: $!\n" if $newerr;
  $ftp->quit if $newerr;
  myerr() if $newerr; 
print "Logged in\n";
 
$ftp->cwd($directory) or $newerr=1; 
  push @ERRORS, "Can't cd  $!\n" if $newerr;
  myerr() if $newerr;
  $ftp->quit if $newerr;
 
@files=$ftp->dir or $newerr=1;
  push @ERRORS, "Can't get file list $!\n" if $newerr;
  myerr() if $newerr;
print "Got  file list\n";   
foreach(@files) {
  print "$_\n";
  }
$ftp->quit;
 
 
sub myerr {
  print "Error: \n";
  print @ERRORS;
  exit 0;
}

**djibril** · 30/10/2007, 11h46

Bon je te met un code pour te permettre te telecharger un fichier

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
#!/usr/bin/perl
use Net::FTP;
use warnings,
use strict;
 
my $host="ftp.ensembl.org";
my $directory="pub/current_genbank";
my ($login, $pass) = ("anonymous","anonymous");
my $fichier = "xxxxxx.txt";
my $ftp = Net::FTP->new($host, Debug => 0) 
    or die("$! impossible de trouver l'url $host!!");
$ftp->login($login,'-$pass');
$ftp->cwd("$directory/");
$ftp->binary;
$ftp->get($fichier) or die"get failed ", $ftp->message;
print "fichier $fichier telecharge\n";
$ftp->quit();

Maintenant, faut savoir que get te permet de telecharger un fichier.
toi tu utilise la methode dir qui ne fait que faire un dir sur le serveur ftp, donc ne te sert pas à telecharger. D'ailleur c'est plutot mieux de faire un ls.
Maintenant à toi de reflechir sur l'algo car une fois dans le repertoire pub/current_genbank on n'a que des repertoires. Donc faudra penser à faire des cwd pour y rentrer, lister les fichiers à l'interieur, telecharger ce que tu veux. puis revenir d'un cran etc.

Donc sachant que tu veux vraiment telecharger plusieurs fichiers recursivement dans des repertoires, je te conseillé le module Net::FTP::Recursive qui n'est pas par defaut dans le core. Mais bon, si tu ne peux pas le telecharger, tout est toujours faisable avec Net::FTP

Allez courage

**kargero** · 30/10/2007, 13h36

J'ai pu avoir les droits d'installation sur le serveur.

J'ai installé Net::FTP::Recursive et j'ai essayé le script suivant:

#!/usr/bin/perl
use Net::FTP::Recursive;

$ftp = Net::FTP::Recursive->new("ftp.ensembl.org", Debug => 0);

$ftp->login("anonymous",'kargero@gmail.com');

$ftp->cwd('/pub/current_genbank');

$ftp->rget( ParseSub => \&yoursub );

$ftp->quit;

Malheureusement un message d'erreur que je n'arrive pas à comprendre s'affiche :

Undefined subroutine &main::yoursub called at line /usr/lib/perl5/site_perl/5.8.8/Net/FTP/Recursive.pm line 77

Je ne comprend rien de ce message franchement parlant.

**djibril** · 30/10/2007, 14h22

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
 
#!/usr/bin/perl
use warnings;
use strict;
use Carp;
use Net::FTP::Recursive;
 
my $host = "ftp.ensembl.org";
my $ftp = Net::FTP::Recursive->new($host, Debug => 0) or die "Cannot connect to $host: $@";
my ($login,$password) = ("anonymous",'kargero@gmail.com');
$ftp->login($login,$password) or die "Cannot login ($login)", $ftp->message;
$ftp->cwd('/pub/current_genbank');
$ftp->binary;
 
print  "telechargement en cours\n\n";
$ftp->rget( MatchDirs  => ".*" );
$ftp->quit;
print  "Fini\n";

**kargero** · 30/10/2007, 15h30

Merci Djibril,

Aucune erreur ne s'affiche mais il ne télécharge rien non plus.

Le script s'exécute et après deux minutes il affiche "Fini".

Ce qui montre qu'il s'exécute réellement.

Mais je ne vois aucun dossier ni fichier téléchargés

Envoyé par djibril

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
 
#!/usr/bin/perl
use warnings;
use strict;
use Carp;
use Net::FTP::Recursive;
 
my $host = "ftp.ensembl.org";
my $ftp = Net::FTP::Recursive->new($host, Debug => 0) or die "Cannot connect to $host: $@";
my ($login,$password) = ("anonymous",'kargero@gmail.com');
$ftp->login($login,$password) or die "Cannot login ($login)", $ftp->message;
$ftp->cwd('/pub/current_genbank');
$ftp->binary;
 
print  "telechargement en cours\n\n";
$ftp->rget( MatchDirs  => ".*" );
$ftp->quit;
print  "Fini\n";

**djibril** · 30/10/2007, 15h45

bah ecoute, je ne sais pas. De mon coté, en l'executant il telecharge tout ce qu'il faut dans le repertoire courant. Ce qui est d'ailleurs tres tres long vu qu'il telecharge tout.

**kargero** · 30/10/2007, 16h33

J'accède au serveur à distance, je ne sais pas si c'est ce qui pose de problèmes (mais ça m'étonnerait, car d'autres scripts fonctionnent à merveille).

J'ai essayé de me loguer à partir d'une autre machine mais c'est toujours la même chose.

Comme quoi, quand ça ne va pas ...

Merci quand même. Je vais continuer à chercher ce qui croche.

Envoyé par djibril

bah ecoute, je ne sais pas. De mon coté, en l'executant il telecharge tout ce qu'il faut dans le repertoire courant. Ce qui est d'ailleurs tres tres long vu qu'il telecharge tout.

**djibril** · 30/10/2007, 17h46

y a pas un probleme de droit d'ecriture de ton script dans le repertoire ou autre. ou bien un souci de firewall, je ne sais pas

**kargero** · 30/10/2007, 17h50

Oui,

Je suis derrière un firewall, mais je ne pensais pas que ça pouvait avoir un effet

Envoyé par djibril

y a pas un probleme de droit d'ecriture de ton script dans le repertoire ou autre. ou bien un souci de firewall, je ne sais pas

**kargero** · 31/10/2007, 11h53

Salut Djibril,

Peux-tu m'expliquer cette ligne dans le code ?

$ftp->rget( MatchDirs => ".*" );

Les fichiers téléchargés vont où ? Dans le répertoire courant ?

**djibril** · 31/10/2007, 12h10

il va dans les repertoire qui match avec cette regex. donc tous les repertoires.
Et tout est telechargé dans le repertoire courant

**kargero** · 31/10/2007, 13h09

J'ai fait le tour du problème, mais ça ne télécharge rien.

Je ne sais plus quoi faire.

Envoyé par djibril

il va dans les repertoire qui match avec cette regex. donc tous les repertoires.
Et tout est telechargé dans le repertoire courant

Importation des données à partir d'un serveur FTP

Langage Perl

Discussions similaires

Partager

Partager