Problème transfert fichier texte fichier .csv

**stansoad0108** · 07/03/2012, 15h16

Bonjour à tout(e)s,

Voici mon problème,

Après avoir parsé une première fois un fichier texte pour y récupèrer certaines informations, j ai réussi à les écrire sur un autre fichier de sortie texte de cette forme :

------ Nouveau utilisateur -------
ID : XXXXXXXX
Nom : XXXXXXX
Type : XXXXXX
Dept : XXXXXX
Dept2 : XXXXXX
Division : XXXXXX
Zone : XXXXXX
Date : XXXXXX
Modification : XXXXXX

------ Nouveau utilisateur --------
etc etc

Les X sont intentionnels pour un certain respect ! Il faut de plus préciser que chaque champ se trouve dans un tableau @ID, @Nom, @Type...
Je voudrais maintenant mettre toutes ces données dans un fichier .csv
Ainisi retrouver 9 colonnes et pour chaque ligne y insérer les informations.

Pouvez vous m indiquer une piste pour débuter, car meme en lisant de la docs sur Text::CSV (par exemple) je suis bloqué!!

Je pourrai par exemple ouvrir le fichier de sortie texte ou sont stockés les informations (XXXXXX) et les parser et créer un nouveau fichier .csv pour insérer ces dernières.

Merci pour vos conseils...

**Philou67430** · 07/03/2012, 17h08

Pour écrire un simple fichier CSV, il n'est pas d'une absolue nécessité d'utiliser le module Text::CSV.
Si l'on considère que le séparateur de colonne sera stocké dans une variable $sep, voici une manière simple de réaliser l'opération (le fichier d'entrée est fourni sur l'entrée standard du script) :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
 
use strict;
use warnings;
 
use feature qw(:5.10);
 
my $sep = "\t";
my %fields = ();
while (defined(my $line = <STDIN>)) {
  chomp($line);
  my $in_user = ($line =~ /^------ Nouveau utilisateur -------$/) .. ($line =~ /^\s*$/);
  if ($in_user =~ /E0/) {
    # End of user
    say join $sep, map $_ // "", @fields{qw(ID Nom Type Dept Dept2 Division Zone Date Modification)};
    %fields = ();
  }
  elsif ($in_user > 1) {
    my ($name, $value) = split /\s*:\s*/, $line;
    $fields{$name} = $value;
  }
}

N'hésite pas à poser des questions pour comprendre.

**Zwiter** · 07/03/2012, 17h10

Bonjour,
Ce que tu demandes est un des meilleurs roles de perl. Ceci est tres simple. On va commencer par se demander ce qu'est un fichier csv pour toi?
Si c'est bien un fichier contenant des lignes de données séparées par un retour a la ligne. Et ou chaque ligne contient des données séparées par une virgule (Comma Separeted Values). Alors pour chaque données que tu auras parsées, il suffit de les ecrire dans ton fichier de sortie via :
print SORTIE "$data1,$data2,data3\n";

Z.

**stansoad0108** · 08/03/2012, 09h01

Merci pour vos réponses !!!

Cependant je ne comprend pas très bien le fonctionnement du programme...
En effet un problème s ajoute : pour chaque nouveau utilisateur, le nombre de champs (ID, Nom,...) est différent.

Mon fichier texte peut ressembler à ceci :

------ Nouveau utilisateur -------
ID : XXXXXXXX
Nom : XXXXXXX
Type : XXXXXX
Dept : XXXXXX
Dept2 : XXXXXX
Division : XXXXXX
Zone : XXXXXX
Date : XXXXXX
Modification : XXXXXX

------ Nouveau utilisateur --------
ID : XXXXXXXX
Nom : XXXXXXX
Type : XXXXXX
Dept2 : XXXXXX
Division : XXXXXX
Zone : XXXXXX

------ Nouveau utilisateur -------
ID : XXXXXXXX
Type : XXXXXX
Dept : XXXXXX
Dept2 : XXXXXX
Division : XXXXXX
Zone : XXXXXX
Date : XXXXXX

------ Nouveau utilisateur -------
ID : XXXXXXXX
Type : XXXXXX
Division : XXXXXX
Zone : XXXXXX
Date : XXXXXX

etc etc...
Je n arrive donc pas a trouvé la logique pour recupérer les données et les transferer correctement dans un fichier .csv
Je dois arriver au final à un tableau de 9 colonnes, le remplir et y mettre un champ vide pour chaque champ inexistant pour chaque utilisateur...

Merci de votre aide précieuse

**zanker** · 08/03/2012, 09h40

Bonjour,

dans le cas où tu génères ton fichier texte:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
------ Nouveau utilisateur -------
ID : XXXXXXXX
Nom : XXXXXXX
Type : XXXXXX
Dept : XXXXXX
Dept2 : XXXXXX
Division : XXXXXX
Zone : XXXXXX
Date : XXXXXX
Modification : XXXXXX
 
------ Nouveau utilisateur --------
  ( ... )

ceci avec ton script Perl qui utilise les variables de type liste: @ID, @Nom, @Type, @Dept, @Dept2, @Division, @Zone, @Date et @Modification.

Tu peux créer, en fin de script, ton fichier CSV.
Ca peut ressembler à ça avec ';' comme séparateur :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
my $fichier_csv = 'monfichier.csv';
open(my $fh_csv, '>'.$fichier_csv) or die "Erreur d'ouverture du fichier $fichier_csv : ".@!;
print($fh_csv join(';', qw(ID Nom Type Dept Dept2 Division Zone Date Modification))."\n"); # Ligne d'entête du CSV
for(my $num = 0; $num < scalar(@ID); $num++)
{
	print($fh_csv join(';',
		($ID[$num],
		$Nom[$num],
		$Type[$num],
		$Dept[$num],
		$Dept2[$num],
		$Division[$num],
		$Zone[$num],
		$Date [$num],
		$Modification[$num])
	)."\n");
}

Bien sûr, toutes les variables de type liste ont le même nombre d'éléments.

**Philou67430** · 08/03/2012, 10h32

Envoyé par stansoad0108

Cependant je ne comprend pas très bien le fonctionnement du programme...
En effet un problème s ajoute : pour chaque nouveau utilisateur, le nombre de champs (ID, Nom,...) est différent.

Justement, le script que je t'ai proposé tiens compte de l'absence de certains champs... il affiche toujours les colonnes ID Nom Type Dept Dept2 Division Zone Date Modification (et dans cet ordre).

Mon fichier texte peut ressembler à ceci :

Comme ton "tag" Nouveau utilisateur est légèrement différent entre les différents utilisateurs, j'ai un peu adapté le test de $in_user.
De même, j'ai corrigé deux bugs (test $in_user > 1 et ajout de l'écriture du dernier utilisateur).
La dernière version du script :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
use strict;
use warnings;
 
use feature qw(:5.10);
 
my $sep = "\t";
my %fields = ();
while (defined(my $line = <STDIN>)) {
  chomp($line);
  my $in_user = ($line =~ /^-+ Nouveau utilisateur -+$/) .. ($line =~ /^\s*$/);
  if ($in_user =~ /E0/) {
    # End of user
    say join $sep, map $_ // "", @fields{qw(ID Nom Type Dept Dept2 Division Zone Date Modification)};
    %fields = ();
  }
  elsif ($in_user && $in_user > 1) {
    my ($name, $value) = split /\s*:\s*/, $line;
    $fields{$name} = $value;
  }
}
say join $sep, map $_ // "", @fields{qw(ID Nom Type Dept Dept2 Division Zone Date Modification)} if %fields;

**stansoad0108** · 08/03/2012, 10h51

my $in_user = ($line =~ /^-+ Nouveau utilisateur -+$/) .. ($line =~ /^\s*$/);

Je ne comprend pas cette ligne; que signifie les ..
Dois je compléter avec les differents matchs ($line =~ /^ID:.+/)....

if ($in_user =~ /E0/) {

Quel est ce test?

say join $sep, map $_ // "", @fields{qw(ID Nom Type Dept Dept2 Division Zone Date Modification)};

Que signifie cette ligne ? Je n ai pas trouvé de réelles explications sur Internet....

Je suis désolé, j ai encore du mal a comprendre l algo..
Merci pour vos précisions

**stansoad0108** · 08/03/2012, 11h02

say join $sep, map $_ // "", @fields{qw(ID Nom Type Dept Dept2 Division Zone Date Modification)};

N y a t il pas d erreur de synthaxe? avec les // ?

Cordialement

**Philou67430** · 08/03/2012, 11h26

Envoyé par stansoad0108

Je ne comprend pas cette ligne; que signifie les ..
Dois je compléter avec les differents matchs ($line =~ /^ID:.+/)....

Non, il n'y a rien à compléter : les .. sont l'opérateur "flip-flop".
Pour plus d'aide, tape :
perldoc perlop (puis cherche "flip").

Cet opérateur, utilisé dans un contexte scalaire, retourne 0 tant que le premier opérande est faux (sans tester le deuxième), et retourne 1, 2, 3... et ainsi de suite dès que le premier opérande est vrai et que tant que le deuxième est faux.
Lorsque le 2e opérande devient vrai, il retourne le dernier indice en y ajoutant "E0" (ce qui, dans un contexte numérique, est équivalent à multiplier par 10 puissance 0, donc par 1 : cela ne change pas sa valeur numérique, mais ça modifie sa valeur chaine de caractère). Ensuite, il retourne à nouveau 0 tant que le premier opérande est faux, et ainsi de suite.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

if ($in_user =~ /E0/) {

Quel est ce test?

Ce test permet de vérifier que l'on a atteint la deuxième condition du flip-flop (donc la fin d'un utilisateur).
Il permet donc de traiter l'utilisateur que l'on a renseigné entre temps.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

say join $sep, map $_ // "", @fields{qw(ID Nom Type Dept Dept2 Division Zone Date Modification)};

Que signifie cette ligne ? Je n ai pas trouvé de réelles explications sur Internet....

Cette ligne affiche les colonnes d'une utilisateur, donc les valeurs sont stockées dans la table de hashage %fields.

Pour permettre cela, je récupère d'abord la liste des colonnes ainsi :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

@fields{qw(ID Nom Type Dept Dept2 Division Zone Date Modification)}

Ici, l'opérateur qw() (perldoc perlop) permet de retourner un tableau de mots à partir d'une chaine donc les mots sont séparés par des espaces. Ces mots sont les noms des colonnes, qui ont servis de clés pour le hash %fields.
Pour récupérer les valeurs de ces colonnes, il suffit d'utiliser @fields{@colonne_titles} (ici, @colonne_titles est directement fourni par qw(...)).
Enfin, comme certaines valeurs peuvent être absentes pour certaines colonne, chaque valeur est pre-traitée par la fonction map, grâce à l'expression

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

$_ // ""

Cette expression utilise l'opérateur // (perldoc perlop) introduit dans perl 5.10.
Cet opérateur est équivalent à :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

defined($_) ? $_ : ""

**stansoad0108** · 08/03/2012, 11h41

Merci pour votre temps et vos explications !!!

Je commence à comprendre, mais comment préciser que les informations stockées doivent être écrites dans le fichier de sortie .csv??

Merci

**Philou67430** · 08/03/2012, 13h22

La fonction say (à l'instar de print) écrit sur la sortie standard du script.
Il suffit de rediriger la sortie du script dans un fichier :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

perl script.pl > fichier.csv

Autre moyen : ouvrir un fichier en écriture et écrire dedans :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
open my $CSV, ">", "fichier.csv" or die "Can't open fichier.csv en écriture: $!\n";
...
  say { $CSV } join $sep etc...
...

Enfin, si j'ai bien compris la question.

**zanker** · 08/03/2012, 13h31

Envoyé par stansoad0108

comment préciser que les informations stockées doivent être écrites dans le fichier de sortie .csv??

L'ouverture du fichier CSV s'effectue avec la commande Perl open().
Cette commande affecte un FILE HANDLE à la variable en premier paramètre de open().
Puis, il suffit d'utiliser la commande print() en lui indiquant le FILE HANDLE précédemment ouvert avec open().
Dans mon code, le FILE HANDLE correspond à la variable $fh_csv.

**stansoad0108** · 08/03/2012, 14h03

Merci tout d abord...

Sinon j ai testé pour les deux types de sortie (standart et fichier de sortie .csv)
Malheureusement, en sortie standart (par exemple), il m affiche pour chaque ligne analysée "Use of uninitialized value $name in hash element at test.pl line 46, <INPUT> line 26232".

Il écrit seulement la dernière ligne avec des informations (qui sont malheureusement incomplète) !!!

Je n arrive pas à trouver le bug...
Merci encore pour votre aide

**Philou67430** · 08/03/2012, 14h42

C'est bien étrange, car dans le script que je t'ai fourni, il n'y a pas 46 lignes. Pourrais-tu poster ici le script qui bug ?

Ensuite, je suppose que ton fichier d'entrée est gros. Pourrais-tu poster ici la ligne 26232 afin que l'on puisse analyser son contenu, et comprendre pourquoi la ligne

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

my ($name, $value) = split /\s*:\s*/, $line;

échoue à séparer le nom de la colonne de sa valeur...

**stansoad0108** · 09/03/2012, 10h30

Bonjour à tous,

J'ai finalement réussi à manipuler le module Text::CSV pour parser mon fichier texte et écrire les informations dans un fichier .csv

J'ai crée un tableau de 9 colonnes où les informations seront stockées. J ai préparé le fichier .csv avec les paramètres suivants:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
 
my $output_csv = Text::CSV->new ({ binary => 1, eol => "\n", sep_char => ","});
$outuput_csv -> combine (("ID", ................, "Modification")); 
print OUTPUT $output_csv -> string ();

Je parse toutes les lignes. Je remplie mon tableau et je le print dans mon fichier csv à chaque fois que j en ai besoin.

En tout cas, un GRAND merci pour vos aides et explications et surtout pour le temps que vous m'avez accordé!!!!!

Problème transfert fichier texte fichier .csv

Langage Perl

Discussions similaires

Partager

Partager