Discussion :

[rico3434]

Bonjour,

Je souhaite utiliser la commande awk sur un fichier csv et savoir si il n'y a pas un champ en moins ou en plus sur un enregistrement.
Le séparateur est ";"
Je souhaite connaitre le nombre de caractères ";" et diviser par le nombre de lignes.
La méthode est-elle correcte.

Merci pour vos infos.

[BlaireauOne]

Tu peux utiliser les 2 variables réservées de awk : NF et NR
http://www.shellunix.com/awk.html

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
 
awk -F";" -v NbChampValide=35 '
{
	if (NF != NbChampValide) {
		print "*** sur Record "NR" : "NF" champs presents (valide "NbChampValide") !!!" | "cat 1>&2"
	}
} '  test.txt

[laurentschneider]

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
awk -F';' '{
  n[NF-1]++;
  max=NF-1>max?NF-1:max} 
END{
  for (i=0;i<=max;i++)
    if (n[i])
      printf "%s lignes avec %d caractères ;\n",n[i],i
}' x
3 lignes avec 3 caractères ;
1 lignes avec 4 caractères ;
1 lignes avec 10 caractères ;

[rico3434]

Encore un grand merci pour vos solutions.

[rico3434]

Une autre question sur ce shell. Je souhaite ajouter un numéro de ligne dans le fichier test.txt

fichier initial
1;2;3;4;5;6;7;8;9
1;2;3;4;5;6;7;8;9
1;2;3;4;5;6;7;8;9

fichier final
00001;1;2;3;4;5;6;7;8;9
00002;1;2;3;4;5;6;7;8;9
00003;1;2;3;4;5;6;7;8;9

shell controlant le nombre de champs par enregistrement.
awk -F";" -v NbChampValide=9 '
{
if (NF != NbChampValide) {
print "*** sur Record "NR" : "NF" champs presents (valide "NbChampValide") !!!" | "cat 1>&2"
}
} ' test.txt

Ce shell ajoute le numéro de ligne mais pas le point virgule. Est-il possible de l'ajouter avec le shell suivant.

awk
{
printf ("%05.05d%s\n",NR, $0)
} ' test.txt

Est-il possible de concaténer ces deux shells ?

merci

[rico3434]

J'ai résolu mon problème d'ajout du séparateur.


awk
{
printf ("%05.05d;%s\n",NR, $0)
} ' test.txt>test2.txt

awk -F";" -v NbChampValide=10 '
{
if (NF != NbChampValide) {
print "*** sur Record "NR" : "NF" champs presents (valide "NbChampValide") !!!" | "cat 1>&2"
}
} ' test2.txt


Et j'obtiens bien mon fichier final
00001;1;2;3;4;5;6;7;8;9
00002;1;2;3;4;5;6;7;8;9
00003;1;2;3;4;5;6;7;8;9

Est il possible de lancer 1 seule fois la commande awk car le temps de traitement sera diminué.

Merci

[rico3434]

Est-il possible de réaliser ces deux awk (ou un awk) sur un ensemble de fichier dans un répertoire.
Enfin, est-il possible de controler une partie du nom du fichier. Les 3 au 6e caractères du nom de chaque fichier sont égaux à la chaine "test", sinon erreur sur nom du fichier.

[BlaireauOne]

Ça doit le faire

http://pwet.fr/man/linux/commandes/find

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
 
for file in $(find . -maxdepth 1 -type f) ; do
	if [[ $(echo $file | grep -c "^./..test") -eq 0 ]] ; then 
		echo "*** Nom fichier $file invalide"
		continue
	fi
	echo "* Traitement $file"
	awk -v NbChampValide=10 '
	BEGIN {
		FS=";"
		OFS=";"
	}
	{
		if (NF != NbChampValide) {
			print "*** sur Record "NR" : "NF" champs presents (valide "NbChampValide") !!!" | "cat 1>&2"
		}
		printf("%06d;%s\n",NR,$0)
	} '  $file
done

[rico3434]

J'ai cette réponse.
sh essai.sh
invalid shell option nametglob
essai.sh: line 2: syntax error near unexpected token `$'do\r''
essai.sh: line 2: `for file in $(find . -maxdepth 1 -type f) ; do

Est-il possible d'utiliser un awk avec substr au lieu du find

for file in *
do
???
done

[BlaireauOne]

J'ai cette réponse.
sh essai.sh
invalid shell option nametglob
essai.sh: line 2: syntax error near unexpected token `$'do\r''
essai.sh: line 2: `for file in $(find . -maxdepth 1 -type f) ; do

\r me fait penser à un problème de script au format dos au lieu du format unix attendu.


Tu peux remplacer :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
 
for file in $(find . -maxdepth 1 -type f) ; do
	if [[ $(echo $file | grep -c "^./..test") -eq 0 ]] ; then 
		echo "*** Nom fichier $file invalide"
		continue
	fi
	echo "* Traitement $file"

par :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
for file in * ; do
	if [[ ! -f $file ]] ; then 
		continue  #-- ceci n'est pas un fichier
	fi
	if [[ $(echo $file | grep -c "^..test") -eq 0 ]] ; then 
		echo "*** Nom fichier $file invalide"
		continue
	fi
	echo "* Traitement $file"

[rico3434]

merci pour ta réponse.

En fait, j'ai testé le code sur cygwin, un émulateur unix sur windows.
Sur une machine unix, pas de problème.
As tu une idée pour le tester sur cygwin.