Discussion :

[nanooby]

Bonjour à tous !

Comme vous pouvez le remarquer, je suis nouveau, et surtout je suis un novice en programmation de scripts en Shell.
Je travaille actuellement sur un projet pour mon stage de fin d'études, et je me retrouve aujourd’hui un peu ennuyé/bloqué.

Je doit m'occuper de l'automatisation des tests sur une solution en place depuis maintenant plus de 25ans (oui en 25ans ils n'ont pas mis en place de tests...).
Là, je me penche sur la comparaison des résultats, insérés dans des fichiers XML, à des résultats stockés dans un autre dossier qui servent de modèle (résultats récupérés lors du lancement des tests avec une solution fonctionnelle).
J'utilise donc la commande diff sur les dossiers où sont stockés les résultats et les modèles :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

diff --recursive DossierResultat DossierModele >> Erreurs.txt

La commande diff me retourne la liste des erreurs, lorsqu'il y en a.
Le problème est que j'ai besoin que sur chaque itération de diff (chaque comparaison qu'il fait), je récupère le résultat et le nom des fichiers pour afficher dans un autre fichier txt :

• test1 : OK
• test2 : KO
• ...

Sachant que test1 correspond au nom du premier fichier de résultat, test2 au nom du deuxième fichier de résultat...

Bref là je n'arrive pas du tout à mettre la main sur la solution, google est pratique mais dans mon cas il ne m'aide pas beaucoup. C'est pourquoi je fais maintenant appel à vous

[BufferBob]

salut,

je vois au moins deux façons de faire, la première en partant de l'output de diff et en le parsant à coup de awk ou de perl par exemple, du genre :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
LANG=fr_FR.UTF-8 diff -rdsN rep1/ rep2/ | awk '
/^Les fichiers.+ sont identiques$/ {
   gsub(/^.+\//,"",$(NF-2));
   print $(NF-2) " : OK";
   next;
}
/^diff -rdsN / {
   gsub(/^.+\//,"",$4);
   print $4 " : KO";
}'

(note que j'ai déroulé le script awk pour plus de lisibilité mais le tout tient en une ligne)

la deuxième en faisant un script à l'ancienne et en se basant plutôt sur find pour lister les fichiers et le code de retour de diff pour déterminer si les fichiers sont différents, quelque chose du style :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
#!/bin/bash
 
liste=$(find rep1/ -type f -exec basename {} \; | sort)
 
for fichier in $liste; do
        if [ ! -e "rep2/${fichier}" ]; then  # est-ce que le fichier existe ?
                echo "$fichier : KO"
        else
                diff -urdsN rep1/${fichier} rep2/${fichier} >/dev/null 2>&1
                ret=$?
                if [ $ret -ne 0 ]; then  # si fichiers identiques, diff renvoit 0, sinon autre chose (à minima renvoit 1)
                        echo "${fichier} : KO"
                else
                        echo "${fichier} : OK"
                fi
        fi
done

c'est probablement pas ultime mais ça fonctionne, convient d'adapter au besoin

[N_BaH]

je ne dis rien
je ne l'ai pas vu
je ne dis rien
je ne l'ai pas vu ...
...
je ne peux pas : je l'ai vu, je ne peux pas ne rien dire



je milite pour qu'on itère pas sur la sortie d'une commande avec une boucle for, car elle tourne sur chaque mot, et non sur chaque ligne.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
n=""; find ./ -maxdepth 1 -type f -name "fichier*" -print0 | while read -d '' f; do echo "$((++n)) - $f"; done
1 - ./fichier avec des espaces
2 - ./fichier avec
un alinea

[BufferBob]

oops

pour ma défense j'ai précisé que c'était pas ultime et fait à la va-vite comme script, mais tu as raison en plus le for en bash est excessivement lent

[Sve@r]

Bonjour

je milite...

Moi, j'aurais plutôt dit "je vous implore à genoux en toutes les larmes de mon corps"...

ok

[nanooby]

Tout d'abord, merci d'avoir pris le temps de me répondre

@BufferBob : Concernant la "bonne vieille méthode", j'espérais ne pas avoir à m'en servir dans ce cas là, donc si je peux faire sans, je préfère. Par contre, je dois me servir de cette même méthode pour le lancement des tests (le diff me sert pour la comparaison des résultats, mais je comptai me pencher sur le lancement dynamique après), donc ce n'est pas perdu !!! En prenant en compte la correction de N_Bah évidemment

Maintenant je voudrais rester sur cette première façon de faire. Je suis un peu (beaucoup) débutant, et j'essaie de la comprendre, mais difficilement. Donc awk j'avais déjà vu un peu. Tu utilises gsub pour retirer les caractères spéciaux, par contre $(NF-2), moi pas comprendre ce que ça être...

Note : j'ai cherché, je sais à quoi correspond NF maintenant, mais j'ai toujours pas pas compris pourquoi tu l'utilises là.
Même chose derrière, pourquoi $4? Là je m'y perd un peu. C'est évident pour vous mais si vous pouviez m'éclairer un peu

2ème interrogation : comment sait-il que les fichiers sont identiques? J'ai lu que diff renvoi une valeur (0 si OK, 1 si KO, autre si erreur). Est-ce grâce à cette valeur?

Encore merci pour vos réponses et ces quelques rires de bon matin

[BufferBob]

salut,

Tout d'abord, merci d'avoir pris le temps de me répondre
(...) awk j'avais déjà vu un peu. Tu utilises gsub pour retirer les caractères spéciaux, par contre $(NF-2), moi pas comprendre ce que ça être... (...) Même chose derrière, pourquoi $4?

gsub remplace tout depuis le début de la chaine jusqu'au dernier / par une chaine vide, donc ça permet de ne conserver que ce qui suit à savoir le nom du fichier à proprement parler
NF est une variable awk prédéfénie qui pour chaque ligne renvoit le nombre de "champs" qu'elle contient, et dans le même ordre d'idée $4 fait référence au 4ème champs, chaque champs étant séparé des autres par un ou plusieurs espaces et/ou tabulations par défaut
en clair $(NF-2) fait référence à l'avant-avant-dernier mot de la ligne et $4 au 4ème mot de la ligne

dans le code awk on cherche à matcher 2 types de lignes dans l'output de diff grâce aux regex /^Les fichiers.+ sont identiques$/ et /^diff -rdsN /;

- les lignes du genre "Les fichiers repertoire1/fichier350 et repertoire2/fichier350 sont identiques" pour lesquelles l'avant-avant-dernier "mot" vaut repertoire2/fichier350, qu'on passe ensuite à gsub etc.

- les lignes du genre "diff -rdsN repertoire1/fichier809 repertoire2/fichier809" qui sont caractéristiques de différences entre les fichiers (en général on une ligne de ce genre et en dessous les différences au format unifié diff), et pour laquelle $4 vaudra repertoire2/fichier809.

cette méthode qui utilise des paramètres positionnels ($(NF-2) et $4) ne fonctionne correctement que si l'output de diff est formaté comme on l'a prévu, c'est la raison pour laquelle j'ai rajouté explicitement un LANG=fr_FR.UTF-8 devant le diff, pour m'assurer que quelque soit l'environnement (cron par exemple) la commande me renverra bien un output en français que awk sera capable de parser

comment sait-il que les fichiers sont identiques? J'ai lu que diff renvoi une valeur (0 si OK, 1 si KO, autre si erreur). Est-ce grâce à cette valeur?

c'est ça, la variable bash $? contient le code de retour de la dernière commande exécutée

[nanooby]

Ok !

Je me demandais comment tu avais la confirmation des fichiers identiques car lors de mes tests, je n'avais que les différences. En effet, j'avais pas fait gaffe à l'option -s.
Concernant l'option -d, sert-elle réellement à quelque chose ici? Car dans le man, il est dit qu'elle ralentit l'exécution.

Je ne trouve pas ce que fait l'option -N. Peux tu m'éclairer?

Et la solution proposée ici me permet de rentrer les informations OK et KO dans mon fichier de vérification des tests, mais est-il possible d'étudier la sortie et de tout de même l'afficher dans un fichier pour conserver les erreurs?

Note : je vais quand même réexpliquer ma dernière phrase.
Je veux garder le résultat obtenu par la solution que tu m'as fourni ici, mais également celui que j'avais avant, c'est à dire écrire dans un fichier la sortie de diff (diff >> Erreurs.txt).

[BufferBob]

Ok !
j'avais pas fait gaffe à l'option -s.
Concernant l'option -d, sert-elle réellement à quelque chose ici? (...)
Je ne trouve pas ce que fait l'option -N. (...)

je le redis ça n'avait pas pour but de fournir une solution clé en main et ça se voulait même plutôt un script fait à la va-vite et certainement malhabile/perfectible par endroits, les options choisies pour diff en font partie, il convient d'adapter en faisant des tests de ton coté dans la mesure où le principe global est compris

Code man diff :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
-s, --report-identical-files      report when two files are the same
-r, --recursive                   recursively compare any subdirectories found
-N, --new-file                    treat absent files as empty
-d, --minimal                     try hard to find a smaller set of changes

[nanooby]

Bonjour à tous,

J'espère que vous avez passé un bon week-end.
Merci BufferBob pour tes indications.

J'aimerais en revanche vous relancer concernant mon dernier problème en date :

Je veux garder le résultat obtenu par la solution que tu m'as fourni ici, mais également celui que j'avais avant, c'est à dire écrire dans un fichier la sortie de diff (diff >> Erreurs.txt).

Comment exécuter le awk (qui utilise le résultat de diff) et recopier la sortie de diff dans un fichier en même temps? (c'est à dire la liste des erreurs s'il y en a)

[BufferBob]

salut nanooby,

Comment exécuter le awk (...) et recopier la sortie de diff dans un fichier en même temps?

simplement en intercalant un tee entre les deux

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

diff | tee fichier.log | awk '...'

[nanooby]

salut nanooby,

simplement en intercalant un tee entre les deux

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

diff | tee fichier.log | awk '...'

Tu gères la fougère !

Je clos ce sujet, si je rencontre d'autres soucis pour le reste j'en rouvrirai un nouveau

[nanooby]

Bonjour à vous,

Excusez moi de rouvrir le sujet, mais j'ai un soucis avec la commande :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
diff -rs  ${Rep_resultats}/ ${Rep_modeles}/ | if [ $? -ne 0 ]; then tee ${Resultat_diff}; fi | awk '
	/^Files.+ are identical$/ {
	   gsub(/^.+\//,"",$(NF-2));
	   print $(NF-2) " : OK";
	   next;
	}
	/^diff -rs.+ / {
	   gsub(/^.+\//,"",$4);
	   print $4 " : KO";
	   next;
	}' >> ${Rapport_de_test}

Plusieurs choses :

• Comme vous pouvez le constater, j'ai retiré le LANG car même avec ça, c'était en anglais, j'ai donc adapté la phrase en anglais, problème résolu
• Le fait de signaler quand les fichiers sont identiques est indispensable pour traiter le cas test OK, mais cela pollue mon fichier de résultat du diff, je voulais donc limiter l'écriture dans le fichier de résultat du diff au cas de différence entre les fichiers testés. Malheureusement, la variable $? renvoi 0 au lieu de renvoyer 1 quand mes fichiers sont différents. J'imagine que celle-ci renvoi le statut de la commande précédent mon diff comment faire dans ce cas?
• tee renvoi l'entrée en sortie, mais si la condition de mon if n'est pas vérifiée, l'entrée ira-t-elle en sortie? Ou dois-je le faire manuellement avec un else et une commande que je ne connais pas

[N_BaH]

[...]la variable $?[...]celle-ci renvoie le statut de la commande précédent mon diff[...]

effectivement.

les pipes va envoyé inconditionnellement les données à tee, puis à awk, qui, lui, retournera des données vers la sortie standard en suivant les conditions qu'il énonce.

[nanooby]

effectivement.

les pipes va envoyé inconditionnellement les données à tee, puis à awk, qui, lui, retournera des données vers la sortie standard en suivant les conditions qu'il énonce.

As tu une solution pour contourner cet obstacle?
J'avais pensé à tester le premier mot, comme dans le awk, mais j'ai pas réussi

[N_BaH]

autant que je sache, on ne peut pas piper des données vers un if (il n'a pas d'entrée standard).
je ne vois même pas à quoi il servirait.
si je comprends ce que tu veux faire, tu peux effectuer des redirections dans le awk vers différents fichiers en suivant les conditions :

Code pseudo-code :

Sélectionner tout - Visualiser dans une fenêtre à part

awk '/cond_1/print $0 >"fichier_1";/cond_2/print $0 > "fichier_2"}

[nanooby]

autant que je sache, on ne peut pas piper des données vers un if (il n'a pas d'entrée standard).
je ne vois même pas à quoi il servirait.
si je comprends ce que tu veux faire, tu peux effectuer des redirections dans le awk vers différents fichiers en suivant les conditions :

Code pseudo-code :

Sélectionner tout - Visualiser dans une fenêtre à part

awk '/cond_1/print $0 >"fichier_1";/cond_2/print $0 > "fichier_2"}

Le if sert à filtrer. En fait le tee me permet de récupérer dans un fichier les erreurs renvoyées par le diff, mais aussi de les envoyer dans le awk qui, en fonction du résultat du diff, rempli un fichier récapitulatif (test : ok||ko).

Ce qui me gène c'est que le tee renvoi également les lignes "Files /blabla/test and /blablou/test are identical" dans le fichier.
Vu qu'il y a beaucoup de tests, et que ceux-ci doivent être ok, dans le fichier de résultat du diff rempli avec le tee, je voudrais n'écrire QUE les lignes où les fichiers sont différents, c'est à dire celles qui commencent par "diff -rs ..." et pas les lignes "Files /blabla/test and /blablou/test are identical" car elles me servent uniquement pour le test dans le awk.

[N_BaH]

donc, le tee ne sert à rien, fais donc tout dans le awk

[nanooby]

donc, le tee ne sert à rien, fais donc tout dans le awk

Le awk sert à décider si j'écris "test ok" ou "test ko" dans mon rapport des tests.
Le tee sert à garder sous la main (dans un autre fichier) les erreurs renvoyées par le diff pour savoir quand un test est ko, où son les erreurs.

[N_BaH]

TU PEUX TOUT FAIRE DANS awk !
y a quelqu'un à l'autre bout du tuyau ?

selon la condition, tu écris dans un fichier ou un autre, ou la sortie standard.