Parcourir une arborescence puis traitement sur fichier

**linuxdeb** · 11/12/2013, 09h01

Bonjour,
je voudrais parcourrir une arborescence de répertoire et sous répertoire, et pour chacun des fichiers de l'arborescence je voudrais créer un lien symbolique sur ce fichier, dans un répertoire "lien", en le nommant de la manière suivante:
"Fichier_".(NombreAleatoire de 0 à1000000).(extension du fichier d'origine).

-sans dépacer/supprimer les fichiers d'origine.
-en mettant tous les liens créés dans un seul et même répertoire.
-(et si possible mais pas indispensable) en ayant le même nombre de digit pour le nombre aléatoire.

Exemple:

C:/arbo/rep1/rep11/toto.jpeg
C:/arbo/rep2/rep21/rep211/titi.Gif
C:/arbo/rep3/tata.txt

==> C:/lien/Fichier_138464.jpeg
==> C:/lien/Fichier_751482.Gif
==> C:/lien/Fichier_276415.txt

je suis débutant et en parcourant le forum j'ai trouvé des bouts de scripts et comandes: "find", "ln -s","basename (pour récupérer le nom du fichier)"
mais
-Comment récupérer l'extension du fichier?
-Comment générer et concaténer un nombre aléatoire?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
#!/bin/sh
for i in `find <chemin> -type f`
do
 target_dir=`lien`
 j=(NombreAleatoire de 0 à1000000) ????
 k=(extension du fichier d'origine) ????
 ln - s $i ./$target_dir/`Fichier_'. $j.$k
done
exit0

Merci d'avance de votre aide.
Cordialement,

**Postmortem** · 11/12/2013, 12h02

Salut,
Si tu n'es pas contre bash :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
#!/bin/bash
shopt -s globstar
for fic in **/*.*
do
   [[ ! -f $fic ]] && continue
   ext=${fic##*.}
   i=0
   while [[ -L lien/Fichier_.$nb.$ext || $i = 0 ]]
   do
      nb=$(printf '%07d' $(((RANDOM%1000)*(RANDOM%1000))))
      ((i++))
   done
   ln -s "$fic" "lien/Fichier_.$nb.$ext"
done

**N_BaH** · 11/12/2013, 12h54

Bonjour Postmortem, et bienvenue.

il est préférable de mettre systématiquement les variables entre quillemets (surtout dans les tests).

une option pour éviter la création d'un sous-shell :printf -v nb '%07d' $(((RANDOM%1000)*(RANDOM%1000))).

les doubles-crochets ne sont pas nécessaires ici : des crochets simples pour des tests simples.

trois fois rien, quoi

**Postmortem** · 11/12/2013, 14h40

Envoyé par N_BaH

Bonjour Postmortem, et bienvenue.

Merci ! Et merci pour tous tes messages car j'ai appris plein de trucs en les lisant (et ceux d'autres membres réguliers).

Envoyé par N_BaH

il est préférable de mettre systématiquement les variables entre quillemets (surtout dans les tests).

une option pour éviter la création d'un sous-shell :printf -v nb '%07d' $(((RANDOM%1000)*(RANDOM%1000))).

les doubles-crochets ne sont pas nécessaires ici : des crochets simples pour des tests simples.

trois fois rien, quoi

J'avais jamais fait gaffe que printf acceptait l'option -v, je le note, merci !

Pour les tests, je les fais systématiquement entre [[ ]] (sauf dans certains cas), question d'habitude... Et du coup, les guillemets ne sont pas nécessaires, même si la valeur de la variable contient une espace (pas de découpage en mots après les expansions quand on est entre [[ ]] il me semble). Après, mieux vaut en mettre trop que pas assez !

**linuxdeb** · 12/12/2013, 23h46

Bonjour et merci bcp pour votre réponse et votre aide!
et désolé si mes questions sont basiques, je suis gros débutant!

@postmortem: merci pour le bout de script qui est très clair.

je voudrais le faire tourner sur mon NAS (dlink325) avec un linux 2.6.22.18 installé.
J'ai l'impression que les comandes shopt, globstar?, RANDOM ne sont pas reconnues.
Est-ce possible?
Ai-je une version de bash trop ancienne?
dois-je/puis-je la mettre à jour? comment?
le cas échéanr puis-je faire l'équivalent en sh?

merci, a+

**N_BaH** · 13/12/2013, 00h41

si shopt n'est pas reconnu, alors soit bash n'est pas installé, soit sh n'est pas un lien vers bash.

pour générer des nombres aléatoires :
existe-t-il un fichier /dev/urandom ?
awk est-il disponible ?

**linuxdeb** · 13/12/2013, 09h33

Bonjour,
Contrairement à ce que j'ai dit:
Quand je regarde les shells installés (cat /etc/sells): il m'indique que les suivants sont installés:

-/ffp/bin/Bash (3.2.33)
-/ffp/bin/sh
-/bin/Bash (mais je ne les trouve pas dans le répertoire /bin)
-/bin/Bash2 (mais je ne les trouve pas dans le répertoire /bin)
-/bin/sh (mais je ne les trouve pas dans le répertoire /bin)

En bash (je tape bash dans l'invite),
Quand je tape la commande "shopt": il la connait bien, et me liste un certain nombre d'info.
Quand je tape la commande "random": il répond "command not found", à moins qu'elle ne peut-être appelée que dans les scripts ! ?

-le fichier /dev/urandom existe de même que /dev/random.
-awk (3.1.6) est dispo

Par défaut mon shell est sh: comment mettre bash par défaut de manière permanente ?
Je pense que c'est globstar qui n'est pas connu. Dois-je l'ajouter pour parcourir l'arbo et récupérer l'extension des fichiers comme indiqué par postmortem ? Comment l'ajouter (si besoin) ? Ou y a-t-il un autre moyen de le faire sans globstar ?
Merci pour ton aide, c'est super sympa !.

**jlliagre** · 13/12/2013, 10h54

Voici une façon portable de le faire, c'est à dire ne s'appuyant pas sur des spécificités de bash ou autre:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
src=arbo   # répertoire où chercher les fichiers
dest=liens # répertoire où créer les liens
 
PATH=$(getconf PATH):$PATH
[ ! -d "$dest" ] && { mkdir "$dest" || exit 1 ; }
find "$src" -type f -exec sh -c '
ext=${0##*.}
[ "$ext" = "$0" ] && ext="none"
while true; do
        target='"$dest"'/$(printf "%04d%04d\n" $((RANDOM%1000)) $((RANDOM%1000)) ).$ext
        [ -L "$target" ] && continue
        ln -s "$0" "$target" && break
done' {} \;

**disedorgue** · 13/12/2013, 10h55

Bonjour,

Juste sur le point du random, en bash, il s'agit d'une variable $RANDOM
qui permet d'avoir un nombre alétoire a chaque consultation de celle-ci:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
$ echo $RANDOM
4404
$ echo $RANDOM
8686
$ echo $RANDOM
13894
$ echo $RANDOM
24656
$ echo $RANDOM
16770
$ echo $RANDOM
26162

**Postmortem** · 13/12/2013, 11h09

Salut,
Si je peux me permettre une petite question, que fait cette ligne ?

Envoyé par jlliagre

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
PATH=$(getconf PATH):$PATH

J'ai consulté le man mais je pige pas trop ce getconf... Et il n'est pas dispo sur cygwin, du coup je ne peux essayer.

**N_BaH** · 13/12/2013, 11h19

Voici une façon portable de le faire

printf n'est pas POSIX.
RANDOM non plus.

**jlliagre** · 13/12/2013, 12h28

Envoyé par Postmortem

Salut,
Si je peux me permettre une petite question, que fait cette ligne ?

Elle permet d'avoir un PATH qui met en premier les commandes conformes au standard POSIX.

J'ai consulté le man mais je pige pas trop ce getconf... Et il n'est pas dispo sur cygwin, du coup je ne peux essayer.

J'ai envisagé que la commande ne soit pas disponible en ajoutant le PATH original à la fin, ça ne devrais pas impacter tes tests donc.

**jlliagre** · 13/12/2013, 12h37

Envoyé par N_BaH

printf n'est pas POSIX.

Il n'y a pas plus POSIX que printf. Le standard recommande d'ailleurs d'utiliser printf plutôt que la commande echo qui n'a pas un comportement prévisible.

RANDOM non plus.

C'est vrai, POSIX n'a pas retenu RANDOM pour ses specs mais je demande à voir un shell (bourne) qui ne l'implémente pas.

**Postmortem** · 13/12/2013, 12h48

Envoyé par jlliagre

Elle permet d'avoir un PATH qui met en premier les commandes conformes au standard POSIX.

J'ai envisagé que la commande ne soit pas disponible en ajoutant le PATH original à la fin, ça ne devrais pas impacter tes tests donc.

Merci pour l'info.
En fait, je voulais surtout tester ce que renvoyait getconf. Je regarderai plus tard chez moi.

**jlliagre** · 13/12/2013, 12h57

Envoyé par Postmortem

je voulais surtout tester ce que renvoyait getconf. Je regarderai plus tard chez moi.

En fait, getconf est disponible avec cygwin depuis la version 1.7.10 (février 2012) http://cygwin.com/ml/cygwin-announce.../msg00008.html

**N_BaH** · 13/12/2013, 13h14

Il n'y a pas plus POSIX que printf.

je demande à voir un shell (bourne) qui ne l'implémente pas

dash n'a pas RANDOM;
sh, dans freeBSD, non plus

**jlliagre** · 13/12/2013, 14h15

J'avais dit "un" shell, pas "deux"

Bon RANDOM étant moins universel que je le pensais, voici une version plus portable ...

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
src=arbo
dest=liens
 
[ "$(getconf PATH)" ] && PATH=$(getconf PATH)
[ ! -d "$dest" ] && { mkdir "$dest" || exit 1 ; }
 
find "$src" -type f -exec sh -c '
random() {
  awk -v rnd=$2 -v max=$1 "BEGIN {srand(rnd); rand(); printf(\"%d\",int(rand()*max)) }"
}
for i do
  ext=${i##*.}
  [ "$ext" = "$i" ] && ext="none"
  while true; do
    rnd=$(random 1000000 $rnd)
    target='"$dest"'/$(printf "%06d\n" $rnd).$ext
    [ -L "$target" ] && continue
    (set -x;ln -s "$i" "$target") && break
  done
done ' sh {} +

**Postmortem** · 13/12/2013, 14h56

Envoyé par jlliagre

J'avais dit "un" shell, pas "deux"

Bon RANDOM étant moins universel que je le pensais, voici une version plus portable ...

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
src=arbo
dest=liens
 
[ "$(getconf PATH)" ] && PATH=$(getconf PATH)
[ ! -d "$dest" ] && { mkdir "$dest" || exit 1 ; }
 
find "$src" -type f -exec sh -c '
random() {
  awk -v rnd=$2 -v max=$1 "BEGIN {srand(rnd); rand(); printf(\"%d\",int(rand()*max)) }"
}
for i do
  ext=${i##*.}
  [ "$ext" = "$i" ] && ext="none"
  while true; do
    rnd=$(random 1000000 $rnd)
    target='"$dest"'/$(printf "%06d\n" $rnd).$ext
    [ -L "$target" ] && continue
    (set -x;ln -s "$i" "$target") && break
  done
done ' {} +