Rechercher et remplacer une chaine à un endroit précis dans un fichier

**david2109** · 30/07/2013, 16h06

Bonjour,

J'ai un fichier

3551|2013|30003|04513||PRNIV FR CE DOM FR|15/07/2013|5|25/07/2013|
3552|2013|BES01|GES01||PRNIV FR CE DOM ES|15/07/2013|5|25/07/2013|
3554|2013|BGB01|GGB01||PRNIV FR CE DOM GB|15/07/2013|5|25/07/2013|
3555|2014|BNL01|GNL01||PRNIV FR CE DOM NL|15/07/2013|5|25/07/2013|
3556|2014|BCH01|GCH01||PRNIV FR CE DOM CH|15/07/2013|5|25/07/2013|
3557|2014|BDE01|GDE01||PRNIV FR CE DOM DE|15/07/2013|5|29/07/2013|

Dans ce ficher j'ai besoin de remplacer la chaine 2013 par la chaine 3532

J'ai donc le script simple suivant

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
PRNI_SOURCE=2013
PRNI_CIBLE=3532
 
cat $fullFileDataSourceTBPRNI | sed "s/${PRNI_SOURCE}|/${PRNI_CIBLE}|/g" > $fullFileDataCibleTBPRNI

L'inconvénient, c'est que ce script remplace tous les 2013, y compris les dates.

Je cherche le moyen de remplacer les 2013 se trouvant uniquement entre le 1er et le 2eme | (en gras dans le fichier).

**al1_24** · 30/07/2013, 17h43

Quelque chose comme ça :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed -e "s/^([0-9]*|)${PRNI_SOURCE}|/\1${PRNI_CIBLE}|/g"

(à vérifier... je n'ai pas les moyens de tester)

**david2109** · 30/07/2013, 17h58

Bonjour,

Certes avec mon premier exemple, utiliser des expressions régulières est de bon sens...sauf qu'en pratique, l'emplacement de la chaine que je souhaite remplacer varie beaucoup.

Voici un autre exemple

2|4|EUR|30003|04513|2|1|4|1|FR|300030451300220018053|52|CPT JDJ FR CE PD FR|
3|3|EUR|30003|04513|2||2|1|FR|300030451300250018038|92|CPT JDJ FR CE CC FR|
5|4|EUR|BES01|GES01|3|1|4|1|ES|ES4601080030290030059285||CPT JDJ FR CE PD ES|
6|6||BES|GExxS01|3||5|1|ES|ES3001080030210030547196||CPT JDJ FR CE CC ES|
7|7|EUR|BIT01|GIT01|4|1|4|1|IT|IT13E03593016000116458093EU||CPT JDJ FR CE PD IT|
8|8||BIT|GITx|4||7|1|IT|IT57O03593016000118606019EU||CPT JDJ FR CE CC IT|
9|9|EUR|BGB01|GGB01|5|1|4|1|GB|GB20SOGE23639121000111||CPT JDJ FR CE PD GB|
10|10|EUR|BGB01|GGB01|5||9|1|GB|GB73SOGE23639111001949||CPT J|

Dans cet exemple, je souhaite remplacer le 4 entre les 5eme et 6eme | par 7.

Une expression régulière serait difficile à gérer

La seule chose que je connais avec précision, c'est l'emplacement de la donner à modifier (en comptant le nombre de séparateurs)

**al1_24** · 30/07/2013, 18h05

Remplacer le 6ème élément :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed -e "s/^(.*|.*|.*|.*|.*|)${PRNI_SOURCE}|/\1${PRNI_CIBLE}|/g"

**jlliagre** · 30/07/2013, 18h09

Il manque à priori deux "\" dans la version sed:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed -e "s/^\([0-9]*|\)${PRNI_SOURCE}|/\1${PRNI_CIBLE}|/g"

sinon, une autre méthode avec awk:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

awk -F'|' 'BEGIN {OFS="|"} $2=='$PRNI_SOURCE' {$2='$PRNI_CIBLE'}1'

**david2109** · 31/07/2013, 09h45

Bonjour

La solution avec AWK est tout à fait adaptée à mon besoin.

La solution avec SED et des expressions réguilières fonctionne aussi mais dans mon cas ce sera plus difficile à gérer. Si, ici, ce sont des exemples simples, je sais qu'ensuite, il me faudra manipuler de gros fichiers avec de nombreuses colonnes (les fichiers sont des exports de tables)

Cela donne donc

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
 
 
PRNI_SOURCE=2013
PRNI_CIBLE=3532
 
cat $fullFileDataSourceTBPRNI | awk -F'|' 'BEGIN {OFS="|"} $2=='$PRNI_SOURCE' {$2='$PRNI_CIBLE'}1' > $fullFileDataCibleTBPRNI

Par contre, pour AWK, j'ai du mal à trouver dans la doc la signification du == et du 1 final (par contre, si on les enlève ca ne marche plus

)

une explication pour ma culture ?

En tous cas, MERCI beaucoup

**jlliagre** · 31/07/2013, 10h48

Envoyé par david2109

Cela donne donc

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
 
 
PRNI_SOURCE=2013
PRNI_CIBLE=3532
 
cat $fullFileDataSourceTBPRNI | awk -F'|' 'BEGIN {OFS="|"} $2=='$PRNI_SOURCE' {$2='$PRNI_CIBLE'}1' > $fullFileDataCibleTBPRNI

Par contre, pour AWK, j'ai du mal à trouver dans la doc la signification du == et du 1 final (par contre, si on les enlève ca ne marche plus

)

une explication pour ma culture ?

"==" est un test d'égalité contrairement à "=" qui correspond à une affectation.

Le 1 final n'est pas très élégant, c'est juste une astuce pour indiquer à awk un cas toujours vrai suivi d'une clause implicite d'affichage de la ligne.

C'est l'équivalent exact de

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

{print}

.

**david2109** · 31/07/2013, 11h12

merci pour les explications !

**david2109** · 12/08/2013, 09h52

Bonjour,

Je reviens vers vous car j'ai un comportement étrange.

En utilisant la commande AWK, j'ai donc entrepris de remplacer certaines données à certains endroits.

Cela fonctionne plutot bien mais actuellement je rencontre un souci lorsque la variable à remplacer contient des caractéres alphabétiques : ils ne sont pas remplacés !

Un test vaut mieux qu'un long discours.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
 
    echo "-------------------"
    echo " TEST 1 ==> OK"
    ID1PDSEG_CIBLE="99999"
    cat ${fullFileDataSourceTBGROUP}
 
    cat ${fullFileDataSourceTBGROUP} | $AWK -F'|' 'BEGIN {OFS="|"} $15=='$ID1PDSEG_SOURCE' {$15='$ID1PDSEG_CIBLE'}1' > $fullFileDataCibleTBGROUP
 
    echo "Sortie ==>"
    cat $fullFileDataCibleTBGROUP
 
    echo "-------------------"
    echo " TEST 2 ==> KO"
    ID1PDSEG_CIBLE="zzzz"
    cat ${fullFileDataSourceTBGROUP}
 
    cat ${fullFileDataSourceTBGROUP} | $AWK -F'|' 'BEGIN {OFS="|"} $15=='$ID1PDSEG_SOURCE' {$15='$ID1PDSEG_CIBLE'}1' > $fullFileDataCibleTBGROUP
 
    echo "Sortie ==>"
    cat $fullFileDataCibleTBGROUP
 
    echo "-------------------"
    echo " TEST 3 ==> KO"
    ID1PDSEG_CIBLE="7777XXXX"
    cat ${fullFileDataSourceTBGROUP}
 
    cat ${fullFileDataSourceTBGROUP} | $AWK -F'|' 'BEGIN {OFS="|"} $15=='$ID1PDSEG_SOURCE' {$15='$ID1PDSEG_CIBLE'}1' > $fullFileDataCibleTBGROUP
 
    echo "Sortie ==>"
    cat $fullFileDataCibleTBGROUP

renvoie

-------------------
TEST 1 ==> OK
2702|DI|30003|04513|JDJ FR CE|JDJ FRANCE CASHEUROPE|15/07/2013 10:58:35|5|06/08/2013 15:28:37|5|MR JDJ FRANCE CASHEUROPE|060606060606|0101010101||0450000002030004139||045000002000000123||SC|O|O|JO|||||0|||
Sortie ==>
2702|DI|30003|04513|JDJ FR CE|JDJ FRANCE CASHEUROPE|15/07/2013 10:58:35|5|06/08/2013 15:28:37|5|MR JDJ FRANCE CASHEUROPE|060606060606|0101010101||99999||045000002000000123||SC|O|O|JO|||||0|||
-------------------
TEST 2 ==> KO ==> Colonne vide
2702|DI|30003|04513|JDJ FR CE|JDJ FRANCE CASHEUROPE|15/07/2013 10:58:35|5|06/08/2013 15:28:37|5|MR JDJ FRANCE CASHEUROPE|060606060606|0101010101||0450000002030004139||045000002000000123||SC|O|O|JO|||||0|||
Sortie ==>
2702|DI|30003|04513|JDJ FR CE|JDJ FRANCE CASHEUROPE|15/07/2013 10:58:35|5|06/08/2013 15:28:37|5|MR JDJ FRANCE CASHEUROPE|060606060606|0101010101||||045000002000000123||SC|O|O|JO|||||0|||
-------------------
TEST 3 ==> KO
2702|DI|30003|04513|JDJ FR CE|JDJ FRANCE CASHEUROPE|15/07/2013 10:58:35|5|06/08/2013 15:28:37|5|MR JDJ FRANCE CASHEUROPE|060606060606|0101010101||0450000002030004139||045000002000000123||SC|O|O|JO|||||0|||
Sortie ==>
2702|DI|30003|04513|JDJ FR CE|JDJ FRANCE CASHEUROPE|15/07/2013 10:58:35|5|06/08/2013 15:28:37|5|MR JDJ FRANCE CASHEUROPE|060606060606|0101010101||7777||045000002000000123||SC|O|O|JO|||||0|||

Et pire, si dans le fichier source, la colonne 15 à remplacer contient des lettres, là, plus rien ne marche.

-------------------
TEST 4 ==> Entrée avec des chiffres, pas de remplacement
2702|DI|30003|04513|JDJ FR CE|JDJ FRANCE CASHEUROPE|15/07/2013 10:58:35|5|06/08/2013 15:28:37|5|MR JDJ FRANCE CASHEUROPE|060606060606|0101010101||045XXX0002030004139||045000002000000123||SC|O|O|JO|||||0|||
Sortie ==>
2702|DI|30003|04513|JDJ FR CE|JDJ FRANCE CASHEUROPE|15/07/2013 10:58:35|5|06/08/2013 15:28:37|5|MR JDJ FRANCE CASHEUROPE|060606060606|0101010101||045XXX0002030004139||045000002000000123||SC|O|O|JO|||||0|||

Une idée ?
Cela me ferait suer de devoir abandonner cette commande tres pratique ou de faire du spécifique juste pour une colonne !

**jlliagre** · 13/08/2013, 00h44

Ce n'est pas un comportement étrange mais le fonctionnement normal d'awk.

Si les chaines utilisées ne sont pas numériques ils faut les mettre entre double quotes, sinon awk considère qu'il s'agit de noms de variables mais comme elles ne sont pas initialisées, on se retrouve avec des chaines vides.

Voici une méthode:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

awk -F'|' 'BEGIN {OFS="|"} $2=="'$PRNI_SOURCE'" {$2="'$PRNI_CIBLE'"}1'

ou mieux, en utilisant de vraies variables awk:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

awk -F'|' -v prni_source="$PRNI_SOURCE" -v prni_cible="$PRNI_CIBLE" 'BEGIN {OFS="|"} $2==prni_source {$2=prni_cible}1'

**david2109** · 13/08/2013, 09h15

Bonjour,

Merci, cela fonctionne (en utilisant de vraies variables awk)

**david2109** · 23/08/2013, 18h56

Bonsoir,

Toujours avec la meme commandes AWK, un comportement que je ne m'explique pas là non plus.

Un fichier en entrée

2|2|EUR|30003|02500|2|1|1|1|FR|300030250000067001068|87|
3|3|EUR|30003|02500|2||2|1|FR|300030250000067001050|44|
5|5|EUR|BES01|GES01|3||4|1|ES|ES3020130809200030050006||
4|4|EUR|BES01|GES01|3|1|1|1|FR|ES8420130809200030050004||
1|1|EUR|30003|02500|1||||FR|300030250000067001076|63|

la commande AWK suivante

avec les valeurs suivantes

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
 
 
IDCP_SOURCE=1
NUCP_SOURCE=300030250000067001076
IDCP_CIBLE=11
NUCP_CIBLE=315931
 
 
cat ${fullFileDataSourceTBCP} | $AWK -F'|' -v idcp_source="$IDCP_SOURCE" -v idcp_cible="$IDCP_CIBLE" \
                                           'BEGIN {OFS="|"} \
                                            $1==idcp_source {$1=idcp_cible}1 \
                                           ' \
                              | $AWK -F'|'  -v nucp_source="$NUCP_SOURCE" -v nucp_cible="$NUCP_CIBLE" \
                                           'BEGIN {OFS="|"} \
                                            $11==nucp_source {$11=nucp_cible}1 \
                              ' > $fullFileDataCibleTBCP

donne en sortie le résultat suivant :

2|12|EUR|30003|02500|8|7|1|3|FR|315931|87|
3|13|EUR|30003|02500|8||2|3|FR|315931|44|
5|15|EUR|BES01|GES01|9||4|3|ES|ES3020130809200030050006||
4|14|EUR|BES01|GES01|9|7|1|3|FR|ES8420130809200030050004||
11|11|EUR|30003|02500|7||||FR|315931|63|

Alors que dans le fichier en entrée, la donnée 300030250000067001076
n'apparait qu'une fois, j'ai trois remplacement en sortie.
Par contre, pour le IDCP_SOURCE = 1 est correctement remplacé par IDCP_CIBLE=11.

Que faut-il faire pour que seule la chaine 300030250000067001076 soit remplacée correctement, c'est -à-dire une fois et rien qu'une

?

Question subsidiaire : Pourquoi rien ne fonctionne si ma commande AWK est écrite ainsi (aucun message d'erreur):

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
 
 
 
            cat ${fullFileDataSourceTBCP} | $AWK -F'|' -v idcp_source="$IDCP_SOURCE" -v idcp_cible="$IDCP_CIBLE" \
                                                       -v nucp_source="$NUCP_SOURCE" -v nucp_cible="$NUCP_CIBLE" \
                                                       'BEGIN {OFS="|"} \
                                                        $1==idcp_source {$1=idcp_cible}1 \
                                                        $11==nucp_source {$11=nucp_cible}1 \
                                                      ' > $fullFileDataCibleTBCP

**N_BaH** · 23/08/2013, 19h18

Bonjour,

il faut que les deux conditions soient vraies ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
awk -v idcp_source="$IDCP_SOURCE" \
-v idcp_cible="$IDCP_CIBLE" \
-v nucp_source="$NUCP_SOURCE" \
-v nucp_cible="$NUCP_CIBLE" \
'BEGIN{FS=OFS="|"} { if($1==idcp_source && $11==nucp_source){$1=idcp_cible; $11=nucp_cible} }1' fichier

uuoc!

**david2109** · 23/08/2013, 22h05

Non, jE cherche juste a replacer dans le fichier source

D une part, le IDCP_SOURCE en colonne 1 par IDCP_CIBLE (ca marche)
Et, d autre part, NUCP_SOURCE en colonne 11 par NUCP_CIBLE (ne marche pas)

et, malheureusement, pour NUCP_SOURCE, le remplacement se fait mal
Peut-etre un pb d expressions régulières?

**N_BaH** · 23/08/2013, 23h16

argh! ça me rappelle quelque chose, mais ça ne me revient pas

un contournement ? :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
awk -v idcp_source="^$IDCP_SOURCE$" \
-v idcp_cible="$IDCP_CIBLE" \
-v nucp_source="^$NUCP_SOURCE$" \
-v nucp_cible="$NUCP_CIBLE" \
'BEGIN {FS=OFS="|"} {if($1 ~ idcp_source)$1=idcp_cible; if($11 ~ nucp_source)$11=nucp_cible}1' fichier

**jlliagre** · 24/08/2013, 00h02

Envoyé par david2109

Que faut-il faire pour que seule la chaine 300030250000067001076 soit remplacée correctement, c'est -à-dire une fois et rien qu'une

?

remplacer la ligne 15:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

$11==nucp_source {$11=nucp_cible}1 \

par

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

""$11==nucp_source {$11=nucp_cible}1 \

Le problème vient des valeurs qui sont numériques mais trop grandes et trop proches. Lors de la comparaison, awk les convertit en nombres flottants en double précision qui se trouvent être identiques (3.0003025e+20).
L'ajout d'une chaine vide au début de la ligne force awk à traiter les valeurs comme des chaines de caractère et dans ce cas, elles sont bien différentes.

Question subsidiaire : Pourquoi rien ne fonctionne si ma commande AWK est écrite ainsi (aucun message d'erreur):

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
cat ${fullFileDataSourceTBCP} | $AWK -F'|' -v idcp_source="$IDCP_SOURCE" -v idcp_cible="$IDCP_CIBLE" \
                                                       -v nucp_source="$NUCP_SOURCE" -v nucp_cible="$NUCP_CIBLE" \
                                                       'BEGIN {OFS="|"} \
                                                        $1==idcp_source {$1=idcp_cible}1 \
                                                        $11==nucp_source {$11=nucp_cible}1 \
                                                      ' > $fullFileDataCibleTBCP

Parce que le code est incorrect.

Le bloc de commande awk doit être:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
 'BEGIN {OFS="|"}
  $1==idcp_source {$1=idcp_cible}
  ""$11==nucp_source {$11=nucp_cible}
  1' > ...

**david2109** · 26/08/2013, 10h43

Bonjour,

Alors la solution de "contournement" fonctionne !! MERCI !

voici le code

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
            echo "ENTREE :"
 
            IDCP_SOURCE=1
            NUCP_SOURCE=300030250000067001076
            IDCP_CIBLE=11
            NUCP_CIBLE=315931
 
            echo "IDCP_SOURCE "$IDCP_SOURCE" et NUCP_SOURCE "$NUCP_SOURCE" VERS IDCP_CIBLE "$IDCP_CIBLE "et NUCP_CIBLE "$NUCP_CIBLE
            echo ""
            cat $fullFileDataSourceTBCP".test"
 
 
 
            cat ${fullFileDataSourceTBCP}".test" | $AWK -F'|' -v idcp_source="$IDCP_SOURCE" -v idcp_cible="$IDCP_CIBLE" \
                                                       -v nucp_source="$NUCP_SOURCE" -v nucp_cible="$NUCP_CIBLE" \
                                                       'BEGIN {OFS="|"} { \
                                                        if ($1 ~ idcp_source) $1=idcp_cible; \
                                                        if ($11 ~ nucp_source)$11=nucp_cible; \
                                                       }1' > $fullFileDataCibleTBCP".test"
 
 
            echo ""
            echo "SORTIE ! "
            cat $fullFileDataCibleTBCP".test"
            exit

et voici le résultat

ENTREE :
IDCP_SOURCE 1 et NUCP_SOURCE 300030250000067001076 VERS IDCP_CIBLE 11 et NUCP_CIBLE 315931

2|2|EUR|30003|02500|2|1|1|1|FR|300030250000067001068|87|
3|3|EUR|30003|02500|2||2|1|FR|300030250000067001050|44|
5|5|EUR|BES01|GES01|3||4|1|ES|ES3020130809200030050006||
4|4|EUR|BES01|GES01|3|1|1|1|FR|ES8420130809200030050004||
1|1|EUR|30003|02500|1||||FR|300030250000067001076|63|

SORTIE !
2|2|EUR|30003|02500|2|1|1|1|FR|300030250000067001068|87|
3|3|EUR|30003|02500|2||2|1|FR|300030250000067001050|44|
5|5|EUR|BES01|GES01|3||4|1|ES|ES3020130809200030050006||
4|4|EUR|BES01|GES01|3|1|1|1|FR|ES8420130809200030050004||
11|1|EUR|30003|02500|1||||FR|315931|63|

L'auutre solution (forçage en alphanumérique ne marche pas. Je ne vois pas pourquoi. Toujours est-il qyue j'ai toujours les deux remplacements indésirables. D'où cela peut-il venir ?

(Par contre, merci pour la réponse à la question subsidiaire) !

**jlliagre** · 26/08/2013, 22h35

Envoyé par david2109

L'auutre solution (forçage en alphanumérique ne marche pas. Je ne vois pas pourquoi. Toujours est-il qyue j'ai toujours les deux remplacements indésirables. D'où cela peut-il venir ?

Il faudrait nous donner le script complet testé, la version et le type d'OS et la version d'awk utilisée.

Rechercher et remplacer une chaine à un endroit précis dans un fichier

Shell et commandes POSIX

Discussions similaires

Partager

Partager