Discussion :

[Fabinounours]

Bonjour, (bonsoir plutôt)

je vous expose mon problème (enfin, ma demande plutôt).

J'ai un fichier au format csv, dans la première colonne, j'ai un timestamp.
Je veux remplacer ce timestamp par une date.

Mon problème est que mon fichier csv peut avoir une taille variable (quelques ko à plusieurs centaines de mégas).
J'ai besoin de faire cette opération de manière la plus rapide et optimisée possible.

J'ai réalisé ce script, j'aurais voulu savoir si il n'y avait pas un meilleur moyen de le faire.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
 
#!/bin/sh
 
chemincsv=`cat fichiercsv | awk 'BEGIN {FS = ";" }; {print $1}'`
chemincsv2=fichiercsv
 
for timestamp in $chemincsv
do
                result=`awk 'BEGIN{print strftime( "%d/%m/%Y %H:%M:%S", '$timestamp' )}'`
                sed -i "s#$timestamp#$result#" $chemincsv2
done

PS: j'ai mis des # car le / me posait des problèmes par rapport au contenu.

Merci pour vos réponses.

[Fabinounours]

En fait, j'ai plus ou moins trouvé la réponse :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

awk '{gsub($1,strftime("%c ",$1),$0); print $0} monfichiercsv

ou

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

awk ' { $1=strftime("%c",$1); print }' monfichiercsv

Seulement, ça me l'affiche seulement.
Je suis obligé de recréer un nouveau fichier ? Il n'est pas possible de faire la modification directement dans le fichier existant ?

[jmelyn]

Bonjour,

La dernière solution est proche. Cependant, je me demande comment ça peut marcher sans avoir donné le séparateur. Et ensuite il faut envoyer le tout vers un autre fichier:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

awk -F ',' '{$1=strftime("%c", $1); print}' file_in > file_out

[Fabinounours]

Ok.
Il n'existerait donc pas de solution avec awk qui fonctionnerait sur le même principe que le sed pour remplacer déjà mon fichier.

PS: pour les deux solutions que j'ai donnés (avec awk) elles sont fonctionnelles.

[ripat]

Il te suffit d'émuler ce que sed fait en interne avec l'option -i: créer une copie du fichier, travailler sur celle-ci et ensuite copie inverse. En plus, il te reste une sauvegarde en cas de bêtise (tout comme avec le suffixe de l'option i de sed).

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
cp fichier > fichier.bak
awk '.........' fichier.bak > fichier

[jmelyn]

Bonjour Fabinounours,

Si tu as décrit correctement le problème, les solutions que tu as exposées contiennent un, et même deux, gros bugs:

1. Sans définir correctement le séparateur de champ comme étant la virgule (format fichier csv), tu vas faire une bonne conversion mais faire un mauvais remplacement: le champ 1 ne s'arrêtant pas à la virgule mais au premier espace trouvé! S'il n'y a pas d'espace dans la ligne, c'est tout le reste qui disparaîtra.
2. Il faut également définir le séparateur de sortie. Je l'avais aussi oublié. Sinon la commande awk remplacera toutes les virgules par des espaces. Or, s'il y a déjà des espaces dans les champs, il sera impossible de revenir en arrière.

La commande qui marche est la suivante:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

awk -F ',' 'BEGIN {OFS=FS} {$1=strftime("%c", $1); print}' file_in > file_out

PS: Il est bon de créer un autre fichier pour le résultat, de vérifier à la main avant de remplacer le fichier source (nombre de lignes, nombre de champs, lecture...). Parce que perdre des fichiers de 100 MB, c'est pas cool.

[Fabinounours]

Ok, merci pour la réponse jmelyn
J'ai juste remplacé la virgule par un ; car mes champs contiennent des virgules

Merci beaucoup pour ces informations