Discussion :

[emmachane]

Bonjour,

J'ai un fichier et je souhaite l'éclater en sous fichiers.

Exemple
AAAAAA MOTIF1 AZERTYUIOPAZERTYUIOP
BBBBBB MOTIF2 AZERTYUIOPAZERTYUIOPPAOPO
CCCCC MOTIF3 AZERTYUIOPAZERTYUIOPPPPPP
DDDDD MOTIF1 AZERTYUIOPAZERTYUIOPAZEPROT
EEEEEE MOTIF1 AZERTYUIOPAZERTYUIOP
....

Je souhaite ventiler ce fichier en trois sous-fichiers :

Le 1er contiendra que les enregistrements correspondants à MOTIF1
Le 2ème contiendra que les enregistrements correspondants à MOTIF2
Le 3ème contiendra que les enregistrements correspondants à MOTIF3

Au même temps que je ventile, je souhaite ne lire le fichier d'origine d'une seule fois. La raison est simple, il est assez volumineux.

Avez-vous une idée.

Merci d'avance pour votre aide.

[frp31]

la solution simple sans controles d'erreurs et se basant uniquement sur la position du motif recherché :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
 
$ cat t | while read ligne                     
> do
> echo $ligne >> $(echo $ligne | awk '{print $2}')
> done
$ ls -lrth | tail -5
drwx------  2 francois  wheel   512B Sep  6 18:10 orbit-francois
-rw-r--r--  1 francois  wheel   190B Sep  6 18:23 t
-rw-r--r--  1 francois  wheel    40B Sep  6 18:30 MOTIF2
-rw-r--r--  1 francois  wheel    39B Sep  6 18:30 MOTIF3
-rw-r--r--  1 francois  wheel   111B Sep  6 18:30 MOTIF1
$ cat MOTIF1
AAAAAA MOTIF1 AZERTYUIOPAZERTYUIOP
DDDDD MOTIF1 AZERTYUIOPAZERTYUIOPAZEPROT
EEEEEE MOTIF1 AZERTYUIOPAZERTYUIOP
$ cat MOTIF2
BBBBBB MOTIF2 AZERTYUIOPAZERTYUIOPPAOPO
$ cat MOTIF3
CCCCC MOTIF3 AZERTYUIOPAZERTYUIOPPPPPP

par contre méfiance ... si tu as 47383 motifs distincts tu auras aussi 47384 fichiers (en comptant le fichier lu)
dans certaines situations ça peut être emmerdant.

[emmachane]

Merci pour la réponse.

J'ai fait un test sur un fichier de 2 millions d'enregistrements et le temps est extrêmement lent. C'est la raison pour laquelle je relance ma demande.

Est-ce qu'il y a une autre méthode qui me permettra de répondre à mon besoin et dans le même temps, d'optimiser mon temps de traitement ?

Merci d'avance pour votre aide.

[N_BaH]

plouf plouf

awk, perl, python... C !?

sur des gros fichiers, bien sûr, bash n'est pas le plus rapide langage !

[emmachane]

L'idéal, ça serait en awk

[N_BaH]

OK !
à quel nom je mets la facture ? ton employeur...?

meuh, non ! j'rigole

+ sérieusement, au vu de tes besoins récurrents, apprend donc un langage plus approprié que le shell (cf. supra.)
on (sinon moi) sera toujours là pour t'aider !

[emmachane]

Tu as raison !