Discussion :

[Lollinette]

Bonjour!
Cela fait un moment que je cherche, sur le forum, dans les faqs et sur d'autres sites, et c'est bredouille que je poste ce nouveau sujet...qui doit avoir une réponse toute simple, mais qui reste introuvable!

Voilà mon problème:
- après avoir constituer un corpus de plusieurs milliers de fichiers.txt, avant de lancer des traitements de nettoyage (script déjà prêt), je souhaiterais supprimer les lignes doublons à l'intérieurs de ces fichiers.
Précisions: je veux faire ça pour supprimer les lignes redondante dûes au formatage de PDF en texte brut (du genre le titre en haut de chaque page, etc...)
Précision 2 : je suis sous Windows XP et pas de machine sous Linux dans les parages

J'ai trouvé ici un uniligne de toute beauté que voici:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

perl -ne "print if ! $lignes{$_}++" mon_fichier.txt > nouveau_fichier.txt

En faisant:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

perl -i -ne "print if ! $lignes{$_}++" mon_fichier.txt

j'écris directement dans le fichier traité...

Or, moi, j'ai 3000 textes à traiter, et :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

perl -i -ne "print if ! $lignes{$_}++" *.txt

ne semble pas marcher sous Windows.
Ma question est donc très simple:
Comment faire pour lancer un one-liner sur un ensemble de fichiers, ou à défaut un répértoire, sous windows??

Merci!!

[Dimitry.e]

Je connais ça (affiche tous les noms des fichiers *.pl du répertoire courant) :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

perl -e "print $_ for <*.pl>"

[Lollinette]

Oui, effectivement, la commande que tu m'as donnée fonctionne, merci!
Mais je n'arrive pas du tout à l'intégrer dans l'uniligne que je veux faire tourner...
J'ai essayé :

perl -i -ne "print if ! $lignes{$_}++ for <*.txt>"

perl -i -ne "print for <*.txt> if ! $lignes{$_}++"

...je vais me faire un script qui supprime les doublons, mais en attendant, ça me ferait vraiment plaisir de savoir, car franchement, qu'est ce qu'un petit unligne face à un gros hash??!