Discussion :

[Aymeric41]

Bonjour à tous,

Je souhaite faire un contrôle de contenu d'un fichier en batch afin de traiter ce fichier via mon ETL.
Je préfère passer par un petit batch avant de lancer mon traitement pour supprimer les lignes en erreurs.

Mon fichier se trouve sous la forme suivante :
"1111";"VELO";"TOTO";"PARIS-MARSEILLE"
"2222";"AUTO";"TUTU";"PARIS-LYON"
"3333";"MOTO";"TATA";"PARIS-"NANTES"

Dans mon ETL, j'ai définit un délimiteur de champ qui est ';' et un délimiteur de texte qui est ' " '
Dans mon exemple ci-dessus, il y a une erreur dans la dernière ligne (" en trop).

Je voudrai donc extraire et supprimer la ligne en erreur qui contient un " en trop.

Est-il possible de faire ça en batch ou autre ?
Si oui, comment faire ?

Merci d'avance pour votre aide.

[I'm_HERE]

Salut,

si la structure de ton CSV est la même à savoir le test se fait sur le dernier champs alors tu peux essayer ceci:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

findstr -vi ";[\"][A-Z0-9\-]*[\"][A-Z0-9\-]*[\"]$"  .\file.csv

sinon tu peux déplacer le point-virgule ";" en fin de l'expression pour matcher le pattern au debut de la ligne

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

"^[\"][A-Z0-9\-]*[\"][A-Z0-9\-]*[\"];"

ou bien borner l'expression par deux points-virgules ";"

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

";[\"][A-Z0-9\-]*[\"][A-Z0-9\-]*[\"];"

pour matcher tous les champs en milieu de la ligne

[Aymeric41]

Salut,

si la structure de ton CSV est la même à savoir le test se fait sur le dernier champs alors tu peux essayer ceci:

Justement non...
L'erreur peut se trouver sur n'importe quel champs

[I'm_HERE]

Justement non...
L'erreur peut se trouver sur n'importe quel champs

d'accord, dans ce cas tu pourra utiliser les 3 regex's ensemble, une chose du genre:

untested.bat

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
 >_0 findstr /vi ";[\"][A-Z0-9\-]*[\"][A-Z0-9\-]*[\"]$" .\file.csv   
 >_1 findstr /vi "^[\"][A-Z0-9\-]*[\"][A-Z0-9\-]*[\"];" _0
     findstr /vi ";[\"][A-Z0-9\-]*[\"][A-Z0-9\-]*[\"];" _1 
 del _?

es-ce que ton fichier contient toujours 4 champs ?

[Aymeric41]

Non, mon fichier comporte une vingtaine de champs et il peut y avoir 2 erreurs par ligne.

[I'm_HERE]

Non, mon fichier comporte une vingtaine de champs et il peut y avoir 2 erreurs par ligne.

salut,

essaye ceci, pas bien tester:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
@echo off

set "delim=abcdefghijklmnopqrstuvwxyz"
set "delim=%delim%ABCDEFGHIJKLMNOPQRSTUVWXYZ"
set "delim=%delim%0123456789-"

for /f "delims=" %%a in (fichier.csv) do ((set ts=)
  for %%b in (%%a) do for /f "delims=%delim%" %%i in (%%b) do (
    if ^%%i==^" set ts=1)
    if not defined ts echo(%%a
)

pause

source

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
"1111";"VELO";"TOTO";"PARIS-MARSEILLE"
"2222";"AUTO";"TUTU";"PARIS-LYON"
"3333";"MOTO";"TATA";"PARIS-"NANTES"
"4444";"AAAA";"TITI";"PARIS-BORDEAU"
"5555";"U"UU";"TETE";"PARIS-"NICE"
"6666";"NNNN";"JIJI";"PARIS-CAEN"
"7777";"GGGG";"SISI";""PARIS-STRASBOURG"
"8888";"OOOO";"DODO";"PARIS-PARIS"

resultat

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
"1111";"VELO";"TOTO";"PARIS-MARSEILLE"
"2222";"AUTO";"TUTU";"PARIS-LYON"
"4444";"AAAA";"TITI";"PARIS-BORDEAU"
"6666";"NNNN";"JIJI";"PARIS-CAEN"
"8888";"OOOO";"DODO";"PARIS-PARIS"

[Aymeric41]

Après avoir fait quelques tests, ça me détecte très bien les erreurs

Juste une dernière question :
Comment je peux rediriger ça dans un fichier ?

Merci beaucoup de ton aide !