Discussion :

[slydefr007]

Bonjour à tous,

Je viens vers vous pour une demande d'aide. Je suis actuellement entrain de développer une petite application, j'utilise une base de donnée MS SQL Server 2008 Express.

Dans mon application, j'ai une fenêtre qui "gère" la mise à jour d'une de mes tables. Tout les jours, je récupère un fichier csv (de quelques méga). Je le découpe et le traite ainsi :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
string[] decoupe = File.ReadAllLines(pathDuFichier);
for (int i = 1; i < decoupe.Length; i++)
{
   string[] decoupeEnLigne = decoupe[i].Split(',');
 
   // Traitement si présent -> Update sinon Insert - en Linq To SQL.
}

C'est un peu barbare, et en plus pas très optimisé en vitesse de traitement. Là, je suis à plus de 30 minutes pour traiter 128000 lignes

J'aurais voulu savoir s'il y avait une manière plus rapide (une commande SQL,...).
Pour ma part j'ai pensé à faire (toujours en restant dans mon idée), ouvrir plusieurs Thread pour traité le fichier.

Merci pour vos réponses, idées, sujétions.

[mikedavem]

Bonsoir,

Voyez du côté de l'utilitaire en ligne de commande bcp ou la procédure stockée BULK INSERT

++

[slydefr007]

Je pense utilisé le BULK INSERT dans une une procédure stocké.

Par contre, dans mon fichier CSV, il y a des lignes que je ne souhaite pas intégrer, je dois rajouter un

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

WHERE machin != 'f'

Est-ce que cela fonctionne ?
Je veux dire, si je met un WHERE, le test se fait sur chaque ligne ?

Ensuite autre question, si je dois faire un Update (non un Insert), le BULK fait la différence, ou alors je dois faire un IF EXIST sur la clé ?

[elsuket]

Bonjour,

L'instruction BULK INSERT n'admet pas de filtres, donc vous ne pouvez pas y accoler un WHERE.
Vous devriez plutôt réaliser votre import dans une table réservée à cet effet, puis utiliser l'instruction MERGE pour mettre à jour les lignes que vous identifiez comme déjà existante, ou pour ajouter les lignes que vous identifiez comme manquantes

@++