Discussion :

[popolianowsky]

Bonjour,

En tant que novice je souhaiterai avoir votre avis sur mon orientation pour un import de données sur plusieurs des tables d'une base.
La situation (on ne peut plus classique...) :
un erp m'envoie quotidiennement par ftp des fichiers a plat avec leur description.
Mon idée première a été de créer un job executant un dtsx.
Ce package dtsx fais tout simplement un Delete sur les tables puis un Bulk Insert.
Ma question est la suivante :
tout d'abord est ce la manière la plus appropriée pour faire de l'import de données ?
puis si la méthode convient bien, y a t il un moyen de pouvoir sortir une sorte de log de ce dtsx me permettant d'avoir la quantité de lignes supprimées et insérées ?

Par avance merci

[cavo789]

Ce package dtsx fais tout simplement un Delete sur les tables puis un Bulk Insert.

Au lieu de faire un delete, je te suggère plutôt un DROP Table. Une action DELETE impacte ton LOG file et tu pourrais alors avoir un problème "Transaction log file is full". En outre, DROP Table est bien plus rapide.

y a t il un moyen de pouvoir sortir une sorte de log de ce dtsx me permettant d'avoir la quantité de lignes supprimées et insérées ?

Avec Visual Studio, tu as la possibilité de générer un logging. Clique sur le menu SSIS dans la barre de menu puis choisis Logging.

[SQLpro]

Si c'est du DELETE + INSERT, mieux vaut ne pas utiliser du tout SSIS et passer par une procédure stockée planifiée. Ce sera plus léger et plus rapide.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
DELETE FROM ....
BULK INSERT ... FROM ...

A +

[popolianowsky]

Au lieu de faire un delete, je te suggère plutôt un DROP Table. Une action DELETE impacte ton LOG file et tu pourrais alors avoir un problème "Transaction log file is full". En outre, DROP Table est bien plus rapide.

drop Table ça m'obligerait a recréer la table derrière à moins que je m'y prenne vraiment comme un pied dans ma commande

Si c'est du DELETE + INSERT, mieux vaut ne pas utiliser du tout SSIS et passer par une procédure stockée planifiée. Ce sera plus léger et plus rapide.


Code :
DELETE FROM ....
BULK INSERT ... FROM ...A +

Ok oui il s'agit d'un del et bulk insert.
Je vais tester de créer une procédure stockée pour voir tout ça...
Par contre ce que je voudrai pouvoir faire c'est par exemple un 'count' du nbre d'enregistrements avant le delete, puis un 'count' aprés l'insert et pouvoir réutiliser les valeurs des deux count en sortie pour avoir une sorte de 'log personnalisé' du résultat de la transaction. Bon c'est sur que vu mon niveau en sql je m'emporte un peu
En tout cas merci pour vos réponses.

[cavo789]

drop Table ça m'obligerait a recréer la table

Ouïlle !!!!! SORRY, je voulais écrire TRUNCATE table. Désolé !!!

[popolianowsky]

Oui en effet ça aurait tendance à moins être bordelique que le drop...

Par contre j'en profite pour un passer un petit Up au passage ... si vous avez une idée pour mon histoire de Count

[Fleur-Anne.Blain]

A priori par défaut il y a déjà un journal d'erreurs en tout cas dans

Consultez le journal des erreurs SQL Server à l'aide de SQL Server Management Studio ou de n'importe quel éditeur de texte. Par défaut, le journal des erreurs se trouve dans les fichiers Program Files\Microsoft SQL Server\MSSQL.n\MSSQL\LOG\ERRORLOG et ERRORLOG.n.

Sinon il y a toujours l'onglet process dans SSIS mais je ne sais pas si ce process est enregistré quelque part quand l'exécution est automatique. Je pense que le log se fait du côté d'SQL Server Agent si l'exécution est automatisée.

[popolianowsky]

Suite et fin

Merci pour toutes les réponses/conseils sympa à vous

en fait j'ai suivi le conseil d'SQLpro et j'ai créé tant bien que mal mes procédures plutôt que de passer par un package.
Plus chiant à mettre en oeuvre quand on n'y connait pas grand chose en transact mais quand même plus rapide en execution et surtout trés souple.

A la prochaine pour de nouvelles misères !