Discussion :

[brice44]

Bonjour,
je cherche à optimiser mes temps de chargement de données à partir de fichiers plat dans ma base de données SQL Server 2005

J'ai testé pour l'instant bcp et bulk insert sans grand succès... que me conseillez vous pour améliorer mes temps d'insertion?

J'ai pensé qu'il pourrait être utile de fixer la taille d'une table avant de commencer les insertions ça éviterait un redimensionnement continuel... mais est ce possible ? (je connais avant d'insérer le nombre exact de tuples à traiter et il se compte a chaque fois en plusieurs millions d'enregistrements)

Merci de votre aide

[Ptit_Dje]

Salut Brice,

Je pense que le bulk insert est la manière la plus rapide de charger un fichier.
Cependant, si tu n'as pas besoin de toutes les informations contenues dans ce fichier, une bonne solution serait peut être de créer un DTS qui te permet de choisir quels champs tu desire uploader.

En effet, je ne connais pas la structure de ton fichier ni tes besoins, mais imaginons que tu n'aies besoin que de 5 colonnes sur les 30 que contienne ton fichier, il est peut etre préférable de ne charger que celles la, surtout si ton fichier contient des millions d'entrées...

[brice44]

Malheureusement non ...
il sagit d'nformations qui doivent être chargées quotidiennement (d'où le grand besoin de rapidité) et dont les tables font parfois juqu'à 100 champs mais aucun ne doit être oublié!

[kagemaru]

si tu peux te le permettre, il peut être efficace de supprimer les index de la table (surtout s'il y en a bcp) et puis les recréer après la fin de traitement ...

[elsuket]

Tu peux également gagner du temps en committant un jeu d'insertions plus petit que le nombre de lignes de ton fichier avec l'option ROWS_PER_BATCH de la commande BULK_INSERT

[rudib]

Bonjour,

Assure-toi également que les contraintes ne sont pas vérifiées à l'import, ce qui devrait normalement être le cas par défaut : http://msdn2.microsoft.com/fr-fr/library/ms186247.aspx