Bonjour,

Je dispose de fichiers CSVs faisant plusieurs go chacun (entre 30 et 60 millions de lignes). J'ai crée un package ssis très simple de flux de données reprenant ces fichiers plats en entrée, et en sortie j'ai une table de ma base de données, connectée via une connexion OLE DB. (tutoriel 1 sur le site de ms)

J'utilise le flux de données au lieu du traitement par bloc, car je suis obligé de convertir certaines données (des champs date notemment).

Tout va pour le mieux (extraction, conversion, insertion) lorsque j'utilise de petits extraits de ces fichiers (entre 50 et 100mo), mais rien ne va quand j'utilise les fichiers brut ( > 3 GOS ). Au bout d'une vingtaine de minutes de traitement, la console de Progression m'indique qu'il y a une erreur dans le cache de ma base de données, et que je devrais augmenter sa taille... soit ! Seulement, je n'ai pas la main sur le serveur...

Je ne comprends pas le principe d'extraction, est que l'etl met tout en cache sur le disque dur puis lance un bulk insert ? Je spécifie pourtant dans ma sortie de données que je souhaite traiter 100 000 lignes (propriété Lignes par package). Le traitement prends alors des plombes (et je tape ce message une heure après avoir lancé le traitement sur ma machine sur un fichier de 5go et m'inquiétant de ne voir rien venir).

Je regrette de poser cette question ici, mais la doc sur le site de microsoft m'est nébuleuse, et http://www.sqlis.com/ ne renseigne pas grand chose sur le fonctionnement exact des flux de données.

D'avance merci et bon week