Discussion :

[Philippe Robert]

Bonjour,

Je suis débutant en Intégration Services, mais dispose d'un bon niveau en SQL et DTS.

Je dois importer importer une base de données tierce, fournie une fois par mois sous la forme d'une cinquantaine de fichiers textes et doit alimenter une bases de données en SQL Server.

Je souhaite obtenir quelques conseils en vue de réaliser cela.

L'idéé que j'ai consiste à répliquer les données issues de ces fichiers TXT dans une base de données de travail sous SQL. L'importation et la transformation des données en datetime, float,... seraient réalisées par autant de SSIS qu'il existe de fichiers.

L'intégration finale dans notre base de données de production serait réalisée par des procédures stockées SQL.

Le tout serait piloté par un module SSIS qui exécuterait tous les modules réalisant l'importation fichier par fichier et l'exécution des procédures stockées.

Pensez-vous que c'est une bonne méthode ?

Existe-t'il la possibilité de crééer des librairies de codes réutilisable (par exemple pour transformer des dates en datetime,...)

D'avance, merci.

[Fleur-Anne.Blain]

Bonjour,

Pour avoir plus de renseignements il suffit de lire les tutos MS BI

Concernant la question de passage date to datetime ou tout autre transformation ou SSIS le gère ou il faut passer par des scripts intermédiaires (en .net la plupart du temps).

[Philippe Robert]

Merci pour les informations.

Concernant la conversion en datetime, il me faut, dans mon cas, passer par un script .NET plutôt que par les transformations de données prévues par SSIS.

Je souhaitais à ce sujet savoir s'il existe un moyen de réutiliser ce code dans d'autres modules SSIS, sans devoir le réécrire à chaque transformation.

[Fleur-Anne.Blain]

Me concernant dans les scripts je mentionne les noms de colonnes, etc pour les transormations donc impossible de le dupliquer à un autre flux.

Mais le .net c'est de l'objet donc en partant de la il doit être possible de rendre le tout "générique" mais je ne l'ai personnellement jamais fait

Merci pour les informations.

Concernant la conversion en datetime, il me faut, dans mon cas, passer par un script .NET plutôt que par les transformations de données prévues par SSIS.

Je souhaitais à ce sujet savoir s'il existe un moyen de réutiliser ce code dans d'autres modules SSIS, sans devoir le réécrire à chaque transformation.

[clementratel]

Bonjour,

Pour faire ce qui est décrit plus haut, comme "autant de SSIS qu'il existe de fichiers" ne veut rien dire pour moi, j'utiliserais un seul flux SSIS avec une Data Flow Task par structure de fichier TXT. Si plusieurs fichiers TXT ont la même structure j'utiliserais un For Each dans lequel je placerais une Data Flow Task. En fonction des contraintes (désire-t-on tout arrêter dès qu'on rencontre une erreur) je chaînerais ces Data Flow Task en parallèle ou en série. On pourrait aussi utiliser une seule Data Flow Task, mais cela force le parallélisme.

a+, =)
-=Clement=-

[patriceharel]

Bonjour,

Je suis d'accord avec la remarque de clementratel, il sera beaucoup plus simple d'utiliser des boucles pour des fichiers de forme similaire plutôt que de développer un lot à chaque fois. Imaginons que tu ais un champ à ajouter, un type de donnée à modifier, le fait de faire des boucles te permettra de ne pas avoir à faire la modification 50 fois.
En ce qui concerne la gestion des dates, SSIS le fait bien je trouve... ton besoin est il très spécifique?

[varenio]

Bonjour,
L'important pour les flux est de bien utiliser les fonctions de l'outils en minimisant le spécifique (T-SQL ou Scripts).

Modéliser de manière simple les règles (transformation, controle, dénombrement, allocation de variables); plus c'est simple mieux cela sera réutilisable.

Ne pas oublier d'user et abuser des variables et fichiers de configuration, afin de réutiliser la même tache SSIS, dans des jobs.

Commenter de manière claire ce que fait chaque Task

Ne pas nommer les connections ou Datasources, de manière trop rigide, si l'on a des noms surchargés lors de l'exécution des job par l'Agent.

Gérer et utiliser la contrôle d'erreur et les log, afin d'avoir un suivi de qualité, mais aussi d'anticiper les changements des systèmes sources.

MS