Discussion :

[david.catus]

Bonjour,

Je suis confronté à la situation suivante :

- Je me connecte en ODBC sur différentes bases Informix pour récupérer des données.
- Je dois réaliser des jointures entre les différentes tables des différentes bases.
- Je ne peux pas créer de tables "temporaires" sur les différentes bases (accès lecture select uniquement).
- Je ne souhaite pas utiliser un outil de type ETL mais un développement spécifique en c#/SQL

Scénarios possibles :
- je créé une base sql serveur pour injecter dedans (create table) les "résultats" de mes opérations "extract" depuis les bases informix et je travail sur cette base pour réaliser mes jointures et alimenter une Liste d'objet ("transform") pour ma couche métier ("layout").
- je ne travaille pas en jointure SQL mais en manipulation de tableau par exemple pour mes jointures

Quand pensez vous ? quelle approche me conseillez vous ?
Merci

[DotNetMatt]

- Je ne souhaite pas utiliser un outil de type ETL mais un développement spécifique en c#/SQL

Pour quelle raison est-ce que tu ne veux pas utiliser un ETL ? Tu peux integrer un developpement specifique en C# dans le processus : SQL Server Integration Services C# Script Task Example.

L'avantage de l'ETL c'est qu'il est capable de faire des jointures efficacement en memoire, donc si la volumetrie est importante, c'est probablement la meilleure option surtout que rien ne t'empeche d'avoir du code C# dans le package.

Si la volumetrie est faible, alors C# devrait suffire, avec du LinQ. En gros tu crees un modele C# par table, tu mets tes donnees dedans, ce qui va te donner des objets de type List<T> ou autre derive. Apres tu peux manipuler ces donnees avec LinQ et creer des jointures. Autre option pour ne pas avoir a creer tes modeles manuellement, utiliser Entity Framework (jamais teste avec Informix mais je pense que ca devrait marcher) toujours avec LinQ.

[david.catus]

Merci pour les conseils, j'utilise c# uniquement pour l'instant et linq pour objets pour finaliser mes jointures !

[david.catus]

Je reviens vers vous du coup je ne sais pas si je dois ouvrir la discussion à nouveau ou créér une autre discussion bon va pour une réouverture vous me direz bien comment procéder la prochaine fois.

Je suis entrain d'achever mon application d'ETL et je me pose une question pour amélilorer la robustesse de la chose:

En gros j'ai une classe ETL qui appelle à peu près 3 méthodes (1 pour l'Extract, 2ème pour le transform, etc..). Je souhaite tracer les différentes opérations réalisées et les éventuelles exceptions. J'ai donc ajouté dans mes différents catch (try catch finaly) des différentes couches comme dans la Dal par exemple une écriture des execption dans un fichier texte (date/heure, méthode concernée et exception.Message). Dans mon code principal (classe ETL) je vais ajouter une gestion des appels des méthodes via des threads avec la méthode Join pour m'assurer que les processus/méthodes se feront de manière séquentielle.
Quand pensez vous ?

Merci