Discussion :

[Jinroh77]

Bonjour,
Une petite question sûrement simple.

Dans mon flux, je cherche à marquer et insérer dans une table les lignes ne répondant pas au matching d'un lookup. Par contre, je veux, en plus de cela, les conserve dans mon flux classique pour les insérer en base (devenir des Membres inconnus dans mon cube).

La seule chose à laquelle je pense pour le moment est, depuis le lookup, rediriger les lignes vers la sortie sans correspondance, puis faire un multicast à cette sortie dont l'une va vers mon insertion en rejet et l'autre vers un Union joignant ma sortie avec correspondance.
Pas géniale niveau perf tout cela...

Il y a une meilleure solution ??

[Jinroh77]

Une petite idée ?

[patriceharel]

Bonjour,

A première vue ta solution paraît pas trop mal et c'est surtout la plus intuitive je pense.
Si c'est un problème de perf que tu as, tu peux effectivement contourner la recopie de tes buffers et le Union en développant un dataflow dans lequel tu n'auras qu'une source (la table des rejet) et une destination (ta table de fait) tout cela en bulk insert.
Cela pose plusieurs conditions :
-après le Union de ton lot initial, tu ne fais plus de transformations, sinon tu seras obligé de les reproduire dans le nouveau data flow
- la différence de perf entre les deux méthodes est à tester, le fait de faire un bulk insert ne garantie pas que cela soit plus rapide qu'un Multicast et un Union (ça dépend baeucoup de ton serveur).

[Jinroh77]

Merci pour ton retour.
L'idée est de pouvoir rester très flexible sur l'alimentation, on a pas mal de flux, de jointure à faire etc. Je préfère rester bien soft.

Côté puissance de serveur, il n'y a pas vraiment de problème... C'est un 32 cœurs, 128Go de RAM, uniquement pour le moteur SSIS, les BDD sont sur d'autres serveurs
C'est juste pour avoir un process le plus simple à lire et suffisamment optimisé.

Merci.