Discussion :

[Brenlem]

Bonjour,

J'ai un jeu de données contenant les mouvements articles de mon ERP.
Voici approximativement la structure de la table :
ID_MVT, ID_Ligne, No_Art, Date Mvt...

La clé de cette table est ID_MVT, ID_Ligne. (Auto-incrémentale).

Le lien avec cette "table" (un fichier dans les faits...) se fait via un connecteur ODBC.

La table contient à ce jour plusieurs millions d'enregistrements, nous filtrons donc uniquement les mouvements par rapport à une date de mouvement (2 années). C'est un peu hasardeux puisqu'il est possible qu'il y ait des enregistrements sur d'anciens mouvements que nous ne récupérons alors pas.

L'idée est de limiter le nombre de lignes que nous traitons à celles non encore intégrées dans l'entrepôt afin de gagner principalement en temps de traitement :

- J'ai créé une table dans l'entr SQL contenant les différents couples ID_MVT/MAX(ID_Ligne).

Si je joins la source ODBC avec cette nouvelle table, je peux via une simple jointure ne récupérer que les derniers enregistrements. (Lien sur ID_MVT et ne récupérer que les données pour lesquelles ID_Ligne > MAX(ID_Ligne).

J'aurais en quelque sorte besoin d'avoir une source de données multi-source.
Autant sur une/des bases de données SQL cela ne me pose pas de problème mais avec ce lien ODBC je ne sais plus trop vers où me tourner.

Il y a trop de mouvements pour se permettre de réaliser une boucle ForEach à partir d'une variable Object.

Je ne souhaite pas utiliser de composant de jointure dans mon package, je veux vraiment restreindre le nombre de lignes de données dans la source.

Auriez-vous des idées?


Merci

[Invité]

Bonjour,

Autrement, as-tu pensé à faire un SELECT MAX(ID_Ligne) avant ton flux de données ?
Valeur que tu entre dans une variables, et dont tu te ressers dans ton flux de données ODBC.

[Brenlem]

Bonjour,

Merci pour votre réponse

Oui j'y ai pensé mais ça ne peut pas fonctionner, la clé étant ID_MVT, ID_Ligne, je peux avoir ce type d'enregistrement :

ID_MVT ID_LIGNE
1 1
1 2
1 3
2 1
2 2
2 3
2 4
2 5
3 1

Le lendemain, j'aurais de nouveaux mouvements dans ma table. Je pourrais stocker les valeurs MAX(ID_MVT) et MAX(ID_LIGNE).
J'aurais alors MAX(ID_MVT) = 3 et MAX(ID_LIGNE) = 5. (Ou bien (2,5) ou encore (3,1) en fonction des critères).
Si j'ai un nouvel enregistrement (1,4) il n’apparaîtrait pas dans le résultat de ma requête.

Pour restreindre un maximum j'ai pour le moment réaliser une boucle sur les couples (ID_MVT/MAX(ID_LIGNE)) afin de passer en variables ces deux paramètres. Je fais donc beaucoup plus d'accès à la table ODBC mais j'ai restreins significativement mon jeu de données.

L'idéal serait de réaliser une jointure en amont mais cela ne me semble pas possible.

Merci pour votre aide!