Discussion :

[coulio]

Bonjour,

j'ai environ 150 tables avec chacune un schéma particulier. le but du projet est d'effectuer des traitements(filtres,...) et de charger ces tables dans une base de données. le plus simple serait de créer 150 jobs. je voudrais donc savoir s'il est possible de faire un job générique et de changer dynamiquement le schéma de la table.

Merci pour vos réponses.

[f-mory]

Bonjour,

J'ai rencontré à peu près le même problème pour un autre type de transfert de données ou nous souhaitions faire un job générique qui se serait adapté à chacun des fichiers à traiter malheureusement pour toi et pour moi, les schémas ne peuvent pas être contextualiser c'est à dire que l'on ne peut pas chargé dynamiquement un schéma prédéfini en "Metadata"..... tous les autres paramètres le peuvent mais pas les schémas Il faudra pour traiter tes 150 tables faire 150 processus.....

désolé Talend rend beaucoup de services mais pas encore celui la .....

[coulio]

J'ai essayé de faire ceci, cela pourrait peu être donner des idées.(si c'est possible)

j'ai créé un projet avec un job (qualifié de générique), ensuite j'ai dupliqué le fichier *.item de ce job et j'ai modifié le second fichier *.item en précisant les informations d'un autre schéma. si j'importe le projet avec le second fichier *.item, j'ai bien le nouveau schéma dans le job.

J'ai créé un autre job(que je qualifie de master) avec un tfileList et un tRunJob et un tSystem. le tFileList boucle dans un répertoire qui contient les fichiers *.item et le tRunJob exécute (devrait exactement) mon job générique en prennant le nouveau fichier *.item.

le problème c'est que lorsque je lance le job master, le job générique s'exécute avec le premier fichier *.item. en regardant le code, je pense que le tRunJob exécute le job avec le dernier fichier *.item utilisé à la compilation c'est à dire le premier(dans mon cas).

je me demande donc s'il est possible de recompiler un job avant de le lancer dans un tRunJob.

Merci pour vos réponses.

(je débute avec TOS)

[CyberChouan]

le problème c'est que lorsque je lance le job master, le job générique s'exécute avec le premier fichier *.item. en regardant le code, je pense que le tRunJob exécute le job avec le dernier fichier *.item utilisé à la compilation c'est à dire le premier(dans mon cas).

C'est exactement ça.

La recompilation d'un job "à la volée" lors de l'exécution n'est pas envisageable.

A chaque recompilation, Talend utilise une mécanique complexe :
- fusionne les "jet templates" de chacun des composants de ton job avec les paramètres de chacun des composants.
- de là, un code source java est obtenu qui est à son tour compilé par un JDK
- c'est seulement après cette seconde étape que le job "exécutable" est disponible

Pour ton besoin, il faudrait à chaque fois reprendre les deux phases de compilation ce qui n'est pas évident !

[coulio]

Merci pour vos réponses,

Auriez-vous une référence(doc, lien) qui me permettrait de comprendre le mécanisme, les étapes lors de la création ou de l'exécution d'un job dans Talend.

Encore merci.

[CyberChouan]

Pour ton besoin, Talend n'est vraisemblablement pas l'outil adapté.

Plutôt que d'essayer de tordre le logiciel pour en tirer une fonctionnalité qu'il ne remplit pas, tu devrais t'orienter vers un développement spécifique en Java qui réalise ton besoin (adresser des tables ayant des schémas différents pour un traitement similaire).