Discussion :

[taltal]

Bonjour,

Je souhaite compter le nombre d’enregistrement transitant une liaison dans talend.

Ex de JOB:

BDD------50lignes-------->tMap-----------25lignes--------->BDD

Ce que je veux faire: c’est d’avoir quelque chose qui me dit que dans le première Link y a eu 50 lignes et dans la deuxième y a eu 25.

De préférence, récupérer ces informations dans des variables pour pouvoir les exploiter.

Est-ce cela est possible ? Si oui, comment faire SVP ?

Par avance merci.

[XxArchangexX]

Bonjour,

Je n'ai pas une réponse sûr à 100% c'est une orientation.

Dans les options avancées de l'éxécution tu as une case statistique pour voir ces infos.

Maintenant pour les gérer, je sais qu'il y a des composants de monitoring, tLogCatcher, tStatCatcher et tFlowMetterCatcher mais je n'ai jamais utilisé. D'intuition je dirais que le troisième pourrait contenir cette infos, je regarderai si j'ai un peu de temps si tu ne trouve pas pour voir.

Sinon quelqu'un aura peut être eu cette problématique et passera avant.

edit : pour ton titre de sujet peut être que "transitant dans un flux" est plus parlant que dans un "link"

[taltal]

Merci pour ta réponse XxArchangexX

je vais exploiter ces pistes...

PS: j'ai changé le titre

[rdubois]

Il est possible de monitorer les liens d'un flux en cochant une case dans les paramètres avancés de chaque lien.

Ensuite, en modifiant les paramètres du projet (Fichier/Editer les propriétés du projet--Job Settings/Stats and Logs), il est possible d'envoyer les volumes (FlowMeterCatcher) dans la console, dans un fichier ou dans une base de données.


Il y a une solution plus manuelle qui consisterait à placer un tJavaFlex entre chaque composant. Dans la partie initiale du composant, il s'agirait de déclarer une variable, dans la partie principale, d'incrémenter cette variable, et dans la partie finale de stocker la variable (dans la globalMap par exemple). En effet, il existe une Map dans le code généré de Talend, qui permet de faire passer des données entre différents subjob).

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
 
globalMap.put("key", value);
Object value = globalMap.get("key");

HTH,

Rémy.

[taltal]

J’ai oublié de le préciser : je suis en mode ELT. (et pas ETL)
Et mettre un TJAVAFLEX entre chaque composant n’est pas possible apparemment.
J’ai essayé sans succès

[rdubois]

Dans le cas d'un job ETL, il n'est pas possible d'afficher les statistiques. En effet, les composants ELT (tELTXXXInput --> tELTXXXMap --> tELTXXXOutput) génèrent une unique requête qui va être exécutée sur la base de données directement, et non par le programme JAVA en tant que tel.

La seule chose possible est de récupérer le nombre de lignes insérées, mises à jour ou supprimées a posteriori. Il est possible de récupérer cette donnée dans un sous-job différent du sous-job ELT, en utilisant les variables disponibles dans la vue "Structure" (en bas à gauche du studio par défaut).

[taltal]

Génial merci