Discussion :

[romaintzark]

Bonjour,

je suis actuellement bloqué à cause d'un problème au niveau d'une lecture de table sur Talend.
En effet, j'effectue plusieurs jointure sur 4 tables différentes (voir image) et dès le début à la lecture d'un des tables, il y a un blocage dès que j'arrive à 1 900 000 enregistrements lus !
pourquoi ? quelqu'un pourrait il m'aider ? est ce que je fait mal mes traitements ?

regardez l'image ici

La vitesse inscrite sur l'image n'est pas significative, car elle ralentit de plus en plus et au final ne correspond plus du tout au nombre d'enregistrements lus.

Merci de m'aider.

Cordialement, Romain ALCARAZ.

[jsd03]

Bonjour,

le mieux serait déjà d'ordonner directement les données dans la requête (mettre des ORDER BY) et ne pas utiliser de tSortRow car c'est vraiment inutile et très gourmand en ressource dans ton cas.

Deuxièmement voir si tu ne peux pas faire moins de lookup et faire une seule requête regroupant les deux premiers t[bdd]Input et les autres.

Troisièmement faire un "store on disk" dans tes tMap et tSortRow avec de nombreuses données pour éviter les problèmes de java heap space. Voir FAQ : http://www.developpez.net/forums/d54...d/#post4252450

[romaintzark]

euh...
je suis peut être un peu faible à ce niveau mais, comment regrouper mes composants t[bdd]input ? :s
je pense être obligé d'effectuer mes jointure de la manière de mon flux non ?

[jsd03]

Bin justement pas forcement sachant que ça vient d'une même base de données, tu peux faire tes requêtes en faisant des jointures "INNER JOIN, LEFT OUTER JOIN..."

Colle tes deux première requête et le type de jointure que tu fais dans ton tMap.

Je vais essayer de te montrer comment faire. (avec le schéma aussi )

[romaintzark]

okey ! je te remercie d'avance