Discussion :

[kaljerhom]

Bonjour,

Ma problématique est la suivante.

Je récupère une liste de string via une tache tJavaFlex (en lisant un fichier texte) que je sauve dans une variable de contexte.

J'utilise cette variable de contexte dans une requete SQL de type SELECT * FROM MA_TABLE WHERE MA_TABLE.MON_CHAMPS IN (context.maVariabel de contexte) dans un composant tOracle.

Jusque là pas trop de souci meme si je ne sais pas en terme de worflow pourquoi la tache tJavaFlex se lance forcement avant mon flow principal.

Le souci c'est que ma liste contient plus de 1000 entrées et que le requete SQL elle aime pas ca.

Du coup je me retrouve à splitter ma liste de string en bloc de 999 entrées masi je vois pas comment dynamiquement les passer à ma requête SQL dans mon composant java.

[jsd03]

Pourquoi tu ne fais pas une jointure entre ta BDD et ton fichier de string grâce au tMap en joignant sur le champ MA_TABLE.MON_CHAMPS ? Ce t'éviterai ce genre de désagrément.

[kaljerhom]

Ok j'ai tenté ce que tu as dit mais le problème c'est que le composant tFileInputDelimited ne lit que le premier string de mon fichier texte.
Chaque string est en fait un nombre séparé par un virgule, tous sur une seule ligne.
Je ne vois pas pourquoi il ne lit que le premier et pas les autres, sinon à part cela le résultat semble être ce que je souhaite.

J'ai essayé un lien iterate mais il refuse de le mettre entre mon fichier et ma tmap.

Aurais-tu une idée qui me permettrait de parcourir tout le fichier.

[kaljerhom]

Bon alors la technique de récupérer mes enregistrements de base de données et de faire une jointure sur la clé primaire via un tMap avec ma liste de clé primaire contenue dans un fichier texte marche très bien.
Mon problème maintenant est que ma table source fait 2 millions d'entrées et que requêter toute la table pour ne récupérer que 3000 entrées au final par exemple ca fait mal en terme de perf.
Du coup je me retrouve à faire ma requête "select * from table where cleprimaire in (231231,32121)" mais toujours limité à 1000 occurrences.

Quelqu'un a une idée ?

[jsd03]

Ben ouai mais c'est la dure loi de l'ETL

Après même si tu lis 2 000 000 de lignes et que tu ne t'en sers que de 3000 en sortie du lookup, les performances doivent être raisonnable non ? entre 5 à 10 min ?

[kaljerhom]

Si la base est en locale surement, mais si je dois me balader sur le réseau bah ca peut prendre des heures.
Sinon en fait avec ma fameuse table, ca m'a péter "java.lang.OutOfMemoryError: Java heap space" direct
J'ai oublié de dire que ma table à 2M d'entrée elle a plus de 60 colonnes.

Du coup vois tu comment je pourrais itérer sur un processus java qui donnerait à mon composant Oracle une variable contenant des groupes de clé primaire à insérer dans sa requête select * ... IN.
Pour faire une sorte de requête UNION mais dynamique.