Discussion :

[zanka131]

Bonjour,

j'ai réalisé un Job qui lit un fichier .csv ligne par ligne et réorganise les données à l'aide d'un tMap. Je sauvegarde ensuite les données dans un nouveau fichier excel (créé par talend) à l'aide d'un TFileOutputExcel. Le Job fonctionne parfaitement.
Le problème est que je voudrais ajouter ces données dans un fichier excel existant (meme vide le probleme est present). Donc dans le TFileOutputExcel, je coche les options "Ajouter au fichier existant" et "ajouter à la feuille existante". Les 100 000 premières lignes vont etre traitées et petit à petit le flux va diminuer puis stagner et au bout de x temps va me provoquer une erreur de mémoire.

J'ai dejà testé tout ce qui est augmentation de memoire ac les arguments Xms dans "Advanced Settings" et dans les preferences... Ca ne résout pas le problème puisque le nombre de lignes est trop important. Et cette solution ne me parrait pas adéquat puisque ce nombre est susceptible d'encore augmenter...
J'ai également essayé de diviser les données en plusieurs fichiers temporaires que je recopierais les uns après les autres mais cela ne fonctionne pas non plus...

Ce que je ne comprends pas ( et donc si vous avez une explication je suis preneuse), c'est que lorsque je décoche les deux options et que je sauvegarde ces 350 000 lignes dans un fichier créer par Talend, cela fonctionne très bien et cela est extrêmement rapide !

Avez-vous une solution ou une explication? mercii

[emenuet]

Bonjour,

J'ai reproduis trop facilement ton problème, donc je suppose que c'est un bug dans la gestion du mode append.

pour contourner le problème j'ai ajouté de la mémoire à mon job et un paramètre supplémentaire :
-Xmx2048m -XX:+UseConcMarkSweepGC
et j'ai retrouvé les performance du mode normal

Fais un retour si cela ta aidé

[zanka131]

Je viens de tester et cela ne fonctionne pas

[emenuet]

Autre solution pour contourner le problème :

Tu lis le fichier cible , puis tu utilises le composant tUnite pour merger le flux de donnée de l'ancien fichier et tes nouvelles donnée, et ainsi créer un nouveau fichier excel à chaque fois.

[zanka131]

Je suis désolé, j'ai mal expliqué mon problème.

En fait moi ce qui m’intéresse ici c'est surtout de pouvoir insérer mes nouvelles données dans un onglet d'un fichier déjà existant, qui contient dejà x onglets avec des informations différentes dans chaque onglets !

Après si je peux à chaque utilisation du Job ajouter mes nouvelles données à la suite des anciennes c'est un plus mais je veux essentiellement pouvoir insérer mes données dans un onglet d'un fichier .xlsx qui contient déjà des données de plusieurs formes différentes dans d'autres onglets.

J'ai l'impression qu'il faut plutot que je me tourne vers un Tjava pour pouvoir faire ça

[emenuet]

bonjour,

Je reproduis l'erreur également.

l'option -XX:+UseConcMarkSweepGC et -Xmx avec beaucoup (trop) de mémoire permet de contourner le problème un moment.

Pour ce que tu veux faire, je n'ai pas de solution ... a par corriger soit même le composant

[sami117]

voici mon nouveau shema ... celà dit le tUnit une sortie pour les deux fichiers excel à merger ??!


Merci