Discussion :

[TheTcha]

Bonjour,
Voila j'ai un soucis qui me pose beaucoup beaucoup de problème concernant le chargement d'TFileInputDelimited.
Mon problème c'est que lorsque je charge ce fichier qui contient 4 millions de lignes, rien de bien méchant sachant que je charge beaucoup plus dans d'autres job sans avoir le moindre soucis, il charge et au bout de 2 millions de lignes j'ai un java heap space et du coup je n'arrive pas au bout de mon job.
Je ne sais pas comment contourner ce problème et mon problème est assez urgent.
Si vous avez des solutions je suis preneur.
Merci d'avance

[haskouse]

La premièer solution qui vient à l'esprit c'est daugmenter le java heap space tout simplement.

Pour faire cela, dans l'onglet "Exécuter" de ton job tu vas sur "Advanced Settings" puis tu coches "Utiliser les arguments JVM spécifiques" et là tu devrais trouver normalement :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
-Xms256M
-Xmx1024M

-Xms256M --> Spécifie que le min de la mémoire allouée est 256
-Xmx1024M --> Spécifie que le max de la mémoire allouée est 1024

Tu peux augmenter ces valeurs et tester, il faut juste être sûr que tu as assez de mémoire sur ton poste.

Sinon si ceci ne marche pas, càd si ton poste a une mémoire qui ne permets pas cela alors sois tu essaies sur un autre poste plus puissant, soit tu repenses le desgin de ton job.

Bonne chance.

[TheTcha]

J'ai testé toute les solutions et rien n'y fait je désespère !!!!!!!
Pour l'espace :
-Xms256M
-Xmx1024M
C'est quoi le mieux à mettre pour le Xms??le laisser à 256MO ou l'augmenter?
Pour le Xmx je peux l'augmenter que jusqu'à 1600M après j'ai un message "could....."! Dommage puisque je suis à 10 000 lignes près donc ce n'est rien du tout mais ca bloque...
Merci de votre aide les amis !

[haskouse]

Bonjour,

Personnellement j'ai eu le même problème et ce que j'ai trouvé comme solution c'est de scinder le fichier en deux parties puis de lancer le job deux fois pour chacune des parties.

[TheTcha]

J'ai fait pareil. Niquel merci