Bonjour,
Je suis débutante sur Talend et je cherche à recréer un traitement existant sous ODI avec Talend. J'utilise TOS Version: 5.0.2 Build id: r78327-20120216-0244 et un Pc Windows xp pro sp3 3Go de Ram.
J'essaye de réaliser le job (en fichier attaché) mais j'ai un problème de heap space. Les tables utilisées font 2 millions de lignes pour deux d'entre elles et 8 millions pour la dernière.
J'ai déjà testé le stockage sur le disque et voici la backtrace du traitement avec –xms256M et –Xmx1024M (storage on disk) : bloque a 1091328 lignes
J'ai déjà biensûr essayé d'augmenter xms et xmx. Rien.[statistics] connecting to socket on port 4048
[statistics] connected
Warning: to avoid a Memory heap space error the buffer of the lookup has been limited to a size of 1091327 , try to reduce the advanced parameter "Max buffer size" (~100000 or at least less than 1091327), then if needed try to increase the JVM Xmx parameter.
Puis j'ai remis la config initiale et j'obtiens :
J'ai aussi vu que le composant tMap était par défault limité à 2000000 de lignes et j'ai beau le changer, rien ni fait...[statistics] connecting to socket on port 3509
[statistics] connected
Exception in thread "main" java.lang.Error: java.lang.Error: java.lang.OutOfMemoryError: Java heap space
at test.proddatetime_0_1.ProdDateTime.tOracleInput_1Process(ProdDateTime.java:2090)
at test.proddatetime_0_1.ProdDateTime.runJobInTOS(ProdDateTime.java:3695)
at test.proddatetime_0_1.ProdDateTime.main(ProdDateTime.java:3563)
Caused by: java.lang.Error: java.lang.OutOfMemoryError: Java heap space
at test.proddatetime_0_1.ProdDateTime.tOracleInput_2Process(ProdDateTime.java:2878)
at test.proddatetime_0_1.ProdDateTime.tOracleInput_1Process(ProdDateTime.java:1245)
[statistics] disconnected
[statistics] disconnected
... 2 more
Caused by: java.lang.OutOfMemoryError: Java heap space
at oracle.jdbc.driver.NumberCommonAccessor.getBigDecimal(NumberCommonAccessor.java:5588)
at oracle.jdbc.driver.NumberCommonAccessor.getObject(NumberCommonAccessor.java:6347)
at oracle.jdbc.driver.T4CNumberAccessor.getObject(T4CNumberAccessor.java:293)
at oracle.jdbc.driver.OracleResultSetImpl.getObject(OracleResultSetImpl.java:921)
at test.proddatetime_0_1.ProdDateTime.tOracleInput_2Process(ProdDateTime.java:2613)
... 3 more
Auriez vous une solution ? Des suggestions pour améliorer les performances de ce job ?
Merci d'avance pour vos réponses,
Dex
Partager