IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Développement de jobs Discussion :

Valorisation des Process_Id dans les jobs Talend


Sujet :

Développement de jobs

  1. #1
    Membre éprouvé
    Homme Profil pro
    Architecte Décisionnel
    Inscrit en
    Février 2008
    Messages
    866
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 49
    Localisation : France, Haute Garonne (Midi Pyrénées)

    Informations professionnelles :
    Activité : Architecte Décisionnel

    Informations forums :
    Inscription : Février 2008
    Messages : 866
    Points : 1 260
    Points
    1 260
    Par défaut Valorisation des Process_Id dans les jobs Talend
    Bonjour,

    J'ai des soucis avec les valeurs que prennent la donnée process_id pour les jobs que je lance via un job maître.

    En gros, il s'agit de traitements d'intégration temps réel, lancés en boucle via un job maître.
    Je traite en tout 32 bases, donc 32 traitements, qui sont lancés sur 10 threads.

    J'utilise l'option "Store temp data on disk" sur certains lookups dans mes tMaps.
    Lors de l'exécution, des fichiers temporaires sont donc créés de la forme : {NomJob}_tMapData_{Process_id}_{NomLookup}_KeysData_0.bin

    Et il semblerait que de temps en temps, 2 des jobs lancés en même temps récupèrent le même process_id.
    Du coup, du coup le premier qui se termine vire les fichiers temporaires, et le deuxième plante.


    Est-ce que quelqu'un aurait déjà été confronté à ce genre de problème ?
    Je n'ai rien trouvé sur le BugTracker ou le forum Talend

    Merci,
    Nicolas

  2. #2
    atb
    atb est déconnecté
    Membre éprouvé

    Homme Profil pro
    Inscrit en
    Novembre 2004
    Messages
    639
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 41
    Localisation : Autre

    Informations forums :
    Inscription : Novembre 2004
    Messages : 639
    Points : 929
    Points
    929
    Par défaut
    Salut, Il me semble que cela n’est pas faisable. En fouinant un peu dans le code Talend. Pour une jointure entre deux composants toracleinput dans un tmap, on a ça :
    org.talend.designer.components.lookup.persistent.PersistentRowSorterIterator<SortableRow_row1> fsi_row1 = new org.talend.designer.components.lookup.persistent.PersistentRowSorterIterator<SortableRow_row1>("C:/CB" + "/" + jobName + "_tMapData_" + pid + "_row1",
    2000000) {
    public SortableRow_row1 createRowInstance() {
    return new SortableRow_row1();
    C:\CB correspond à mon répertoire temporaire.

    Je dirais qu’il y a que le répertoire en paramètre. Le reste est en dur dans le code. A mon avis le plus facile c’est d’essayer de les mettre dans des jobs différents (chaque tmap avec cette option dans un job). Ou aller trifouiller dans les fichiers source de Talend, plus exactement dans le tmap pour changer le code généré

Discussions similaires

  1. Talend exporter des csv avec les jobs
    Par KRevan dans le forum Développement de jobs
    Réponses: 6
    Dernier message: 01/02/2013, 11h35
  2. Charger des schémas dynamiquement dans un job Talend
    Par coulio dans le forum Développement de jobs
    Réponses: 5
    Dernier message: 05/04/2010, 00h04
  3. Vérification structure des tables utilisée dans les jobs
    Par jollt dans le forum Développement de jobs
    Réponses: 5
    Dernier message: 05/01/2010, 15h03
  4. Exécuter Script SQL dans les jobs Talend
    Par NTeeN dans le forum Développement de jobs
    Réponses: 2
    Dernier message: 10/06/2009, 17h47

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo