IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Développement de jobs Discussion :

Approche pour traiter une partie d'un flux


Sujet :

Développement de jobs

  1. #1
    Membre régulier
    Profil pro
    Inscrit en
    Août 2006
    Messages
    49
    Détails du profil
    Informations personnelles :
    Localisation : Suisse

    Informations forums :
    Inscription : Août 2006
    Messages : 49
    Points : 89
    Points
    89
    Par défaut Approche pour traiter une partie d'un flux
    Bonjour,

    Je suis très nouveau dans Talend mais expert en Java, et j'ai besoin encore d'aide pour comprendre la logique de programmation de Talend.

    Pour mon environnement de travail, j'utilise le dernier Talend OS Data Integration, sous win7, et Java 1.7

    J'ai actuellement un programme de migration en java que je désire convertir en un job Talend. C'est un programme très procédural qui suit généralement la logique suivante:

    Ouvrir source de données (excel, par ex.)
    pour chaque ligne
    • si une condition est remplie:
    • lire la valeur d'une colonne et regarder dans une table SQL
    • Si la table ne contient pas la valeur, faire un insert avec certaines valeurs
    • Récupérer et garder en mémoire certains champs du résultat SQL
    • ...
    • autre bloc conditionnel similaire mais pas identique
    • ...
    • encore un autre bloc conditionnel
    • ...


    Avec des filtres et des tmaps, j'arrive facilement à créer le premier bloc conditionel. Le problème est qu'ensuite, je dois réintégrer en un flux les deux flux que le filtre a créé, c.à.d le flux filtre et le flux reject. Et c'est impossible.
    Et c'est là que je ne comprend pas quel approche je dois avoir dans talend, alors que dans java, c'est évident.

    Dois-je utiliser un tFlowToIterate et créer des tas de subjobs, lesquels traitent une donnée à la fois? Je crains que ça affecte fortement les performances. Et je crains que ça multiplie les paramètres à définir manuellement, au lieu d'utiliser des schemas. Vu la complexité que ça va engendrer, sachant qu'en java pur c'est très simple, j'ai l'impression que ce n'est pas la bonne approche.

    Une bonne âme pourrait-elle me donner un tuyau sur l'approche à avoir? Merci beaucoup.

  2. #2
    Membre régulier
    Profil pro
    Inscrit en
    Août 2006
    Messages
    49
    Détails du profil
    Informations personnelles :
    Localisation : Suisse

    Informations forums :
    Inscription : Août 2006
    Messages : 49
    Points : 89
    Points
    89
    Par défaut
    J'ai finalement trouvé la page qui explique mon problème : https://help.talend.com/pages/viewpa...pageId=5671105

    En gros, la solution est : hashmap, hashmap, hashmap...

+ Répondre à la discussion
Cette discussion est résolue.

Discussions similaires

  1. utilisation des templates pour traiter une partie d'un doc tei
    Par tigunn dans le forum XSL/XSLT/XPATH
    Réponses: 1
    Dernier message: 03/02/2012, 17h12
  2. Réponses: 8
    Dernier message: 11/08/2006, 15h13
  3. Authantification pour accéder à une partie private d un site
    Par xtiand4 dans le forum Général JavaScript
    Réponses: 5
    Dernier message: 21/07/2006, 11h07
  4. [VB6]créer une requete pour chercher une partie d'un mot
    Par aibar dans le forum VB 6 et antérieur
    Réponses: 3
    Dernier message: 11/06/2006, 22h38
  5. requete pour reccuperer une parti d'un resultat
    Par ViBy dans le forum Langage SQL
    Réponses: 6
    Dernier message: 03/09/2004, 10h33

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo