IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Développement de jobs Discussion :

Extraction des Données d'une base à l'autres [Fait]


Sujet :

Développement de jobs

  1. #1
    Membre régulier
    Inscrit en
    Novembre 2007
    Messages
    224
    Détails du profil
    Informations forums :
    Inscription : Novembre 2007
    Messages : 224
    Points : 94
    Points
    94
    Par défaut Extraction des Données d'une base à l'autres
    Salut,

    Je suis en train de concevoir des ETL pour alimenter un base de donnée de Stockage avant de concevoir un datawarehouse.

    J'utilise talend pour ce faire mais j'ai pas de tutoriel pour m'aider à réaliser ce projet.
    En gros je veu faire l'extraction des tables d'une base a l'autre mais c'est un dur avec talend sans le moindre tutoriel...

    Merci

    si quelqu'un en à merci de m'en faire part.
    Merci d'avance

  2. #2
    Membre du Club
    Profil pro
    Inscrit en
    Avril 2008
    Messages
    38
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Avril 2008
    Messages : 38
    Points : 42
    Points
    42
    Par défaut
    Bonjour,

    tu disposes de la doc en français sur le site Talend section communauté/documentation.

    les exemples sont assez concrets sur les différents composants

    sinon pose des questions plus précises


    Jérémie

  3. #3
    Membre à l'essai
    Profil pro
    Inscrit en
    Juin 2006
    Messages
    12
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Juin 2006
    Messages : 12
    Points : 11
    Points
    11
    Par défaut Migration de données
    Bonjour,

    Je suppose que tu veux faire une migration de base. (pour la copie de données c'est le même principe)

    Je vais préciser une méthode un peu rustique mais qui a l'avantage d'être simple

    0-Dans la base cible tu crée un modèle vide (en ayant désactivé les contraintes)

    1-Tu fais deux connecteurs dans ta TOS - un vers ta base source et l'autre vers ta base cible. Pour ça tu vas dans Metadata/db connections et tu fais 'Create Connection', il faut prendre garde à bien tester les connexions. Puis tu clique droit chacune de tes connexions et tu fais 'retrieve schema', et là tu as tes modèles

    2-Tu crées un job en faisant clique droit sur job design

    3-le principe est que quand tu lis des données (dans ta base cible) il faut un objet input (par exemple tDbInput), pour ecrire des données il faut un objet output (tdDBOutput) et le lien entre les deux se fait par un objet tMap

    -Donc tu fais un glissé déposé dans ton job de la table cible à partir du metamodel (fichier input),
    -Tu choisis dans la palette l'objet output qui va bien,
    -Tu configure l'objet output histoire d'avoir la table homonyme
    -Tu glisse l'objet tMpap et le configure pour faire le lien

    4-Tu lance le job et passe à la table d'après

    C'est un peu plus complexe mais l'essentiel y est. Il y a des options avec l'objet output pour faire un truncate de la table avant l'initialisation etc.

  4. #4
    Membre expérimenté Avatar de Benoit_Durand
    Profil pro
    Consultant en Business Intelligence Freelance
    Inscrit en
    Mars 2005
    Messages
    861
    Détails du profil
    Informations personnelles :
    Localisation : France, Gironde (Aquitaine)

    Informations professionnelles :
    Activité : Consultant en Business Intelligence Freelance

    Informations forums :
    Inscription : Mars 2005
    Messages : 861
    Points : 1 308
    Points
    1 308
    Par défaut
    Tu as toujours les tutos proposés par Talend http://www.talendforge.org/tutorials/menu.php

    Sachant qu'il n'y a que peu de différence entre un fichier et une table, un flux reste un flux.

  5. #5
    Futur Membre du Club
    Femme Profil pro
    Étudiant
    Inscrit en
    Mars 2011
    Messages
    3
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Localisation : Maroc

    Informations professionnelles :
    Activité : Étudiant

    Informations forums :
    Inscription : Mars 2011
    Messages : 3
    Points : 7
    Points
    7
    Par défaut extraction à partir d'une BD postgresql avec Talend
    Bonjour,

    j'ai suivi les étapes précitées mais en vain je reçois toujours des erreurs que je comprends pas!!
    Est ce que quelqu'un peut m'expliquer cette erreur là:

    "Can't locate DBI.pm in @INC (@INC contains: /home/jaoualia/Bureau/TOS-All-r53616-V4.1.2/workspace/.Perl /home/jaoualia/Bureau/TOS-All-r53616-V4.1.2/lib/perl /etc/perl /usr/local/lib/perl/5.10.1 /usr/local/share/perl/5.10.1 /usr/lib/perl5 /usr/share/perl5 /usr/lib/perl/5.10 /usr/share/perl/5.10 /usr/local/lib/site_perl .) at /home/jaoualia/Bureau/TOS-All-r53616-V4.1.2/workspace/.Perl/EVISTEL.job_extract_0.1.pl line 209.
    BEGIN failed--compilation aborted at /home/jaoualia/Bureau/TOS-All-r53616-V4.1.2/workspace/.Perl/EVISTEL.job_extract_0.1.pl line 209."
    .

    Merci en avance

  6. #6
    Membre du Club
    Inscrit en
    Janvier 2009
    Messages
    168
    Détails du profil
    Informations forums :
    Inscription : Janvier 2009
    Messages : 168
    Points : 52
    Points
    52
    Par défaut
    Citation Envoyé par Cabire Voir le message
    Bonjour,
    1-Tu fais deux connecteurs dans ta TOS - un vers ta base source et l'autre vers ta base cible. Pour ça tu vas dans Metadata/db connections et tu fais 'Create Connection', il faut prendre garde à bien tester les connexions. Puis tu clique droit chacune de tes connexions et tu fais 'retrieve schema', et là tu as tes modèles
    Bonjour,

    J'ai créé une connexion en mettant les paramètres : Identifiant, Mot de Passe, Serveur, Port et Sid. J'ai laissé Schéma et paramètres additionnels vides.
    Mais je n'ai pas rencontré le 'retrieve schema'. Comme j'ai une version en Français je n'ai pas trouvé un équivalent mais j'ai un bouton "Exporter comme Contexte". Qu'est ce que j'ai raté ?

    Merci

  7. #7
    Membre du Club
    Inscrit en
    Janvier 2009
    Messages
    168
    Détails du profil
    Informations forums :
    Inscription : Janvier 2009
    Messages : 168
    Points : 52
    Points
    52
    Par défaut
    On peut faire simple :

    1 - Insère un tOracleInput et clic dessus 2 fois, en bas tu auras des champs que tu remplir et qui correspondent à la base sur laquelle tu dois te connecter.
    plus en bas tu écris le nom de la table et la requête que tu utilises pour prendre les colonnes dont tu as besoin. Fais un Guess schema par la suite et modifie ce qu'il faut modifier. tOracleInput doit pointer sur la table source.

    2 - Insère un tOracleOutput et clic dessus 2 fois. Remplis les champs pour qu'il se connecte sur la bonne base et la bonne table puis Synchroniser les colonnes.

    3 - clic sur le tOracleInput puis Ligne puis Main et mets la souris sur le tOracleOutput comme ça tu établis un lien entre les 2 composants et ce sans passer par un tMap

    Wissem

+ Répondre à la discussion
Cette discussion est résolue.

Discussions similaires

  1. [MySQL] Deplacer des données d'une base à l'autre via un formulaire
    Par abdelkarim_1987 dans le forum PHP & Base de données
    Réponses: 15
    Dernier message: 20/06/2013, 08h59
  2. Réponses: 5
    Dernier message: 29/05/2013, 09h38
  3. Réponses: 1
    Dernier message: 03/02/2010, 13h38
  4. Réponses: 2
    Dernier message: 24/05/2007, 08h50
  5. Extraction de données d'une base à une autre
    Par edzodzinam dans le forum Oracle
    Réponses: 2
    Dernier message: 05/01/2007, 10h48

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo