Discussion :

[szoubir]

Merci pour le lien !!!

Au fait, il y a des composants spécifiques Oracle : tOracleOutput, tOracleInput, ou alors tu parles des composants tDBOutput, tDBInput ?

Oui il y a des composants spécifiques oracle. Si tu les as pas c'est surement parce que le package oracle n'est pas installé... SI je me trompe pas j'ai eu la meme chose

Avis aux autres : SI je me trompe n'hesitez pas à me corriger je debute egalement

[missjustme]

Je pense que ca viens du fait que dans les propriétés du composant tDBInput, tu n'as pas spécifié le schema (schema type). Tu as une liste qui contient soit built-in (par defaut) ou repository. C'est dans repository que tu spécifies ton schema. Ton schema correspond à la structure de ta table ou fichier txt/

Dans ton cas, pour accèder à oracle, il faut que, dans le menu Metadata, tu crée l'accès à ta base de données et que ensuite tu spécifies cet accès dans property type.

Je ne sais pas si j'ai été clair.

Ben j'ai déjà créé une connexion dans Metadata... Et quand je configure les propriétés de mon tDBInput, je choisis "repository"... Le champ "schema" est alors mis automatiquement à chaine vide (''). La connexion à la BD marche nickel... mais l'erreur sur le schema non défini persiste !

Quand j'essaie de mettre quelque chose à la place de la chaine vide pour le schéma, alors Property Type repasse automatiquement à Built-in !

[szoubir]

Ressai d'installer le package oracle ca doit etre ca qui te fais planter tout

[co2]

Ben j'ai déjà créé une connexion dans Metadata... Et quand je configure les propriétés de mon tDBInput, je choisis "repository"... Le champ "schema" est alors mis automatiquement à chaine vide (''). La connexion à la BD marche nickel... mais l'erreur sur le schema non défini persiste !

Quand j'essaie de mettre quelque chose à la place de la chaine vide pour le schéma, alors Property Type repasse automatiquement à Built-in !

Bonjour,

En fait, il faut que dans ton repository tu crees la connexion à ta base de données (ce que tu as fait vu le screenshot que tu as posté) et que tu reccuperes les metadonnées des tables à utiliser (bouton droit sur ta DBConnection et "retrieve schema". Si tu as une ancienne version de T.O.S., le nom de l'action était "create schema").

Tu as plus d'info sur le guide d'utilisateur en pages 45 à 49 (version francaise du manuel à http://www.talend.com/downloads-tale...#documentation

Et tu peux voir aussi un tutoriel en flash qui te permettra de voir cela en image
http://www.talend.com/tos/tutorials/....php?sid=md/dt

Ensuite dans ton tOracleInput (ou tDBInput) tu dois specifier ta DBCon et ton schéma. Dis moi si cela ne marche pas !

Bon courage,
Cédric Carbone
Talend CTO
La version 2.0.0 stable de Talend Open Studio sort le 10 avril 2007 : www.talend.com

[shalouf]

moi j'ai quelques questions:

- peut ajouter des drivers JDBC dans talend afin de dialoguer avec d'autres bases que celles deja intégrées a talend??

- les informations de connections a la base (login et mot de passe) sont en clair dans un fichier. est ce qu'il ya moyen de crypter ces informations ??

[co2]

moi j'ai quelques questions:

- peut ajouter des drivers JDBC dans talend afin de dialoguer avec d'autres bases que celles deja intégrées a talend??

Je t'invite à suivre le guide http://talendforge.org/wiki/doku.php...onent_creation
et à regarder le contenu d'un connecteur de base de données (par exemple TOS-Win32-r3065-V2.0.0\plugins\org.talend.designer.components.localprovider_2.0.0.r3065\components\tOracleInput ) Tu verras que dans le répertoire d'un connecteur, tu as le driver JDBC et dans le fichier de description XML un lien vers ce driver JDBC (Cf. image ci-dessous)



Nous ferons prochainement un wizzard pour faciliter la gestuib de des drivers JDBC.

- les informations de connections a la base (login et mot de passe) sont en clair dans un fichier. est ce qu'il ya moyen de crypter ces informations ??

On travaille sur un repository en base de données (et non XML comme c'est le cas actuellement dans TOS) où les champs pasword sont encryptés.
Cela n'empeche pas qu'on va cependant crypter ces passwords dans nos fichiers XMI actuel. Tu peux suivre cette fonctionnalité via notre bugtracker http://talendforge.org/bugs/view.php?id=949 afin d'etre notifié des que cela sera disponible (ou meme discuter avec le développeur qui l'implémente.)

Cédric Carbone

[shalouf]

merci de votre reponse, je regarde ca des maintenant.

[Flipmode]

Bonjour

Je veux utiliser un ETL pour pouvoir faire de la réplication de base de données Oracle et créer des Jobs...

Je ne sais pas quoi choisir entre Kettle et Talend! Quel est le meilleur entre les 2?

Existe il une autre solution encore meilleure pour mon besoin?

J'ai téléchargé et installé les 2 ETL open source pour les tester.

J'ai des plusieurs messages d'erreurs avec Kettle lorsque j'execute mon traitement (je fais une extraction d'une table puis une insertion dans une autre table de la meme base de données). Voici le message d'erreurs:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
 
2007/04/23 09:50:23 - test2 - ERROR (version 2.4.0, build 742 from 2007/01/27 12:29:00) : java.sql.SQLException: ORA-00001: unique constraint (OKAIDI.CMS_TEST2_PK) violated
 
2007/04/23 09:50:23 - test2 - ERROR (version 2.4.0, build 742 from 2007/01/27 12:29:00) : 	at oracle.jdbc.driver.DatabaseError.throwSqlException(DatabaseError.java:125)
2007/04/23 09:50:23 - test2 - ERROR (version 2.4.0, build 742 from 2007/01/27 12:29:00) : 	at oracle.jdbc.driver.T4CTTIoer.processError(T4CTTIoer.java:305)
2007/04/23 09:50:23 - test2 - ERROR (version 2.4.0, build 742 from 2007/01/27 12:29:00) : 	at oracle.jdbc.driver.T4CTTIoer.processError(T4CTTIoer.java:272)
2007/04/23 09:50:23 - test2 - ERROR (version 2.4.0, build 742 from 2007/01/27 12:29:00) : 	at oracle.jdbc.driver.T4C8Oall.receive(T4C8Oall.java:623)
2007/04/23 09:50:23 - test2 - ERROR (version 2.4.0, build 742 from 2007/01/27 12:29:00) : 	at oracle.jdbc.driver.T4CPreparedStatement.doOall8(T4CPreparedStatement.java:181)
2007/04/23 09:50:23 - test2 - ERROR (version 2.4.0, build 742 from 2007/01/27 12:29:00) : 	at oracle.jdbc.driver.T4CPreparedStatement.execute_for_rows(T4CPreparedStatement.java:543)
2007/04/23 09:50:23 - test2 - ERROR (version 2.4.0, build 742 from 2007/01/27 12:29:00) : 	at oracle.jdbc.driver.OracleStatement.doExecuteWithTimeout(OracleStatement.java:1028)
2007/04/23 09:50:23 - test2 - ERROR (version 2.4.0, build 742 from 2007/01/27 12:29:00) : 	at oracle.jdbc.driver.OraclePreparedStatement.executeInternal(OraclePreparedStatement.java:2888)
2007/04/23 09:50:23 - test2 - ERROR (version 2.4.0, build 742 from 2007/01/27 12:29:00) : 	at oracle.jdbc.driver.OraclePreparedStatement.executeUpdate(OraclePreparedStatement.java:2960)
2007/04/23 09:50:23 - test2 - ERROR (version 2.4.0, build 742 from 2007/01/27 12:29:00) : 	at be.ibridge.kettle.core.database.Database.insertRow(Database.java:1774)
2007/04/23 09:50:23 - test2 - ERROR (version 2.4.0, build 742 from 2007/01/27 12:29:00) : 	at be.ibridge.kettle.trans.step.tableoutput.TableOutput.writeToTable(TableOutput.java:178)
2007/04/23 09:50:23 - test2 - ERROR (version 2.4.0, build 742 from 2007/01/27 12:29:00) : 	at be.ibridge.kettle.trans.step.tableoutput.TableOutput.processRow(TableOutput.java:72)
2007/04/23 09:50:23 - test2 - ERROR (version 2.4.0, build 742 from 2007/01/27 12:29:00) : 	at be.ibridge.kettle.trans.step.tableoutput.TableOutput.run(TableOutput.java:334)
2007/04/23 09:50:23 - Extraction depuis table.0 - Finished reading query, closing connection.
2007/04/23 09:50:23 - Insertion dans table.0 - ERROR (version 2.4.0, build 742 from 2007/01/27 12:29:00) : Because of an error, this step can't continue: 
2007/04/23 09:50:23 - Insertion dans table.0 - ERROR (version 2.4.0, build 742 from 2007/01/27 12:29:00) : Error inserting row into table [CMS_TEST2] with values: [ID_ARTICLE=53, NOM_ARTICLE=aftyde
, ETAT_PUBLICATION=br]
2007/04/23 09:50:23 - Insertion dans table.0 - ERROR (version 2.4.0, build 742 from 2007/01/27 12:29:00) : 
2007/04/23 09:50:23 - Insertion dans table.0 - ERROR (version 2.4.0, build 742 from 2007/01/27 12:29:00) : Error inserting row
2007/04/23 09:50:23 - Insertion dans table.0 - ERROR (version 2.4.0, build 742 from 2007/01/27 12:29:00) : ORA-00001: unique constraint (OKAIDI.CMS_TEST2_PK) violated
 
2007/04/23 09:50:23 - Insertion dans table.0 - Fin éxécution étape (Entrées=0, Sorties=0, Lues=1, Ecrites=0, Maj=0, Erreurs=1)
2007/04/23 09:50:23 - TEST - ERROR (version 2.4.0, build 742 from 2007/01/27 12:29:00) : Erreurs détectées!
2007/04/23 09:50:23 - TEST - Recherche étape: Extraction depuis table
2007/04/23 09:50:23 - Extraction depuis table.0 - Fin éxécution étape (Entrées=173, Sorties=0, Lues=0, Ecrites=173, Maj=0, Erreurs=0)
2007/04/23 09:50:23 - TEST - Recherche étape: Insertion dans table
2007/04/23 09:50:23 - Spoon - La transformation s'est achevée!!

A quoi correspondent elles? Comment je peux les supprimer?

Merci de votre aide et de vos réponses

[co2]

A quoi correspondent elles? Comment je peux les supprimer?

Merci de votre aide et de vos réponses

Je ne suis pas expert Kettle mais l'erreur remontée semble provenir de ton Oracle parce que l'on de ton insertion/modication, tu vas à l'encontre d'une clef étrangère (en gros tu essayes par exemple d'inserré une ligne "enfant" qui référence une ligne "parent" qui n'existe pas encore)

Sinon, as tu essayé avec Talend Open Studio? Dans le repository des metadata, tu peux réccupérer le schema de tes tables sources, utiliser un tOracleInput pour réccupérer tes données, faire tes transformations via un outil visuel (tMap) et enfin charger en bulk tes données via le tOracleOutputBulkExec.

Cordialement,

Cédric Carbone

[Flipmode]

Merci de rapidement.

Je ne suis pas expert Kettle mais l'erreur remontée semble provenir de ton Oracle parce que l'on de ton insertion/modication, tu vas à l'encontre d'une clef étrangère (en gros tu essayes par exemple d'inserré une ligne "enfant" qui référence une ligne "parent" qui n'existe pas encore)

Je vais regarder a ce niveau pour resoudre mes bugs

Sinon, as tu essayé avec Talend Open Studio? Dans le repository des metadata, tu peux réccupérer le schema de tes tables sources, utiliser un tOracleInput pour réccupérer tes données, faire tes transformations via un outil visuel (tMap) et enfin charger en bulk tes données via le tOracleOutputBulkExec.

J'ai essayé avec Talend! J'ai juste utiliser un tOracleInput pour récupérer mes sources, j'ai créer un schemaet un tOracleOutput. J'ai crée une nouvelle connexion dans le repository metadata.

[Flipmode]

Sinon, as tu essayé avec Talend Open Studio? Dans le repository des metadata, tu peux réccupérer le schema de tes tables sources, utiliser un tOracleInput pour réccupérer tes données, faire tes transformations via un outil visuel (tMap) et enfin charger en bulk tes données via le tOracleOutputBulkExec.

Je ne comprend pas bien l'utilité du tMap! Comment marche le tMap?
Est ce que je suis obligé de l'utiliser pour faire une réplication identique entre ma base principale et ma 2eme base (copie de la base principale)? Je ne veux pas transformer mes données, je veux juste que les données présentes dans mes 2 tables soit identiques

Peux tu m'expliquer l'interet de charger en bulk via le tOracleOutputBulkExec?

Un grand merci de ton aide

[Flipmode]

Sinon, as tu essayé avec Talend Open Studio? Dans le repository des metadata, tu peux réccupérer le schema de tes tables sources, utiliser un tOracleInput pour réccupérer tes données, faire tes transformations via un outil visuel (tMap) et enfin charger en bulk tes données via le tOracleOutputBulkExec.

Je ne comprend pas bien l'utilité du tMap! Comment marche le tMap?
Est ce que je suis obligé de l'utiliser pour faire une réplication identique entre ma base principale et ma 2eme base (copie de la base principale)? Je ne veux pas transformer mes données, je veux juste que les données présentes dans mes 2 tables soit identiques

Peux tu m'expliquer l'interet de charger en bulk via le tOracleOutputBulkExec?

Un grand merci de ton aide

[co2]

Je ne comprend pas bien l'utilité du tMap! Comment marche le tMap?
Est ce que je suis obligé de l'utiliser pour faire une réplication identique entre ma base principale et ma 2eme base (copie de la base principale)? Je ne veux pas transformer mes données, je veux juste que les données présentes dans mes 2 tables soit identiques

Non, tu n'es pas obligé de l'utiliser si tu n'as pas de transformation à faire et donc des schémas sources et cibles identiques. Cpt, bien souvent au début du projet il n'y a pas de transformation et les schémas sont identiques entre tes tables sources et cibles mais apres qq mois, ton appli source va être modifiée et modifier tes schemas source sans pour autant que ton appli cible soit modifiée et donc tu auras des schemas différents entre tes tables sources et tes tables cibles (ou vice versa).

Pour savoir comment marche un tMap, regarde le user Guide http://www.talend.com/ressources/documentation.php ou bien si tu n'aimes pas trop lire et préfères regarder des tutos flash je te conseille d'aller à http://www.talend.com/tos/tutorials/menu.php et de regarder les scenarios nommées JOBDESIGN5 (3min) et le TMAP1 ( 6 minutes)

Peux tu m'expliquer l'interet de charger en bulk via le tOracleOutputBulkExec?

En terme de perf, cela est le jour et la nuit! On va créer un fichier préformaté pour Oracle et le charger en une fois via un utilitaire d'Oracle (SQLLDR). A ma connaissance on n'est le seul ETL Open Source à proposer ce chargement en Masse (dédié à Oracle).
A noter qu'on le fait également pour d'autres bases de données comme Sybase (BCP), MySQL (hyper simple car ordre SQL), Postgres (hyper simple car ordre SQL), SQLServer (BCP)... Je sais qu'il devrait normalement apparaitre pour MySQL uniquement dans la prochaine version de Kettle qui devrait sortir prochainement.

Cédric Carbone

[Flipmode]

Merci beaucoup pour ton aide

J'ai encore besoin de toi

J’ai crée mon Job, il est composé de 3 éléments :1 tOracleInput qui est relié à un tMap qui lui est relié à un tOracleOutput.
J’ai bien crée ma connexion a ma base de données dans le métadata.
J’ai réglé le property Type, le Schema Type et le Query de mon tOracleInput.
J’ai bien géré le tMap a l’aide du Map éditor.

Il ne me met aucune erreur, et aucun warning mais quand je fais le run (job) voici l’erreur qu’il m'affiche :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
 
Starting job newJobs at 14:55 23/04/2007.
[trace] connecting to socket on port 4334
[trace] connected
Exception in thread "main" java.lang.Error: Unresolved compilation problem: 
	CMS_TEST2 cannot be resolved
 
	at test.newjobs.newJobs.tOracleInput_1Process(newJobs.java:257)
	at test.newjobs.newJobs.main(newJobs.java:707)

Je ne comprends pas pourquoi il me met ce message d’erreur!
Ma table CMS_TEST2 est crée dans ma base de données et elle est vide.

D’avance merci pour ton aide.

Cordialement Philippe

[mhirt]

Bonjour Philippe,

Pouvez-vous poster le schéma du tOracleInput et le mapping tu tMap ?

Cordialement,
Michaël.

[Flipmode]

Bonjour Mickael

Tout d'abord merci d'avoir repondu a mon post. Je suis bloqué à cause de l'erreur du post précédent

Voici le schema de mon tOracleInput et le mapping de mon tMap:





Merci d'avance

Cordialement Philippe

[mhirt]

Y a t-il un espace dans le nom de votre table ?

[Flipmode]

Non il n'y a pas d'espace dans mon nom de table

J'ai resolu le problème en faisant quelques changements dans le mapping... et ça marche j'ai une copie exacte de ma 1ere table

Maintenant il faut que j'arrive a gérer le tOracleOutputBulkExec pour ameliorer les performances mais je ne sais pas trop comment l'utiliser

Si quelqu'un a deja utilisé tOracleOutputBulkExec ...

Merci de votre aide

Philippe

[co2]

Non il n'y a pas d'espace dans mon nom de table

J'ai resolu le problème en faisant quelques changements dans le mapping... et ça marche j'ai une copie exacte de ma 1ere table

Peux tu nous en dire plus sur l'origine de ton erreur afin que cela serve aux autres personnes qui pourraient faire la meme erreur que toi!

Maintenant il faut que j'arrive a gérer le tOracleOutputBulkExec pour ameliorer les performances mais je ne sais pas trop comment l'utiliser

Pour cela je te renvoie tout d'abord à la doc d'installation de TOS ( http://www.talendforge.org/wiki/doku...tabase_clients ) qui précise qu'il faut installer le client Oracle pour pouvoir accéder à ces fonctions de bulk.

Peux tu nous donner quelques informations :
-quelle version d'Oracle utilises-tu?
-combien de temps prends ton job?
-combien de lignes as-tu à copier?
-dans quel mode est ton tOracleOutput (ex "Insert or Update")?
-est-ce dans la meme instance d'Oracle que tu as à faire ta copie de table (dans ce cas les composants ELT seront encore plus rapide!)?

Cedric

[Flipmode]

Peux tu nous en dire plus sur l'origine de ton erreur afin que cela serve aux autres personnes qui pourraient faire la meme erreur que toi!

Mon problème était dans ma base de données, une valeur ne correspondait pas au type de données et j’avais oublié les « » pour le nom de ma table dans le tOracleOutput

Pour cela je te renvoie tout d'abord à la doc d'installation de TOS ( http://www.talendforge.org/wiki/doku...tabase_clients ) qui précise qu'il faut installer le client Oracle pour pouvoir accéder à ces fonctions de bulk.

J’ai déjà le tOracleBulkExec dans ma palette ( Database/Oracle) donc je pense que je n’ai pas besoin d’installer le client Oracle pour pouvoir accéder aux fonctions de bulk.

Peux tu nous donner quelques informations :
-quelle version d'Oracle utilises-tu?
-combien de temps prends ton job?
-combien de lignes as-tu à copier?
-dans quel mode est ton tOracleOutput (ex "Insert or Update")?
-est-ce dans la meme instance d'Oracle que tu as à faire ta copie de table (dans ce cas les composants ELT seront encore plus rapide!)?

J’utilise la version d’Oracle Database 10g.
Mes jobs prennent moins d’une minute.
J’ai environ 200 à 500 lignes à copier (ça depend des tables).
Pour le moment le tOracleOutput est en mode Insert mais apres je vais passer en mode Update.
J’aurai des Jobs pour la réplication de mes tables et d’autres jobs (mails…)
Oui c’est dans la meme instance d'Oracle que j’ai à faire ma copie de table.


J’ai vu qu’on pouvait utiliser les fichiers .csv dans le File delimited…
Est-ce qu’a partir d’un fichier CSV je peux construire une table dans ma base de données Oracle ? Si oui quels sont les objets de la palette que je dois utiliser.

Merci pour vos réponses