Discussion :

[szoubir]

Bonjour

Je réalise actuellement une étude comparative des différents ETL open source existants. Actuellement, je teste Talend. J'en ai choisi 4 (pour le moment) :
- Talend
- Kettle (Pentaho Data Integration : PDI)
- Clover.ETL
- Octopus

Connaissez vous d'autres outils qui soient comparables à Talend ou PDI?

J’ai compris les bases de l’ETL à savoir l’extraction des données à partir de sources différentes, la transformation des données et le chargement dans l’entrepôt de données. Cependant, je ne comprend pas comment mettre en œuvre dans l’outil les 3 phases.

Concernant l’existant, on a une application qui fait à peut prêt les mêmes fonctionnalités qu’un ETL. En gros, les sources émettent un fichier pivot (fichier texte formaté). Ensuite le fichier est lu et les données sont mises dans une table de fait temporaire (Oracle). Ensuite elles sont transformées et stockées dans une autre table Oracle sur laquelle les stat peuvent être effectuées.

Mon problème c’est une prise en main d’un outil ETL pour voir comment ça fonctionne concrètement.

Merci d’avance pour vos reponses.

[canto]

qu'est ce que tu appelle mettre en oeuvre dans l'outil les 3 phrases ?

[szoubir]

Merci pour ta reponse

Je teste actuellement Talend.

A partir de talend par exemple, je souhaite savoir comment faire pour extraire les informations des différents fichiers ou bases de données (ou autre source), transformer les données et ensuite les charger dans une table Oracle par exemple.

[canto]

ben c'est dans ton environnement graphique, tu défini le processus complet.

Tu vas d'abord mettre un extracteur où tu défini les paramètres de la base de données à exploiter (url, type, ...)

Puis tu met les différentes transformations à effectuer avec également les paramètres

et après tu met un output vers une base oracle, avec toujours les paramètres associés...

[szoubir]

Je vais essayé de faire ca
Je viens de voir un tutoriel + ce que tu m'as dis je voir maintenant comment faire les choses. Merci encore

[rphenix]

Bonjour,

Ce serait gentil à toi de nous donner le lien de ton tuto. je rencontre le même pb que toi, à savoir, mettre concrètement en place un ETL.

merci

[sdecloix]

@szoubir

juste pour info, les ETL Open source vraiment intéressants (qui disposent d'une interface graphique open source & iso-fonctionnels aux ETL commerciaux) sont:
- Kettle (Pentaho Data integration)
- Talend Open Studio

(Par exemple pour CloverETL, l'interface de design est payante)

Ci-dessous un lien vers un benchmark kettle/talend (déjà ancien par rapport aux versions testées, mais qui permet de voir les différences techniques des 2 outils) :
http://www.atolcd.com/actualites/det...-source-1.html