Discussion :

[adboyslim]

Bonjour à tous,
je travaille actuellement sur l'étude de divers outils ETL pour manager différents types de données. Je me suis penché plus en détail sur Kettle qui est un très bon outil Open Source utilisable à la fois en standalone via sa GUI ou dont les fonctionnalités sont intégrables dans une application Java via son API.
Seulement je me demandais si il était possible avec Kettle ou en utilisant un autre outil (de la suite Pentaho ou pas) de définir des données à un niveau logique.
Je m'explique; il est très intéressant de pouvoir extraire des données de différentes sources, les transformer et les réinjecter, mais il faut pour cela posséder des compétences techniques. J'aimerais pouvoir trouver une solution qui permettrait à des non-techniques (business ou autres) de définir leurs champs, leurs types, etc... tout cela a un niveau logique (plus haut level) sans pour autant devoir configuré des accès en base, ou autre.
Avez-vous une idée qui pourrait m'aider? Je peux essayer de m'expliquer plus en détail si vous le désirez.
Merci d'avance
Adrien

[MattCasters]

adboyslim, je connait l'idee. Il me manque le temps pour l'implementation, mais oui, on avance dans ce direction. De plus en plus on va utiliser des transformations et jobs géneré dynamiquement, bassé sur du metadata.

A la fin, on aura une combination de Pentaho Data Integration et Pentaho Metadata: http://wiki.pentaho.org/display/Pent...etadata+Editor

Matt

[adboyslim]

Ah ca à l'air interessant tout ca Matt. Ou en etes vous du developpement?
A ce que je comprend, la version actuelle permet de faire de la modélisation, mais pas d'exporter les schémas et de les convertir pour Kettle par exemple.
Pour ce qui est de définir les données d'un point de vue purement logique, est-ce que l'input step "Generate Row" de Kettle n' a pas été crée plus ou moins pour ca? Je ne comprends pas bien son utilité, si tu peux m'éclairer un peu la dessus.

[MattCasters]

Supposons, on a un répositoire central de meta-données.
Par example, Pentaho Metadata.

En principe, tu peut eviter de définir les connections 2 fois. Pareille pour les tables, les requetes SQL, etc.

Alors, a ce moment tu peut créer un autre util, qui utilise ce metadata pour la géneration d'une serie de transformations, par example pour:
- validations de data entre plusieurs RDBMS
- population d'un data warehouse
- etc.

Maintenant je crois les choses a faire sont:
- créer un service a distance (genre SOA) pour Pentaho metadata (Buda par example)
- définition des besoins pour ces nouvelles applications. :-)

Matt

[uraxyd]

l'ETL informatica est tres facile a prendre en mains pour des non technique, meme si tout depend de la complexité de la tache a réaliser ....

[adboyslim]

Merci uraxyd pour ton info.
Je n'ai jamais testé ce soft. Peux-tu me dire rapidement si informatica est LGPL, si il fournit autant de fonctionnalités ETL que Talend ou Kettle et si il fournit une API?
Merci

[uraxyd]

Informatica c'est payant et la license est TRES chère et il fournit bcp plus d'options que Talend ou Kettle ...

[adboyslim]

Ok, merci.
En l'occurence mon budget est de 0.