Discussion :

[wolf1109]

bonjour,

je dois commencer à travailler avec desicionStream et je n'ai aucune idée de comment ça marche

est ce que quelqu'un pourrait me donner une documentation qui contient une présentation de ce ETL, comment l'installer? et l'utiliser?

de preference une documentation en Français.

Merci bcp d'avance

[decisio]

bonjour,

as tu de la documentation sur datastage? j'ai des interface a creer et je n'ai utiliser que sunopsis ? merci

Bonjour


En ce qui concerne Datastage, toutes les opérations se font en mémoire et ensuite, on décharge dans la table cible avec un commit tous les n lignes (paramètrage)

Sunopsis travaille en base cible ou source et travaille donc dans des tables temporaires. Les lignes en erreurs sont stockées dans une table spécial.

En ce qui concerne OWB (Orale Warehouse Builder), c'est du pur oracle donc il travaille en base et sur des tables temporaires.

Je suis en auto-formation sur Informatica donc je ne peux pas parler.


Le fait de travailler dans une table temporaire puis vidée dans la table cible ne ralentit pas vraiment le processus. Il faut considérer que tu auras fait des tests au préalable qui te permettront de savoir si UPDATE ou INSERT. Dans tous les cas, ce sera en masse que les opérations se feront.

Ensuite dans un projet de DWH de grande envergure, tu vas travailler avec 3 users:

SOURCE ===> ODS ==> DWH

Tous les calculs se feront dans l'ODS et le chargement dans DWH se fera directement.

En espérant avoir apporter une petite pierre à ton édifice

Frédéric

[pnoel-bi]

Bonjour à tous,

ETL
extraction des données. Pour produire les indicateurs voulus, il convient d'aller chercher les données où elles se trouvent. Connecté aux différentes applications et bases de données, l'outil d'ETL se charge de récupérer ces données et de les centraliser dans une base de données particulière, l'entrepôt de données.

Dans le cadre d’une approche de type entrepôt de données, un automate d’alimentation évolué permet de gérer de façon automatique et simple les flux d’information depuis les différents systèmes opérationnels vers l’entrepôt de données :
extraction
filtrage/nettoyage
transformations
chargement
gestion d’un référentiel
suivi d’exploitation

Cet automate permet de :
référencer les structures de données sources et/ou cibles
centraliser les règles de gestion
modéliser l’ensemble des agrégats
définir toutes les règles de transformation
programmer les processus d’alimentation
maintenir les développements

Il permet également de :
planifier les exécutions de chaque processus d’alimentation
ordonnancer les processus d’exploitation
répartir, paralléliser et synchroniser les exécutions.

Voici ma contribution sur la connaissance des ETL pour le reste de la Business Inelligence voir mon blog http://noel-bi.blogspot.com/

Cordialement

[Msofiene]

Phase Description de la phase Tâche Description de la tâche Responsable
I Mise en place de l'environnement de développement 1 Configurer l'infrastructure matérielle DBA
2 Intallation des logiciel et outils DBA / A-ETL
3 Mettre en place les documents sur les meilleures pratiques et normes G-ETL/A-ETL
II Analyse des besoins d'affaires 1 Revue de la documentation existante avec le Data Modeller A-ETL/A-Système
2 Définition et documentation des règles d'affaires A-ETL/A-Système
3 Analyse des systèmes sources A-ETL/A-Système
4 Définition de la portée des phases de projet G-ETL
III La conception des mises en correspondance des données ( Logical data mapping) 1 Revue du modèle de données de l'entrepôt de données A-ETL
2 Revue des règles d'affaires A-ETL
3 Analyse des systèmes sources A-ETL
4 Création du document de mise en correspodance des données A-ETL
IV Stratégie de qualité de données 1 Définition des règles de la qualité de données G-ETL/S-Q-D
2 Documentation des défauts de données G-ETL/S-Q-D
3 Affectation de la responsabilité des défauts de données G-ETL/S-Q-D
4 Création du document de mise en correspodance des données G-ETL/S-Q-D
5 Sensiblisation des utilisateurs finaux des défauts de données. G-ETL/S-Q-D
6 Intégration des règles de qualité dans le document de mise en correspondance G-ETL/S-Q-D
V Développement des processus ETL 1 Revue du document de mise en correspondance D-ETL
2 Développement des dimensions simples D-ETL
3 Developpement des dimensions SCD-2 ( Historique) D-ETL
4 Développement des dimensions SCD-2 ( Incrémental) D-ETL
5 Développement des tables de faits ( Historique) D-ETL
6 Développement des tables de faits (Incrémental) D-ETL
7 Automatisation des processus. D-ETL
VI Tests unitaires -- Tests d'assurance qualité -- Test d'acceptation 1 Mise en place de l'environnement de test DBA / A-ETL
2 Création des plans de test et les scripts A-Système
3 Chargement des données D-ETL
4 Éxécution des scripts de tests unitaires A-Système
5 Contrôle de la qualité de données A-Système
6 Validation des données A-Système
7 Validation des règles d'affaires A-Système
8 Obtention de l'acceptance G - ETL
VII Déploiement 1 Création des documents de support A-ETL
2 Création des documents des mécanismes de récupération A-ETL
3 Mise en place de l'environnement de prod. A-ETL
4 Chargement des données historiques A-ETL
5 Ordonnancement des processus incrémental A-ETL
VII Maintenance 1 Développement des rapports d'audit pour les problèmes connus A-ETL
2 Vérification des journaux d'éxécution A-ETL
3 Mise en place de l'environnement de prod. A-ETL


Légende
G-ETL : Gestionnaire ETL
A-ETL : Architecte ETL
A-Système : Analyste système
S-Q-D : Spécialiste qualité de données
DBA : Administrateur de base de données

Légende

[CONSULTANT_SQLI]

Connaitriez vous un livre, guide sur les concepts ETL, méthodologie ?

Ainsi qu'un bouquin sur la méthodologie ETL avec SQL Server 2005.

Thibaut.

Bonjour Thibaut,

En ce qui concerne un livre, tu as celui de Raph Kimball "ETL : Datawarehouse Tool kit".

Cordialement

[TANIE]

Bonjour à tous je travaille sur un projet de recherche sur la sécurité des entrepôts de données, et j'ai du mal à trouvé de la documentation déçus.par contre sur le entrepôts j'en trouve mais pas leur sécurité.
s'il vous plâit quelqu'un aurait une idée sur le sujet ( sécurite ETL,data mining,SIAD)
merci d'avance

[decisio]

Bonjour,
Je suis à la recherche de documentation concernant Datastage px...
Merci à tous pour votre aide

[zerocoolyoussef]

En faite la meilleur explication que j'ai trouvé est dans les webbinars de talend(http://www.talend.com/webinar/archive/index.php) intitulé:ELT:chargement haut performance pour vos datawarehouse où il présente:
* Ce qu'est l'ELT (Extraction, Chargement & Transformation) et les différences avec le mode ETL
* Les avantages de l'approche ELT pour le chargement de data warehouses
* Quand choisir l'ELT, l'ETL, ou une combinaison des deux.

[spax]

Une question ,

On parle dans tous les postes et livres que j'ai lus des "best practices des ETL" mais j'en ai vu aucun document qui les comportent,

quelqu'un aurai un support ? c'est quoi ces "best practices" ? ou sont ils ...

[Farhat1985]

Bonjour,

Franchement j'ai un conflit entre ELT et ETL sous Talend
En fait selon mes connaissances Talend c'est un ETL et ELT c'est les composants qui sont sur le Palette sous le répertoire ELT.
A mon avis que les restes des composants (sauf les composants ELT) sont des composants ETL.
Est-ce que ce bien que je disais si non quelqu'un peut me corriger SVP?