Discussion :

[aqavach]

Bonjour à tous,

dans une alimentation periodique de la table des faits d'un datawarehouse j'aimerais savoir si il faut d'abord la vider avant de lancer le package ssis d'alimentation, comme ça on re-enregistre les ancienne valeurs de la table des faits plus de nouvelles ( les plus recentes) de la base de production (ces données n'étaient pas dans la table lors du précédent chargement).

Ou bien est-ce qu'il existe une technique qui permet lors de l'alimentation d'une table de fait, de ne charger que les nouvelles données de la base de production (les anciennes étant déja chargées)!

J'espere que c'est clair pour vous, et vous remercie d'avance

[Sam3oul]

Bonjour,

Alors comme possibilité, tu as :

1) UPSERT (Update + Insert),

2) SCD (Slowly Changing Dimension),

3) Récupérer les lignes qui ont été insérées dans la base de production après la dernière exécution de ton lot SSIS (il faudrait te baser sur un champ de type date si il existe au niveau de la base de production).

Mais rien qu'avec la première, tu atteindras sans problème ton objectif.

Bon courage

[aqavach]

merci Sam3oul,

je pensais que SCD (Slowly Changing Dimension), ne concerne que les tables de dimensions. mais dans mon casil y a aussi la table des faits!!, tu pense que c'est la meme chose pour les deux ??

[Sam3oul]

Effectivement, le SCD s'adresse en premier lieu aux dimensions. Et même si je suis assez déçu des performances de ce composant, il permet quand même de belles choses notamment pour la gestion des "versions" des lignes.

Toutefois, si je t'ai parlé de cette option c'est parce que tout simplement au niveau datawarehouse, on ne parle pas de dimensions ou de tables de faits mais de "entités". Donc, pour moi, la distinction ne se fait pas à ce niveau.

Après, il vaudrait mieux opter pour l'UPSERT (tu trouveras des posts sur ce forum à ce sujet) si tu veux optimiser le temps d'exécution de ton package.

Voilà si quelqu'un a un autre avis sur le sujet, le débat est ouvert

[Aik001]

Sam3oul, si tu es déçu par le composant SCD fourni par défaut avec SSIS, je te conseille le composant Kimball SCD qui est un composant additionnel bien plus performant et plus complet:
http://aurelien-koppel-pps.blogspot....nsion-scd.html

aqavach, tu peux en effet très bien utiliser une méthode SCD, comme son nom ne l'indique pas, sur une table de fait.
Dans l'hypothèse où tu choisis une historisation (type 2) sur cette table de fait, tu devras faire attention à ne prendre en compte dans le cube que les versions actives de tes faits.

[aqavach]

Merci pour vos repense, permettez moi d'ajouter une pecesion (question): je n'essaye pas de gérer les attributs à dimension lentes et donc je ne suis pas dans la problimatique e choisir le type 1 ou 2 ....

Je vous donne un exemple tres simple :
'jai une table de fait vente, et supposant qu'elle contient 2 faits v1 et v2.

aujourd'hui il y a eu une nouvelle vente "v3", elle est enregistrée dans la base de production (mais pas encore dans la datwarehous).

maintenant, si je lence le package de charegement de la table des faits, le package cherchera dans la base de production et trouvera v1, v2 et v3.
la question est: comment faire pour que le package ne cherge que v3 (le nouvel fait). v1 et v2 etant déja dans la table .

[Aik001]

Compte tenu de l'exemple que tu donnes, tu n'as en effet pas besoin de composant SCD. Une simple opération de "recherche" (lookup) te permettra de vérifier si ta ligne de fait est déjà présente ou non dans ton DWH. Si elle est présente (sortie avec correspondance), tu ne fais rien, si elle ne l'est pas (Sortie sans correspondance) tu l'inséres.

Tu aurais pu utiliser le composant Kimball SCD si tu avais souhaité répercuter les changement pouvant s'opérer sur les lignes déjà chargées (ex: v1 ou V2 qui sont modifiées depuis le dernier chargement)

[tonitoBI]

Bonjour,

Pour moi, il faut que tu trouves un critère pour gérer un chargement incrémentiel ....
Les rechargements complets ou différentiels pour les faits peuvent devenir très long, très rapidement... Après, si tu sais dans quelle mesure tes volumes de faits vont évoluer dans les prochaines années et que tu peux faire des tests pourquoi pas ... mais ca me semble être la solution à envisager lorsque tu n'as pas d'autre choix ...
Mais si tu peux utiliser un N° de sequence, une date de création,...ca reste, me semble le plus efficace.
Tu stockes ce critère dans le DW, tu réutilises en début de traitement pour savoir ou tu t'étais arrêté au dernier traitement et le met a jour en fin de traitement ....

[aqavach]

Je vous remerci pour toutes vos remarques !