IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

SSIS Discussion :

Load fact en récupérant le bon SK d'une dimension SCD2


Sujet :

SSIS

  1. #1
    Membre régulier
    Homme Profil pro
    Auditeur informatique
    Inscrit en
    Février 2012
    Messages
    131
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Auditeur informatique

    Informations forums :
    Inscription : Février 2012
    Messages : 131
    Points : 107
    Points
    107
    Par défaut Load fact en récupérant le bon SK d'une dimension SCD2
    Bonjour,

    Pour faire simple et court, j'ai une dimension Dim A de type SCD 2( RowStart, RowEnd et FlgIsCurrentRow) et une Fact 1. J'alimente cette fact à partir d'une source Source 1 qui contient les identifiants de la Dim A.
    Exemple Dimension DimA:

    SK| ID | ... | RowStart | RowEnd | FlgIsCurrent
    ---------------------------------------------------------------
    1 | AAA| ...| 01/03/2012| 05/03/2012| 0
    2 | AAA| ...| 05/03/2012| 26/03/2012| 0
    3 | AAA| ...| 26/03/2012| 31/12/9999| 1

    Lorsque j’alimente la fact, je fais un LOOKUP sur la Dim A pour récupérer le bon SK, en créant une requête dans le composant LOOKUP de SSIS. Je fais un INNER JOIN de la manière suivante :

    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    SELECT *
    FROM DimA INNER JOIN Source1
    ON Source1.ID = DimA.ID 
    AND Source1.DateStart >= DimA.RowStart 
    AND Source1.DateStart  < DimA.RowEnd
    J'aurai voulu savoir si c'est bien ainsi qu'on procède dans ce cas ? Et ensuite, y-a t-il une autre façon de faire ? Car j'ai remarqué que pour ce cas, le LOOKUP est assez lent (cache mode: partial cache et je fais une custom query)

  2. #2
    Membre régulier
    Homme Profil pro
    Auditeur informatique
    Inscrit en
    Février 2012
    Messages
    131
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Auditeur informatique

    Informations forums :
    Inscription : Février 2012
    Messages : 131
    Points : 107
    Points
    107
    Par défaut
    Je me suis peu-être mal exprimé ?
    Pourtant, je pense que c'est un cas courant que j'ai exposé...

  3. #3
    Membre émérite Avatar de FrancoisJehl
    Homme Profil pro
    BI Engineer
    Inscrit en
    Juillet 2009
    Messages
    1 485
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 40
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : BI Engineer
    Secteur : High Tech - Produits et services télécom et Internet

    Informations forums :
    Inscription : Juillet 2009
    Messages : 1 485
    Points : 2 883
    Points
    2 883
    Par défaut
    L'équipe SSIS avait résumé les possibilités dans ce genre de cas.
    - Lookup No Cache
    - Merge Join
    - Code Custo

    Ils avaient résumé les perfs dans ce post: http://blogs.msdn.com/b/mattm/archiv...e-lookups.aspx. Le pattern de range lookup en C# marche super bien, déjà testé.

  4. #4
    Membre régulier
    Homme Profil pro
    Auditeur informatique
    Inscrit en
    Février 2012
    Messages
    131
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Auditeur informatique

    Informations forums :
    Inscription : Février 2012
    Messages : 131
    Points : 107
    Points
    107
    Par défaut
    Merci à toi

    Quand tu parles de "pattern de range lookup en C#" c'est le point 3 (Script Component) de l'article de Matt Masson ? (je débute dans le domaine de la BI )

  5. #5
    Membre émérite Avatar de FrancoisJehl
    Homme Profil pro
    BI Engineer
    Inscrit en
    Juillet 2009
    Messages
    1 485
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 40
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : BI Engineer
    Secteur : High Tech - Produits et services télécom et Internet

    Informations forums :
    Inscription : Juillet 2009
    Messages : 1 485
    Points : 2 883
    Points
    2 883
    Par défaut
    Oui c'est ça, avec du BinarySearch dans un Dictionary. Bon courage!

  6. #6
    Nouveau membre du Club
    Homme Profil pro
    Consultant en Business Intelligence
    Inscrit en
    Novembre 2010
    Messages
    20
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Consultant en Business Intelligence

    Informations forums :
    Inscription : Novembre 2010
    Messages : 20
    Points : 26
    Points
    26
    Par défaut
    Une petite question FrancoisJehl. Pourquoi t'as bien précisé Lookup No Cache. Avec Cache ne marche pas ?

  7. #7
    Membre régulier
    Homme Profil pro
    Auditeur informatique
    Inscrit en
    Février 2012
    Messages
    131
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Auditeur informatique

    Informations forums :
    Inscription : Février 2012
    Messages : 131
    Points : 107
    Points
    107
    Par défaut
    Oula je ne connais pas du tout lol. Si tu as un exemple de code, je suis preneur
    Sinon la question sur le cache m'intéresse aussi. Chez moi avec cache ça fonctionne comme je l'ai expliqué plus haut dans le topic.

  8. #8
    Membre émérite Avatar de FrancoisJehl
    Homme Profil pro
    BI Engineer
    Inscrit en
    Juillet 2009
    Messages
    1 485
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 40
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : BI Engineer
    Secteur : High Tech - Produits et services télécom et Internet

    Informations forums :
    Inscription : Juillet 2009
    Messages : 1 485
    Points : 2 883
    Points
    2 883
    Par défaut
    Tu as le code en bas du post que je t'ai donné.

Discussions similaires

  1. Calculer un bon contraste d'une couleur
    Par Cypselos dans le forum Traitement d'images
    Réponses: 11
    Dernier message: 20/11/2009, 18h16
  2. Comment faire le bon choix d'une subroutine NAG
    Par supraconductivité dans le forum Fortran
    Réponses: 3
    Dernier message: 03/02/2008, 00h08
  3. ajouter une jpanel dans le bon emplacement dans une jframe
    Par jlassiramzy dans le forum Agents de placement/Fenêtres
    Réponses: 1
    Dernier message: 31/07/2006, 18h37
  4. Réponses: 5
    Dernier message: 12/04/2005, 10h45

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo