[SSIS] [2K5] chargement de la table des faits

**aqavach** · 11/06/2009, 14h50

Bonjour tout le monde,

pour allimenter mon schema en etoile, je procede comme suit:

1- je charge les dimensions : et ça se passe tres bien
2- je charge (essaiye de charger ) la table des faits: et ça coice

je m'explique :
le flot de données de chargement de la table des faits est composé principalement de jointures (avec Merge join) entre les tables co,cernées par le fait "des tables où je recupere les mesures et d'autres les identifiants des dimensions). sachant que j'utilise les clés de substitutions, j'ai utilisé vers la fin une cascade de Look up afin de recuperer ces clés des tables de dimensions. Mais le probleme c'est que l'execution se bloque (où ne se termine plus "j'ai lessé plus d'une heure sans resultat"

".

Je regarde dans le fichier Progress, je pense que ça se bloque au niveau des Look up ("je vois que 2 ou 3 sont executés")

est ce que vous avez une idées du pourquoi l'execution se bloque ??

aussi, est ce que vous avez une idée du temps qu'il faut à ssis pour charger un seul schema en etoile (une seule table de faits avec ses dimensionss)???

je vous remerci d'avance

**patriceharel** · 11/06/2009, 15h48

Bonjour

As tu tenté de lancer les packages hors de Visual Studio?. Sinon tu peux toujours fermer puis rouvrir Visual Studio.

Ensuite le chargement d'un datawarehouse est variable (performance des lots SSIS, nombre de données). Personnellement, j'ai connu des SI dont la phase ETL durait plus de 4h (mais là on parle de millions de lignes avec des contraintes d'intégration de folie

).

**aqavach** · 11/06/2009, 16h17

Envoyé par patriceharel

Bonjour

As tu tenté de lancer les packages hors de Visual Studio?. Sinon tu peux toujours fermer puis rouvrir Visual Studio.
.

salut patriceharel,

j'ai des table pas male moi aussi : une de 27000 lignes, une auutre de 22000 (j'en ai 4 de ce gabarie).

pour tes propositions: je ne sais pas comment lancer les packages hors de Visual Studio (je suis debutant). tu peux m'expliquer la procedure stp ?

**patriceharel** · 11/06/2009, 16h34

Pas de soucis... Pour ça tu double clique sur ton package (.dtsx) et tu cliques sur Execute.

**aqavach** · 12/06/2009, 10h39

Merci patriceharel,

donc j'ai fait quelque modif sur mon package d'allimentation de la table des faits, et finalement ça marche plutit bien (l'execution c'est terminée avec succes

).

pour parler des grandeurs, est ce que je peux avoire ton avis sur ça:

je charge envirant 45 000 lignes en 8 minutes !!!!!!, (est ce que c'est lent??)

**patriceharel** · 12/06/2009, 11h05

Est ce que tu pourrais faire un bref résumé des modifications qui ont été apportées à ton package pour qu'il fonctionne de manière à ce que si d'autres personnes tombent sur le sujet qu'ils puissent disposer de pistes? Ce serait cool.

Pour ta question sur les performances de ton lot SSIS, les réponses sont multiples et les pistes de recherches nombreuses.
Premièrement ça dépend de la configuration de ton architecture technique (type de réseau physique, localisation des bases sources et cibles, éditeurs de bases de données utilisés, configuration matérielle de la machine etc...) et j'avoue que sur cette partie je ne possède pas assez de connaissances (mais c'est en cours d'apprentissage

).
De même, sur la conception du lot SSIS à proprement parlé il y a plein de chose à voir (je suis en train de terminer la rédaction de mon premier article qui traitera un peu de ce sujet : à paraître ce week end si tout va bien) : combien de colonnes tu traites, combien de tables, types de composants utilisés (Sort et Merge Join pour les plus couramment utilisés ralentissent le processus) et leur configuration (full cache, bulk insert, complexité de la requête d'extraction des données etc.), tâches dans le Control Flow etc.

Pour te donner un exemple, j'alimente actuellement deux tables de faits dont pour la première le processus dure près de 35 minutes (800 000 lignes quotidiennes) et l'autre 12 minutes (650 000). La différence réside dans le nombre de Lookup utilisés, le nombre et le type des sources de données (Excel dans le premier cas et Oracle dans l'autre) et diverses opérations effectuées sur le flux de données (tri, union, fusion) mais aussi le paramétrage du Data Flow (je pense à la taille du buffer notamment).

Bref, pas facile de dire si 8 minutes pour 45 000 lignes c'est bien

!

**aqavach** · 12/06/2009, 12h04

je tiens à preciser que je suis débutant dans Microsoft BI. pour les modifs que j'ai faites : en effet j'ai mal conçu le package au depart, ( des sort et Merge join inutils) que j'ai enlevé, et aussi je ne selectionne plus les colonnes dont je n'ai pas besoins. donc vous voyez ce n'est pas des astuces mais des corrections sur des erreurs de conceptions.

j'attends ton Article patriceharel, pour ameliorer mes conception des lot SSIS