Discussion :

[samus535]

Bonjour,
Nous avons un cube de données qui fonctionne très bien depuis quelques temps. Les données sont transférer à l'aide d'un package SSIS qui va chercher les données dans une base de données Progress. Le seul petit problème est que les transfert des données est relativement long (Il prend environ 45 minutes) et que nous ne disposons que de 1h30 pour transférer les données.

Dans les prochaines semaines, nous allons ajouter beaucoup d'informations dans le cube (ce qui implique d'aller chercher d'autres dimensions) et ceci risque d'augmenter le temps d'éexécution du package. Je me demandais si vous aviez des suggestions pour améliorer le temps de transfert des données.

Présentement, nous vidons le contenu des tables à chaque exécution du package et nous allons ensuite chercher les enregistrements que nous avons besoin pour remplir le cube.

Merci beaucoup et bonne journée
--Samus535

[patriceharel]

Il y a effectivement quelques possibilités afin d'améliorer le temps d'exécution des packages. Juste 2 idées par rapport à ton contexte :

- pour la suppression du contenu des tables, un truncate et non pas un delete
- pour l'insertion des données dans les tables : un bulk insert
- éviter la synchronisation des objets de ton dataflow (voir ici)

Bien entendu, ces options sont utilisables selon certaines conditions

[FrancoisJehl]

Sinon plus macroscopiquement passer pas une copie directe des tables d'origine dans des tables temporaires sans retraitement (staging) sur du SQL via du bulk.
Puis faire les transfos complexes sur ces tables de staging plutôt que sur les sources pour libérer les sources plus vite.

[samus535]

Sinon plus macroscopiquement passer pas une copie directe des tables d'origine dans des tables temporaires sans retraitement (staging) sur du SQL via du bulk.
Puis faire les transfos complexes sur ces tables de staging plutôt que sur les sources pour libérer les sources plus vite.

Bonjour,
Merci pour vos réponses.

FrancoisJehl: Je ne comprends pas ce que vous dites.

Merci et bonne journée
--Samus535

[patriceharel]

Ce que veux dire François c'est que si tu ne disposes que d'un créneau d'1h30 pour attaquer la base source, tu peux très bien faire une copie de toutes les tables dont tu as besoin dans une base temporaire et faire appliquer tes lots sur cette base temporaire. Ainsi tu t'émancipes de ta contrainte de temps.

[samus535]

Ce que veux dire François c'est que si tu ne disposes que d'un créneau d'1h30 pour attaquer la base source, tu peux très bien faire une copie de toutes les tables dont tu as besoin dans une base temporaire et faire appliquer tes lots sur cette base temporaire. Ainsi tu t'émancipes de ta contrainte de temps.

Ça ne règlera pas ma contrainte de temps. Nous sommes limité dans le temps parce qu'avant de pouvoir commencer à traîter les données de la base sources (qui est en Progress) je doit attendre que des procédures de nuit se termine. (Ces procédures débutent à minuit et durent entre 3h30 et 4h00). Donc nous commençons l'exécution des packages SSIS à 4h30 pour être certains qu'il n'y ait pas "d'overlap", car la base source est innaccessible pendant le traîtement des procédures de nuit. Le package SSIS doit avoir terminé avant 6h00 car le directeur général reçoit des rapports reportaing services sur son Blackberry à 6h00 et ça l'aide à orienter sa journée.

Merci beaucoup et bonne journée
--Samus535

[MoitieDeCigare]

Y a-t-il une tache de tri dans ton lot SSIS ? Ces taches sont très lentes, beaucoup plus qu'un order by en base de données.
D'ailleurs http://patriceharel.developpez.com/tutoriel/ssis-sort/

Sinon, les procédures de nuit ne peuvent elles pas démarrer une heure ou deux plus tôt ? Il y a encore beaucoup de monde qui travaille sur les bases sources à 22h30 ?

[samus535]

Y a-t-il une tache de tri dans ton lot SSIS ? Ces taches sont très lentes, beaucoup plus qu'un order by en base de données.
D'ailleurs http://patriceharel.developpez.com/tutoriel/ssis-sort/

Sinon, les procédures de nuit ne peuvent elles pas démarrer une heure ou deux plus tôt ? Il y a encore beaucoup de monde qui travaille sur les bases sources à 22h30 ?

Il n'y a aucune tâche de tri dans mon package SSIS. Pour ce qui est des procédures de nuit, nous ne pouvons pas les faires rouler plustôt car elles roulent présentement à minuit (heure du Québec) et nous avons des utilisateurs en Colombie-Britannique (heure du Québec - 3).

Merci et bonne journée
--Samus535