Discussion :

[topolino]

Bonjour,

je ne sais pas si je suis dans le bon forum.
Je vous expose mon probleme :
J'ai une table de 6 millions d'entrees qui recoit une 1/mois a une date fixe 2 millions de nouvelles entrees et en efface 2 millions.

J'aggrege ces 6 millions de donnees pour les mettre dans une autre table afin de pouvoir faire des requetes dessus.

Cette procedure est tres longues (entre 6-8 heures).

Je me suis dis qu il faudrait que je regarde du cote du data mining. Est ce une bonne chose ?

Quels outils si possible gratuit je peux me servir ?

Merci pour vos conseils.

[StitchP]

Bonjour,

Je n'ai pas très bien compris pourquoi vous désirez regarder du côté du data-mining...
Est-ce pour réduire le temps de traitement de la base ?

Si c'est pour cela, je ne pense pas que cela vous aide. Le data-mining permet de traiter des données pour en sortir quelque chose...

Cordialement

[topolino]

Le but est d'en sortir des factures.

[tonitoBI]

Je ne suis pas sur d'avoir très bien compris non plus ....

En fait, tu te dis que ton temps de chargement est long et tu voudrais donc déporter une partie de ce temps sur un autre outil de restitution plutot que de créer un table agrégée ? (si c'est le cas, je ne comprend pas le pourquoi du terme Datamining...)

[topolino]

Car je pensais que ca pre calculer les donnees.
D'ou ma question.

Comment puis je regler ce temps de traitement alors d apres vous ?

[Jinroh77]

Le dataming se traduit en français, en tout cas pour Microsoft par l'exploration de données. C'est donc de l'annalyse sur des données déjà présentes, peut-être un échantillon. Ca ne concerne donc pas votre problème de performance.

Pour celui-ci il nous faut en savoir plus sur ce que vous utilisez pour agréger vos données ?
Est-ce par pure procédures stockées, des packages SSIS ?
Avez-vous vérifier l'utilisation des index ?

[FrancoisJehl]

Oui je confirme - pour être un peu dans le domaine du mining MS - ça n'a rien à voir.
Pour ce qui concerne ta pré-aggrégation... comment se fait t-elle techniquement? C'est du Transact à base de WITH CUBE/ROLLUP? Des requêtes à la mano? Du DTS? Après le matériel, voir ou peut se situer la contention (I/O, RAM...).

[topolino]

Je suis en full transact SQL. Et oui je joue avec les index.

A l insertion massif il est conseillé de ne pas les mettre, par contre a l ecriture il est bien de les mettres.

J ai vraiment besoin de conseils.

[Jinroh77]

Je suis en full transact SQL. Et oui je joue avec les index.

A l insertion massif il est conseillé de ne pas les mettre, par contre a l ecriture il est bien de les mettres.

J ai vraiment besoin de conseils.

Il faut vraiment nous dire comment fonctionne votre alimentation, du détails, sans cela on ne peut pas faire grand chose pour vous.
Une idée de la configuration serveur, type de bases, drivers, 32-64bits, visibilité des plans d'exécution etc.