Discussion :

[Jester]

Voilà, je voulais savoir si vous connaissiez des SGBD qui pourraient convenir pour des data warehouse avec orientation data mining.

J'ai déjà trouvé le cadrant Gartner de 2008


Les fonctionnalités qui me semble les plus importantes sont :

• stockage en colonne
• parallélisation des requêtes (qu'une requêtre SQL utilise plusieurs coeurs d'exécutions)
• partitionnement
• procédures stockées

Pour l'instant j'ai trouvé infobright qui n'a juste pas la parallélisation. Je ne connais aucun SGBD gratuit (et seulement Teradata chez les payants) qui dispose de cette fonctionnalité.

[scheu]

Ca dépend quand-même de ta volumétrie, Teradata c'est vraiment pour les très très grosses volumétries comme son nom l'indique

Même pour quelques Tera octets de données, Oracle a toutes les fonctionnalités et peut tout à fait faire l'affaire. Le plus important pour un Datawarehouse reste néanmoins d'avoir des disques performants, après tu as notamment le parallélisme, le partitionnement, le sous-partitionnement et la compression qui te permettent d'avoir de très bonnes performances avec Oracle

A mon avis au jour d'aujourd'hui tu ne trouveras pas encore (peut-être dans le future ?) de SGBD gratuit vraiment performant dans l'utilisation de toutes ces fonctionnalités

Quelle est ta volumétrie exactement ?


Edit : Postgresql n'est même pas dans la liste des SGBDs ? Je crie au scandale !

[Jester]

Là je pensais à moins de 100Go. Pas forcément énorme, mais j'aurais des calculs poussifs à faire dessus sur un PC desktop assez classique.

Mon objectif est de participer à la KDD cup, les données ne sont pas encore dispo.

Je ne suis pas limité par le disque, mais par l'absence d'utilisation de l'architecture multicore. Au pire je peux faire des requêtes en parallèle et les fusionner, mais ce serait plus simple évidemment que ce soit une fonctionnalité du SGBD.

[SQLpro]

Les fonctionnalités qui me semble les plus importantes sont :
* stockage en colonne
* parallélisation des requêtes (qu'une requêtre SQL utilise plusieurs coeurs d'exécutions)
* partitionnement
* procédures stockées

Dans ce cas SQL Server est tout à fait indiqué, et sera beaucoup moins cher que Terradata !
Cependant je ne voit pas l'intérêt de partitionner tes données avec seulement 100 Go. Cela commence à devenir intéressant pour des VLDB (plus de 1 To). Ne pas confondre partitionnement et répartition des tables dans différents espaces de stockage.

A +

[Jester]

Répartir les données peut servir dans le cas de lecture séquentielles sur certaines données, c'est du moins ce que je pense.

Je n'ai pas besoin de différents espace de stockage, les machines que j'ai à disposition étant toutes mono disque ou en RAID.

Finalement la volumétrie des données est faibles, 1,6Go en fichier texte (15k colonnes et 50k lignes). C'est, de plus, une matrice comportant 90% de zéro et de valeurs nulles, donc en optimisant cela ne prend que 1Go de RAM, donc l'utilisation d'une BD ne me semble pas adéquate.

[SQLpro]

Faites des essais, vous pouvez utiliser SQL Server en démo pendant 180 jours.

A +