Discussion :

[flipo44]

salut à tous,

tout d'abord je précise que je suis vraiment un novice en SQL, les seules fois ou je me suis servi de ce langage c'est avec le logiciel SAS, pour faire des fusions et manipulations de bases de données.

Voici donc mon problème: je dois effectuer un scoring sur des bases de données client, seulement je dois effectuer des travaux sur des bases très volumineuses sans avoir vraiment les outils adaptés.

On m'a fourni des fichiers bruts (format txt), qui une fois empilés aboutissent à une base de ~200 millions de lignes. Pour l'instant j'ai effectué l'importation ainsi que les premiers traitements grâce à SPSS, seulement je me retrouve maintenant avec une base de 36go, sur laquelle je dois effectuer des tris et agrégats, ce qui à cause du volume me semble très laborieux sous SPSS.
J'ai plutôt une expertise de SAS, à mon avis SAS serait nettement plus performant mais nous n'avons pas ce logiciel. Par contre je sais qu'il existe des outils gratuits pour faire du SQL, et pour en avoir fait un peu sous SAS il me semble que le langage SQL serait adapté pour les traitements que je compte faire (fusions sans tris au préalables, etc). Savez vous grâce à quel logiciel je pourrais exploiter des fichiers type txt en langage SQL?

En effet SAS permet assez simplement de faire de la syntaxe SQL, seulement les logiciels SQL que j'ai vu pour l'instant me semblent particulièrement obscurs, avec création de serveurs virtuels etc...

voilà, j'espère que ma demande est à peu près claire!

merci d'avance!

[CinePhil]

N'importe quel SGBDR peut faire l'affaire en principe.
Du côté gratuit, tu as MySQL, Postgresql et peut-être MS SQL Server Express, je ne connais plus ses limitations en volume de données par rapport SQL Server payant.

[flipo44]

Merci pour ta réponse, je vais regarder du côté de MySQL.

Malheureusement je n'ai aucune notion en ce qui concerne les "SGBDR" (tu m'as appris ce mot ), donc je pense que je vais vite déchanter au niveau de la configuration.

L'avantage avec SAS c'est qu'on peut exécuter des requêtes SQL sur des fichiers sans n'avoir rien paramétré auparavant, juste en exploitant des fichiers importés.