Discussion :

[JYves]

Une petite question concernant les ajouts massifs d'enregistrements.

Dans mon programme, je crée à la volée des tables temporaires dans lesquelles il m'est nécessaire d'insérer parfois plusieurs milliers d'enregistrements avant de pouvoir les utiliser.
C'est assez long.

Je connais quelques techniques qui permettraient d'accélerer le traitement, par exemple BULK INSERT pour SQL Server, mais ça nécessite un accès au disque du serveur SQL ou bien que ce dernier aie accès à un rép. du réseau, ainsi que des droits particuliers je crois.

Mon programme doit marcher avec SQL Server, ORACLE et PostgreSQL.

Quelques conseils seraient bienvenus.

[orafrance]

désolé, ce n'est encore pas le bon forum

Mais ce n'est pas grave, pour Oracle la meilleur solution est SQL*Loader, je laisse les spécialistes répondrent pour les autres SGBD.

Pour une solution "portable" seul le SQL est disponible est donc l'insert et là encore l'optimisation dépendra du SGBD mais on peut déjà conseiller de supprimer les indexes et désactiver les triggers et contraintes de la table dans laquelle faire l'insertion.

Sous Oracle, il existe également un "hint" :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

INSERT INTO latable...

devient :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

INSERT /*+ APPEND */ INTO latable...

Avec plusieurs processeurs la table peut également être créer en mode PARALLEL sous Oracle, je ne sais pas si les mêmes choses existent dans les autres SGBD

[JYves]

désolé, ce n'est encore pas le bon forum

, mais bon je m'approche petit à petit.

Merci pour tes conseils ORACLE, je vais regarder ça de près.
Je poserai éventuellement la question pour chaque SGBD dans son forum dédié.


Ce que je comprenais pas trop bien, c'est que BULK INSERT qui est du Transact-SQL ne soit pas utilisable sur tous les systèmes.

Mais bon je vais lire Petit guide de Transact SQL (v2000) qui va m'expliquer tout ça 8)

[WOLO Laurent]

désolé, ce n'est encore pas le bon forum

Ce que je comprenais pas trop bien, c'est que BULK INSERT qui est du Transact-SQL ne soit pas utilisable sur tous les systèmes.

Quels systemes ?
Cette commande est propriétaire de MS SQL, elle ne fait donc pas partie de la norme SQL tout comme SQL*Loader.

Si tu veux faire du code portable, oublie les spécificités des sgbdr quelconques et utilises donc des lots d'insert que tu peux envoyer dans plusieurs processus diferrents.
Tu perdras ton temps à interroger chaque forum pour chercher à écrire du code portable !
Faites avec la norme.

[hpalpha]

je rejoins WOLO Laurent, tu te heurte a un sacré probleme, soit dans ton code tu test le type de sgbd soit tu fais des INSERT en paguaille !

En PostgreSQL, tu as la commande COPY :
http://www.postgresql.org/docs/8.0/interactive/sql-copy.html


Sinon regarde du coté de PREPARE / EXECUTE qui doit exister dans SQL server et Oracle; pour Pg c'est ici :
http://www.postgresql.org/docs/8.0/interactive/sql-prepare.html

[JYves]

Merci pour toutes vos réponses.

Je suis actuellement en vacances, j'étudierai tout ça la semaine prochaine 8)

[JYves]

Ok, j'ai utilisé une méthode satisfaisante (voir ce fil).