Discussion :

[vain_mich]

Bonjour,

Je travaille sur DB2 en JDBC. J'ai 8 colonnes à récupérer sur 150 000 enregistrements :

- Je boucle sur le result set et insere par paquet de 500 dans un fichier CSV.

- La requete a été optimisée par un DBA et met environ deux secondes.

La Récuperation et l'insertion dans le fichier mettent environ 20mn. En utilisant un outil de profiling je m'appercois que c'est environ 60 % du temps dans le rs.next() et 20 % du temps avec le rs.getString() (en passant par le numero de la colonne et plus le nom, ce qui m'a fait deja gagner 5 mn). Le reste du temps reste dans le traitement java.

J'aimerai savoir si il existe une technique particulière pour optimiser le resultset et gagner un maximum de temps ?

Je vous remercie d'avance.

[fraco]

Salut !

la table est-elle bien indexée sur les colonnes en question ?

[vain_mich]

La table n'est pas indexé sur toutes les colonnes mais sur les colonnes qui servent de jointures avec toutes les autres tables.

[djsnipe]

Au delà de la requête SQL qui semble avoir été exécutée rapidement (merci le DBA probablement), tu as maintenant un gros volume de données à faire transiter entre la BDD et ton programme Java. Je pense que c'est le transfert de ce volume qui plombe tes performances. Regarde le problème d'un point de vue réseau : débit et latence. Pour le débit pas de miracle, mais pour la latence, tu peux augmenter le fetchSize pour qu'a chaque opération, plusieurs lignes soient récupérées en une seule opération, diminuant ainsi le nombre d'allers/retour avec la BDD et compensant un peu des problèmes de latence.

[vain_mich]

Tu as raison, le réseau est tres lent sur mon pc. En essayant sur un autre PC je passe de 20 mn à 3 mn.

Je te remercie.