Discussion :

[volimp]

Bonjour,

Je suis entrain de travailler sur un batch qui aura à gérér une volumétrie importante.
Je cherche donc à paralléliser mes requetes d'extraction ( une seule requete ).


1/ Merci de me fournir des exemples ou des liens expliquant comment l'implémenter.

2/ Je voudrais aussi savoir si une connection pool permet de paralleliser automatiquement les requêtes ?

[CastorJoyeux]

1) faudra etre plus précis dans ce que tu veux, c'est vague là

2) le connection pool sert quand tu as besoin de beaucoup de connections de courte durée (typiquement une application web qui en a besoin pour répondre aux utilisateurs) à éviter la perte de temps et de ressources qu'implique une déconnection / connection au serveur DB, on réutilise les connection entre les requetes (après les voir bien nettoyées )

[volimp]

2/ Je dispose d'une liste de codes associés à des portefeuilles, ils sont stockés dans un premier resultSet .
Je dois aller récupérer dans une Méga Table toutes les lignes (positions) relatives à ces portefeuilles en faisant une jointure sur ce code.
Si je traite séquentiellement les codes un après l'autre le traitement nécéssiterait entre 1h et 1h30 de temps.

J'envisage de paralléliser le traitement en autorisant l'exécution de plusieurs requetes à la fois. mais je ne sais pas vraimment comment m'y prendre.
devrais je peut etre passer par du Multithreading ?

2/ devrais je considérer que le passage par un connection pool ne servirait à rien ( mes requetes sont de longue durée relativement ).

merci pour votre retour,

[CastorJoyeux]

ton bottleneck semblant etre la base de donnée paralléliser ne ferais que rajouter des éventuels effets de bord indésirable, lié à l'utilisation de transactions différentes. Si t'es aussi lent (1h) juste poru rappatrier les données, soit tu rappatrie beaucoup trop et c'est le réseau qui est ton bottleneck, soit tu met le serveur de base de donnée à genoux et c'est lui le bottleneck. La première chose à faire, c'est de revoir ta requete pour l'optimiser, rajouter des index dans tes table sur les critère de jointure et t'assurer que les tables ne sont pas faites n'importe comment (je m'inquiète quand on parle de megatable).

Avoir besoin de 1h pour une transaction SQL, c'est anormal.

[OButterlin]

Avoir besoin de 1h pour une transaction SQL, c'est anormal.

Dans l'absolu non, mais en interactif oui, c'est clair...

Comme CastorJoyeux, je pense qu'un axe de recherche consiste à vérifier/créer les indexes qu'il faut pour ta jointure.
Peut-être l'organisation de tes données n'est elle pas assez aboutie.
Il faut peut-être également revoir l'algorithme mais là, on n'a pas assez d'indications...

Ce qui me paraît certain, c'est que le pool de connexion ne te sera d'aucune aide...