Discussion :

[tuxout]

Bonjour à tous,

J'ai besoin d'optimiser un script lequel a besoin de traiter 150 000 enregistrements.

1. Tout d'abord en les insérant dans une base de données
2. En faisant par la suite environ 200 000 recherches dessus afin d'insérer le reste des informations dans la base.

Pour ce second point je me demande si passé par une hashtable temporaire pourrait accélérer le traitement, plutôt que de faire référence à la base de données.

Que pensez vous Hashtable (ou autre collection java) ou BDD ?

Merci d'avance

[Lorantus]

Je sais, le thread a été ouvert il y a longtemps. J'ajoute quand même ma contribution.

J'ai eu un cas similaire où je devais choisir entre BDD ou memoire. J'ai longtemps ruminé le truc. Quelques essais, et tests de performances (Faut dire que je tourne autour de ce truc depuis 1 an, et le client demande réguliérement des modifications, alors j'en profite pour essayer différents trucs).

J'ai eu le compromis entre la BDD et la mémoire. Oui. Je traite par lots, par paquets.

Je charge une quantité arbitaire de données à partir de la BDD, dans la mémoire et je traite. Ensuite, j'envoi le paquet vers la sortie.

Bon, c'est bien car les lignes devant sortir sont indépendantes. S'il y a un lien c'est moins évident, et là, la mémoire sera surchargée, et attention aux accés disques.

[Process Linux]

Voilà, j'apporte aussi mon expérience dans ce sujet.

Actuellement je travail sur un projet de refonte de batch pour un client. Pour un besoin fonctionnelle je suis obligé de charger des données dans un hashtable, en suite dans d'autre STEP je fais des recherches dans ce hashtable, mon inquiètude concerne la taille de ce hashtable qui peut être exponentielle. C'est ce qui m'a fait pensé à une structure des données qui a les caractèristiques suivants :
- Gérer une partie en mémoire et une partie en disque (principe de swapp).

Actuellement je suis à la recherche d'une structure des données qui fait la même chose, mais si je ne trouve pas je vais démarrer le dev de cette structure des données.