Discussion :

[totot]

Bonjour,

J'ai 2 millions de ligne à insérer dans une base SQL server avec hibernate.
Mon problème, c'est que c'est extrêmement long : 5 minutes = 500 lignes insérées

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
 
	@Transactional(value="sqlServerTransactionManager")
	public void save(List<Objet> listObjects){
 
		for(Objet object : listObjects){
			sqlServerEntityManagerFactory.persist(object );
		}
 
 
	}

Comment faire améliorer les performances ? J'avais pensé à une procédure stockée ?

[tchize_]

ne pas passer par JPA pour ce genre d'opération? Pour charger massivement des données dans une DB, il vaut mieux utiliser directement le la connection DB et faire du SQL brut.

[totot]

Tout les tuto que je vois sont avec JPA pour Spring

[Gugelhupf]

Salut,

C'est lent pour plusieurs raisons, mais la raison principale est qu'une transaction est effectuée pour chaque objet inséré (START TRANSACTION; ... COMMIT;).

JPA n'est pas prévu pour insérer une liste d'objet, mais si tu tiens absolument à garder ton pattern qui boucle sur une liste, tu peux toujours faire en sorte de démarrer la transaction, effectuer ta boucle qui insère, et commiter :

Code Java :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
em.getTransaction().begin(); 
 
BOUCLE {
    em.persist(objet);
}
 
em.getTransaction().commit();

A+

[totot]

Quand j'utilise le bout de code indiqué, sa ne marche pas.
Sa me provoque une erreur en me disant que Spring gère les transaction

[tchize_]

Salut,

C'est lent pour plusieurs raisons, mais la raison principale est qu'une transaction est effectuée pour chaque objet inséré (START TRANSACTION; ... COMMIT;).

Heu non, l'entitymanager ne fait normalement partie d'un transaction globale existante.

[Gugelhupf]

@_tchize, Je vois bien qu'il y a une annotation @Transactional, mais je ne sais pas comment son entitymanager est configuré. Cinq minutes pour 500 objets c'est beaucoup trop lent, cette lenteur arrive généralement lorsque qu'il y a une transaction effectué par objet.

[tchize_]

J'ai visiblement confondu avec un autre sujet que je lisait où l'injection était dans un EJB

[OButterlin]

Dans la mesure où l'annotation @Transactional est définie au niveau de la méthode et que la méthode fait une boucle pour persister les entités, il n'y a pas de commit à chaque écriture mais à la sortie de la méthode.

Qu'est ce que "sqlServerEntityManagerFactory" au juste, le nom prête à confusion... c'est l'EntityManager ou c'est une classe à toi ?

De manière générale, il n'est pas bon de faire de grosses boucles d'insertions sans se soucier des caches d'hibernate, il serait judicieux de "purger" le cache tous les x insert.
Quelque chose comme ceci

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
int i = 0;
for (Object o : entities) 
{
    entityManager.persist(o);
    i++:
    if (i ^ 50 == 0) 
    {
        entityManager.flush();
        entityManger.clear();
    }
}

[fr1man]

+1 avec OButterlin

Un peu de documentation sur le sujet:

http://docs.jboss.org/hibernate/orm/...ide.html#batch

https://vladmihalcea.com/2015/03/18/...ith-hibernate/

Regarde également la propriété hibernate.jdbc.batch_size qui permet comme son nom l'indique de régler la taille des batch JDBC.