Discussion :

[JohnGT]

Bonjour à tous.

J'ai un probleme sur la ram que prend un datareader

j'ai une requete retournant 320 000 enregistrements
je dois exporter ce resultat
pour ne pas charger ces enregistrements en memoire par un datatable, je fais un datareader

je boucle dessus
et à chaque ligne, je concatène les champs avec un séparateur et à la fin de ligne, je l'écris dans le fichier

or il me prend un maximum de mémoire


why ?

pourtant j'écris bien directement chaque ligne dans le fichier, donc il devrait lbéré au fur et à mesure....

Please help !

merci par avance

[Piotrek]

Salut

Utilise un StringBuilder au lieu de faire une concatenation avec + ou & car il evite de creer une nouvelle variable pour le resultat
http://msdn.microsoft.com/library/default.asp?url=/library/en-us/cpref/html/frlrfsystemtextstringbuilderclassappendtopic.asp

ca va s'accelerer

[JohnGT]

merci à toi

en fait, je viens d'essayer et j'obtiens le meme resultat...



la memoire est consommée jusqu'au bout...

[Piotrek]

Fais voir un echantillon de code

[Noodles]

Salut

Je sais pas trop si ca peux t'aider mais si tu essaie de faire un flush à la fin de chaque ligne?

[JohnGT]

merci a toi de t'intéresser à mon probleme

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
 
'On ouvre le fichier
fs = New FileStream(chemin & nomFichier, FileMode.Create, FileAccess.Write)
'On ouvre un flux
sw = New StreamWriter(fs, System.Text.Encoding.Default)
'On enregistre ligne par ligne
If ird.Read Then
	nbColumns = ird.FieldCount
	Do
		'Pour chaque colonne, on ajoute la valeur à la ligne temporaire
		temp = ""
		For i As Integer = 0 To nbColumns - 1
			If isFirst = True Then
	        		isFirst = False
		    	Else
        			temp &= caractSeparateur
			End If
			temp &= caractAutourValeur & ird.Item(i) & caractAutourValeur
	       	Next
	        'On écrit la ligne
        	sw.Write(temp & caractFinLigne)
	        sw.Flush()
        	temp = Nothing
	Loop While ird.Read
End If
'On ferme le flux
sw.Close()
'On ferme le fichier
fs.Close()

ird est un idatareader en fait
j'exécute ma requete au dessus

j'ai aussi essayé avec un stringbuilder, mais le resultat est identique

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
 
'On ouvre le fichier
fs = New FileStream(chemin & nomFichier, FileMode.Create, FileAccess.Write)
'On ouvre un flux
sw = New StreamWriter(fs, System.Text.Encoding.Default)
'On enregistre ligne par ligne
If ird.Read Then
	nbColumns = ird.FieldCount
	Do
		'Pour chaque colonne, on ajoute la valeur à la ligne temporaire
		sb = New System.Text.StringBuilder("")
		For i As Integer = 0 To nbColumns - 1
			If isFirst = True Then
	        		isFirst = False
		    	Else
        			sb = sb.Append(caractSeparateur)
			End If
			sb = sb.Append(caractAutourValeur & ird.Item(i) & caractAutourValeur)
	       	Next
	        'On écrit la ligne
        	sb = sb.Append(caractFinLigne)
 		sw.Write(sb.ToString)
	        sw.Flush()
	Loop While ird.Read
End If
'On ferme le flux
sw.Close()
'On ferme le fichier
fs.Close()

[Piotrek]

Remarques:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
sb.Append(caractSeparateur)

au lieu de

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
sb = sb.Append(caractSeparateur)

il ne faut pas faire de sb =

et

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
 
sb.Append(caractAutourValeur)
sb.Append(ird.Item(i))
sb.Append(caractAutourValeur)

au lieu de

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
sb = sb.Append(caractAutourValeur & ird.Item(i) & caractAutourValeur)

Quite a eviter la concatemation, autant l'eviter totalement

[JohnGT]

ok je teste
j'ai trouvé ça comme exemple dans le lienq ue tu m'as donné

[JohnGT]

impressionnant !!!!!

délirant !!!!!!!

c'est excellent ! des dizaines de fois plus rapide en faisant ça ! aucun problème !!!!!!! la mémoire ne bouge quasi pas !!!! c'est génial


yyyeeesssss





un très très grand merci !

[Piotrek]

ah oui effectivement j'y suis alle un peu vite en googleant...
je sais pas ce qui leur a pris de faire ca chez MS

[RAJOUT] cool tu peux encore gagner 10-30% de perfs en estimant la capacite du stringbuilder et en concatenant toutes les n lignes