Petite question d'optimisation

**will2taz** · 05/09/2007, 14h37

Bonjour à tous,

Voici un extrait de mon code qui s'execute sur un serveur SQL en réseau :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
 
Dim ConnSQL As String = "Data Source=" & SelectedServer & ";Initial Catalog=" & SelectedDatabase & ";Persist Security Info=True;User ID=" & Username & ";Password=" & Password & ""
 
Dim sqlConnect As SqlConnection = New SqlConnection(ConnSQL)
sqlConnect.Open()
 
' Création du SqlDataAdapter
Dim da As SqlClient.SqlDataAdapter = New SqlClient.SqlDataAdapter("Select * from Clients", sqlConnect)
 
' Création d'un DataSet
Dim ds As DataSet = New DataSet()
 
' Remplissage du DataSet avec le SqlDataAdapter
da.Fill(ds)
 
' Ecriture du fichier XML au moyen de la méthode WriteXml
ds.WriteXml(FolderArchive & FileName & ".xml", XmlWriteMode.IgnoreSchema)

Cependant, la table étant tellement grosse, cela met énormément de temps pour que le fichier soit créer sur un share réseau.

Existe t il un moyen pour optimiser cela et créer le fichier rapidement ?

Merci à tous pour vos réponses...

**SaumonAgile** · 05/09/2007, 14h52

Tu peux utiliser un DataReader et écrire l'XML en fonction des données retournées en utilisant les méthodes de XmlDocument. Tu éviteras ainsi de charger toute la table en mémoire.

**tomlev** · 05/09/2007, 15h00

Peut-être que ca marcherait mieux en n'utilisant pas de DataSet, mais en récupérant simplement le résultat de la requête avec un DataReader, et en générant le XML "manuellement". Qqch comme ça :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
 
Dim cmd as SqlCommand
Dim dr as DataReader
cmd = sqlConnect.CreateCommand()
cmd.CommandText = "select * from clients"
dr = cmd.ExecuteReader()
 
Dim sw as StreamWriter
sw = New StreamWriter(FolderArchive & FileName & ".xml")
sw.WriteLine("<?xml version=""1.0"" encoding=""UTF-8""?>")
sw.WriteLine("<Clients>")
While dr.Read()
 
    sw.WriteLine("  <Client>")
    sw.WriteLine("    <Name>{0}</Name>", dr("name"))
    ' et ainsi de suite pour les autres champs
    sw.WriteLine("  </Client>")
 
Wend
sw.WriteLine("</Clients>")
sw.Close()
dr.Close()

Mais c'est pas sûr que ce soit plus efficace, je suppose que le composant DataSet est assez optimisé... de toutes façons si il y a beaucoup de données ce sera long quelle que soit la méthode.

**SaumonAgile** · 05/09/2007, 15h06

Envoyé par tomlev

Peut-être que ca marcherait mieux en n'utilisant pas de DataSet, mais en récupérant simplement le résultat de la requête avec un DataReader, et en générant le XML "manuellement". Qqch comme ça :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
 
Dim cmd as SqlCommand
Dim dr as DataReader
cmd = sqlConnect.CreateCommand()
cmd.CommandText = "select * from clients"
dr = cmd.ExecuteReader()
 
Dim sw as StreamWriter
sw = New StreamWriter(FolderArchive & FileName & ".xml")
sw.WriteLine("<?xml version=""1.0"" encoding=""UTF-8""?>")
sw.WriteLine("<Clients>")
While dr.Read()
 
    sw.WriteLine("  <Client>")
    sw.WriteLine("    <Name>{0}</Name>", dr("name"))
    ' et ainsi de suite pour les autres champs
    sw.WriteLine("  </Client>")
 
Wend
sw.WriteLine("</Clients>")
sw.Close()
dr.Close()

Mais c'est pas sûr que ce soit plus efficace, je suppose que le composant DataSet est assez optimisé... de toutes façons si il y a beaucoup de données ce sera long quelle que soit la méthode.

Sauf qu'écrire l'XML comme ça dans un fichier, c'est vraiment sale. Il existe tout un tas de méthodes dans le namespace System.Xml et dans la classe XmlDocument pour créer un XML.

**tomlev** · 05/09/2007, 15h27

Sauf qu'écrire l'XML comme ça dans un fichier, c'est vraiment sale

Certes... mais ça a le mérite d'être simple et vite écrit, et pour l'exemple je n'ai pas voulu rentrer dans le détail. Mais effectivement il vaudrait mieux utiliser un XmlWriter

**Pol63** · 05/09/2007, 15h49

si tu veux mettre le fichier sur le meme serveur que celui disposant d'sql server
et que c'est sql server 2005

tu peux faire une procédure stockée en vb.NET et donc qui sera sur SQL server et écrira le fichier, ca évite le transfert sur le réseau de toutes les données

**will2taz** · 05/09/2007, 17h02

Merci pour vos réponses.

En fait il s'agit d'un application cliente qui se connecte sur un serveur SQL. Donc, le fichier est écrit sur un partage réseau, et le serveur SQL reconnait le chemin d'accès du fichier XML.

Par contre, j ai effectivement besoin de toute la table...

Merci à tous pour vos réponses.

**SaumonAgile** · 05/09/2007, 17h04

Envoyé par will2taz

Par contre, j ai effectivement besoin de toute la table...

Cela ne t'empêche pas d'utiliser un DataReader, tu récupéreras les données sequentiellement au lieu de tout charger en mémoire en une fois.

**will2taz** · 05/09/2007, 17h26

Merci SaumonAgile. Peux tu m'éclairer un peu sur le DataReader stp ?

Merci beacuoup...

**SaumonAgile** · 05/09/2007, 17h44

Envoyé par will2taz

Merci SaumonAgile. Peux tu m'éclairer un peu sur le DataReader stp ?

Merci beacuoup...

Voila pour toi : http://dotnet.developpez.com/tutoriels/ado1/vbnet/

**will2taz** · 05/09/2007, 18h01

Ok, merci beacoup, mais comment je fais maintenant pour récupérer tout sa dans un fichier XML ??? Car avec le DataSet, y avait le WriteXML...

Merci

**soazig** · 05/09/2007, 19h52

Bonjour,
1/Je vais proposé une autre voie pour raccourcir le temps de traitement.Tu écris,

cela met énormément de temps pour que le fichier soit créer sur un share réseau. Est

La question que je me pose est. Est-ce que le temps est perdu parce que c'est un share réseau. As-tu essayé de faire le traitement en deux temps .
a/Tu crées ton fichier en local en utilisant ta technique actuelle
b/Tu déplaces ton fichier vers ton share réseau.
Est-ce que cette méthode te fais gagner du temps. Cela t'éviterai de te lancer dans un développement "compliqué" pour rien.

2/Pour ta question

ok, merci beacoup, mais comment je fais maintenant pour récupérer tout sa dans un fichier XML ??? Car avec le DataSet, y avait le WriteXML...

Tu utilises les fonctions de namespace System.XML. Tu te crées un XmlDocument à la main en rajoutant les noeuds.
Ce n'est pas le dataset qui fait le boulot c'est toi.
Cordialement
Soazig

**will2taz** · 05/09/2007, 20h19

Et bien en fait, je pense avoir résolu mon soucis avec le DataReader :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

Select * From Clients For Xml auto, elements

Cela me retourne un resultat sous la forme XML, et j'utilise un StreamWriter apres. Je pense que cela sera mieux que de tout codé à la main ?

Qu'en penssez-vous ? Merci