Discussion :

[draco951]

Bonjour,

J'aimerai chargé une ObservableCollection avec plus de 200.000 record.

Le problème, c'est que ca prend du temps ... :-[

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
private ObservableCollection<ConfigMontage> ListAllDossier(String sDenomination)
{
	String sqltxt = null;
	ObservableCollection<ConfigMontage> lstCfMont = null;
	ConfigMontage cfMont = null;
 
	MySqlCommand myCmd = null;
	DataTable table = null;
	MySqlDataReader dataReader = null;
 
	try
	{
		db.OpenConnection();
 
		sqltxt = "SELECT * FROM deom.configgrue_viewalldossier WHERE sDenomination = @sDenomination";
		myCmd = new MySqlCommand(sqltxt, db.Connection);
		myCmd.Parameters.AddWithValue("@sDenomination", sDenomination);
		dataReader = myCmd.ExecuteReader();
		table = new DataTable();
		table.Load(dataReader);
		dataReader.Close();
 
		lstCfMont = new ObservableCollection<ConfigMontage>();
		foreach (DataRow row in table.Rows)
		{
			cfMont = new ConfigMontage()
				{
					NIdConfigMon = Convert.ToInt32(row["nIdDossierConfig"]),
				};
 
			lstCfMont.Add(cfMont);
		}
 
		return lstCfMont;
	}
	catch (Exception ex)
	{ throw ex; }
	finally
	{ db.CloseConnection(); }

Existe-t'il un moyen plus performant que celui ci pour charger des données ?

[Kikuts]

Bonjour, peux tu faire de la pagination ?

Quelle version du framework .NET utilises-tu ?

Ainsi tu pourrais utiliser les nouveautés de .NET 4.5 avec async await

[250rgv]

Une autre méthode ?

Pas utilisée avec ce volume de données mais c'est rapide à tester...

[draco951]

Bonjour,

Pagination ?
C'est à dire charger les données au fur et à mesure ?

J'utilise le framework 4.0

Mais je suppose que "async wait" permet de charger quelque chose en mémoire tout en pouvant faire autre chose ?

Pour ca, y a le backgroundworker qui fonctionne pas trop mal.

[Kikuts]

Non, ce que j'avais en tête était du chargement en parallèle (recherche task await async) par exemple envoyer 200 chargement de 1000 lignes.

Oui pour le chargement au fur et à mesure. Que veux tu faire de ces 200 k lignes ?

[draco951]

250Gr,
J'ai testé cette méthode et je trouve qu'elle n'ajoute rien en terme de performance (je l'ai testée)

Au final, je dois quand même bourré mes records dans une liste, et c'est la méthode de MyObservableCollection qui va charger les données.

Pourquoi 200. 000 ?
J'anticipe le futur :-)
Cela me permet d'afficher des dossier sauvegardé, et dès que tu dépasse les 5k, ca commence à ramer.
Mais au final, je dois quand même charger mes 200.000 record dans la mémoire.

Je vais jeter un oeil sur task await async

[youtpout978]

Déjà il faut savoir ce qui est le plus long la requête ou l'insertion des données dans ta list?
Tu peux utiliser la class StopWatch pour chronométrer le temps mis par chaque étape.
Pourquoi passes tu par une datatable? Tu peux directement crée un objet ConfigMontage depuis ton reader.
Tu peux aussi optimiser la requête en ajoutant des index aux bons endroit ou en passant par une procédure stockée (encore que sur une requête aussi simple), tu fais un select * alors que tu n'as besoin que d'un champ.

[draco951]

Pourquoi passes tu par une datatable? Tu peux directement crée un objet ConfigMontage depuis ton reader.

J'ai essayé par le dataReader, et ca me donne a quelque millisecondes prêt de meilleurs performance avec la datatable.

J'utiliserai quand même la méthode du datareader dorénavant :-)

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
select 
        `configgrue_dossierconfig`.`nIdDossierConfig` AS `nIdDossierConfig`,
        `configgrue_grue`.`sNomGrue` AS `sNomGrue`,
        `configgrue_dossierconfig`.`configgrue_Grue_nIdGrue` AS `nIdGrue`,
        `configgrue_dossierconfig`.`Reference` AS `Reference`,
        `configgrue_dossierconfig`.`IsTuning` AS `IsTuning`,
        `configgrue_dossierconfig`.`IsFeuilleCalcul` AS `IsFeuilleCalcul`,
        `configgrue_typemateriel`.`sTypeMateriel` AS `sTypeMateriel`,
        `configgrue_typemateriel`.`sDenomination` AS `sdenomination`,
        `configgrue_dossierconfig`.`entite_client_ID_Clients` AS `entite_client_ID_Clients`,
        `configgrue_dossierconfig`.`entite_client_ID_Clients_Facture` AS `entite_client_ID_Clients_Facture`,
        `configgrue_dossierconfig`.`entite_dealer_IDCon` AS `entite_dealer_IDCon`,
        `configgrue_dossierconfig`.`DateCreation` AS `DateCreation`,
        `configgrue_dossierconfig`.`DateModif` AS `DateModif`,
        `configgrue_dossierconfig`.`Numero` AS `Numero`
    from
        ((`configgrue_dossierconfig`
        left join `configgrue_grue` ON ((`configgrue_dossierconfig`.`configgrue_Grue_nIdGrue` = `configgrue_grue`.`nIdGrue`)))
        left join `configgrue_typemateriel` ON ((`configgrue_typemateriel`.`nIdTypeMateriel` = `configgrue_grue`.`configgrue_TypeMateriel_nIdTypeMateriel`)))

Ceci est ma requête (une vue stockée dans la DB), je l'ai simplifier ainsi que dans le code au possible.

L'exécution de la requête pour 12000 record prend 4.5 milliseconndes, c'est le chargement des données dans l'ObservableCollection qui prend une plombe (4.5 seconde).

[youtpout978]

Tu as un exemple ici:
http://dotnet.developpez.com/articles/ado1/csharp/#LVI
Et si tu passes par une List au lieu d'une observable collection?
Tu peux mettre le code que tu as actuellement ?

[draco951]

même problème

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
private ObservableCollection<ConfigMontage> ListAllDossier(String sDenomination)
{
	String sqltxt = null;
	ObservableCollection<ConfigMontage> lstCfMont = null;
	ConfigMontage cfMont = null;
 
	MySqlCommand myCmd = null;
	MySqlDataReader dataReader = null;
 
	Stopwatch timePerParse;
 
	try
	{
		timePerParse = Stopwatch.StartNew();
 
		db.OpenConnection();
 
		sqltxt = "SELECT * FROM deom.configgrue_viewalldossier WHERE sDenomination = @sDenomination";
		myCmd = new MySqlCommand(sqltxt, db.Connection);
		myCmd.Parameters.AddWithValue("@sDenomination", sDenomination);
		dataReader = myCmd.ExecuteReader();
 
		timePerParse.Stop();
		MessageBox.Show(timePerParse.Elapsed.TotalMilliseconds.ToString());
 
		timePerParse = Stopwatch.StartNew();
		lstCfMont = new ObservableCollection<ConfigMontage>();
 
		while (dataReader.Read())
		{
			cfMont = new ConfigMontage()
			{
				NIdConfigMon = Convert.ToInt32(dataReader["nIdDossierConfig"]),
				SReference = Convert.ToString(dataReader["Reference"]),
				IsFeuilleCalcul = Convert.ToBoolean(dataReader["IsFeuilleCalcul"]),
				IsTuning = Convert.ToBoolean(dataReader["IsTuning"]),
				DateCreation = Convert.ToDateTime(dataReader["DateCreation"]),
				DateModif = Convert.ToDateTime(dataReader["DateModif"]),
				SNomGroupe = Convert.ToString(dataReader["sNomGroupe"]),
 
				App = new Grue()
				{
					SReference = Convert.ToString(dataReader["sNomGrue"]),
					NIdAppareil = Convert.ToInt32(dataReader["nIdGrue"])
				}
			};
 
			lstCfMont.Add(cfMont);
		}
 
		MessageBox.Show(timePerParse.Elapsed.TotalMilliseconds.ToString());
 
		dataReader.Close();
		return lstCfMont;
	}
	catch (Exception ex)
	{ throw ex; }
	finally
	{ db.CloseConnection(); }
}

Il faut de toute manière qu'après je transfert ces données dans une observableCollection

[youtpout978]

Tu peux aussi te passer des convert en faisant ça :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
            int indexColonneId = reader.GetOrdinal("id");
            if (!reader.IsDBNull(indexColonneId))
            {
                personne.Id = reader.GetInt32(indexColonneId);
            }

Je te proposait de passer par une List pour savoir si le problème venait effectivement de l'utilisation d'une ObservableCollection (chez moi je ne vois pas de différence de perf entre les 2 au pire 100ms).


J'ai testé de mon coté et j'arrive à lire 580 000 lignes et créer une observable collection avec ces données en 1s5.

[draco951]

Merci beaucoup pour ton aide, malheureusement, en essayant de cette manière, cela prend exactement le même temps :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
private ObservableCollection<ConfigMontage> ListAllDossier(String sDenomination)
{
	String sqltxt = null;
	ObservableCollection<ConfigMontage> lstCfMont = null;
 
	ConfigMontage cfMon = null;
	MySqlCommand myCmd = null;
	MySqlDataReader dataReader = null;
 
	Stopwatch timePerParse;
 
	try
	{
		timePerParse = Stopwatch.StartNew();
 
		db.OpenConnection();
 
		sqltxt = "SELECT * FROM deom.configgrue_viewalldossier WHERE sDenomination = @sDenomination";
		myCmd = new MySqlCommand(sqltxt, db.Connection);
		myCmd.Parameters.AddWithValue("@sDenomination", sDenomination);
		dataReader = myCmd.ExecuteReader();
 
		timePerParse.Stop();
		MessageBox.Show(timePerParse.Elapsed.TotalMilliseconds.ToString());
 
		timePerParse = Stopwatch.StartNew();
		lstCfMont = new ObservableCollection<ConfigMontage>();
 
		int nIdDossierConfig = dataReader.GetOrdinal("nIdDossierConfig");
		int Reference = dataReader.GetOrdinal("Reference");
		int IsFeuilleCalcul = dataReader.GetOrdinal("IsFeuilleCalcul");
		int IsTuning = dataReader.GetOrdinal("IsTuning");
		int DateCreation = dataReader.GetOrdinal("DateCreation");
		int DateModif = dataReader.GetOrdinal("DateModif");
		int sNomGroupe = dataReader.GetOrdinal("sNomGroupe");
		int sNomGrue = dataReader.GetOrdinal("sNomGrue");
		int nIdGrue = dataReader.GetOrdinal("nIdGrue");
 
		while (dataReader.Read())
		{
 
			cfMon = new ConfigMontage();
 
			if (!dataReader.IsDBNull(nIdDossierConfig))
				cfMon.NIdConfigMon = dataReader.GetInt32(nIdDossierConfig);
			if (!dataReader.IsDBNull(Reference))
				cfMon.SReference = dataReader.GetString(Reference);
			if (!dataReader.IsDBNull(IsFeuilleCalcul))
				cfMon.IsFeuilleCalcul = dataReader.GetBoolean(IsFeuilleCalcul);
			if (!dataReader.IsDBNull(IsTuning))
				cfMon.IsTuning = dataReader.GetBoolean(IsTuning);
			if (!dataReader.IsDBNull(DateCreation))
				cfMon.DateCreation = dataReader.GetDateTime(DateCreation);
			if (!dataReader.IsDBNull(DateModif))
				cfMon.DateModif = dataReader.GetDateTime(DateModif);
			if (!dataReader.IsDBNull(sNomGroupe)) 
				cfMon.SNomGroupe = dataReader.GetString(sNomGroupe);
 
			cfMon.App = new Grue();
			if (!dataReader.IsDBNull(Reference))
				cfMon.App.SReference = dataReader.GetString(Reference);
			if (!dataReader.IsDBNull(nIdGrue))
				cfMon.App.NIdAppareil = dataReader.GetInt32(nIdGrue);
 
			lstCfMont.Add(cfMon);
 
                }
 
		MessageBox.Show(timePerParse.Elapsed.TotalMilliseconds.ToString());
 
		dataReader.Close();
		return lstCfMont;
	}
	catch (Exception ex)
	{ throw ex; }
	finally
	{ db.CloseConnection(); }
}

[draco951]

J'ai trouvé d'ou venait le problème :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
cfMon.App = new Grue();
			if (!dataReader.IsDBNull(Reference))
				cfMon.App.SReference = dataReader.GetString(Reference);
			if (!dataReader.IsDBNull(nIdGrue))
				cfMon.App.NIdAppareil = dataReader.GetInt32(nIdGrue);

Quand j'ajoute une "Grue", j'execute une requête dans le contructeur ....
Quel erreur de débutant !!

Merci beaucoup pour votre aide et particulièrement à toi "youtpout978" pour tes est de code ;-)



Sans l'ajout de Grue, ca roule au poils !