Discussion :

[zimil]

Bonjour à tous
Dans mon projet j'ai un DataSet, parmis les datatables de ma DataSet j'ai un datatable intitulé Vols et un DataTable nommé Recette les deux datatables contiennent en moyenne 4000 enregistrements .
dans la partial class de ma dataset j'ai une méthode nommée ControlRecette()
l'exécution de cette méthode est très lente (affaire d'heures !)
dans cette méthode je parcoure la datatable Recette et de chercher le vol concerné dans la datatable Vols dans le cas où je trouve ce vol je lui affecte sa recette sinon je lui attribut un status de False.

quelqu'un peut m'aider dans le but d'optimiser ce code

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
public void ControlRecette()
        {
            this.Recette.RowChanged -= new DataRowChangeEventHandler(Recette_RowChanged);
            try
            {
                foreach (RecetteRow MyRecetteRow in this.Recette)
                {
                    if (this.AnomaliesRef.Rows.Count > 0)
                        Correcte_Villes(MyRecetteRow);
                    VOLSRow[] FoundsRows = (VOLSRow[])this.VOLS.Select("nligne='" + MyRecetteRow.Nligne + "' and date_d='" + MyRecetteRow.Date_D + "' and ville_d='" + MyRecetteRow.Ville_D + "' and ville_r='" + MyRecetteRow.Ville_R + "'");
                    if (FoundsRows.Length > 0)
                    {
                        MyRecetteRow.Status = true;
                        MyRecetteRow.Code_Vol = FoundsRows[0].CODE;
                        MyRecetteRow.Diff_Tot_Pax = Math.Abs(Convert.ToInt32(FoundsRows[0].TOT_PAX - MyRecetteRow.ToT_PAX));
                        FoundsRows[0].Status = true;
                        if (!MyRecetteRow.IsRecette_MslfNull())
                            FoundsRows[0].Recette_Mslf = MyRecetteRow.Recette_Mslf;
                        if (!MyRecetteRow.IsRecette_InterLineNull())
                            FoundsRows[0].Recette_InterLine = MyRecetteRow.Recette_InterLine;
                        if (!MyRecetteRow.IsRecette_CharterNull())
                            FoundsRows[0].Recette_Charter = MyRecetteRow.Recette_Charter;
                        if (!MyRecetteRow.IsRecetteNull())
                            FoundsRows[0].Recette = MyRecetteRow.Recette;
                        FoundsRows[0].Diff_Tot_Pax = Math.Abs(Convert.ToInt32(FoundsRows[0].TOT_PAX - MyRecetteRow.ToT_PAX));
 
                    }
                    else
                    {
                        MyRecetteRow.Status = false;
                        MyRecetteRow.RowError = "Vol non trouvé dans TunStat";
                    }
                }
                VOLSRow[] UncheckedVolsFoundsRows = (VOLSRow[])this.VOLS.Select("state=false");
                foreach (VOLSRow MyVolRow in UncheckedVolsFoundsRows)
                {
                    MyVolRow.Status = false;
                    MyVolRow.RowError = "Vol non trouvé dans Recette database";
                }
            }
            finally
            {
                this.Recette.RowChanged += new DataRowChangeEventHandler(Recette_RowChanged);
            }
 
        }

[ZaaN]

[dev01]

Salut.

As tu essayé de savoir quelle partie de ton code est lent :
- Le chargement des données dans le dataset ?

- Le parcours seul des 4000 lignes ?

- Le select sur les 4000 lignes ?

- tes algos dans les différentes méthodes de tests ?

[zimil]

Salut merci pour ta réponse ,
Le chargement est très rapide de même pour le parcours des datarows .
c'est la mise à jours des enregistrements qui est lente.
en fait j'ai fais un parcours des enregistrements avec les select sans aucune action derière et le temps de réponse est respectable moins d'une minute dès que je fais une mise à jour sur les datarows ça tourne au vinaigre.
en débugant j'ai vérifié qu'il n'y a aucun évenement genre datarowchanging ou autre qui se déclenche.
voici le code de test du parcours et du select sans mise à jour des datarows

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
public void ControlRecette()
        {
            this.Recette.RowChanged -= new DataRowChangeEventHandler(Recette_RowChanged);
            try
            {
                foreach (RecetteRow MyRecetteRow in this.Recette)
                {
                    if (this.AnomaliesRef.Rows.Count > 0)
                        Correcte_Villes(MyRecetteRow);
                    VOLSRow[] FoundsRows = (VOLSRow[])this.VOLS.Select("nligne='" + MyRecetteRow.Nligne + "' and date_d='" + MyRecetteRow.Date_D + "' and ville_d='" + MyRecetteRow.Ville_D + "' and ville_r='" + MyRecetteRow.Ville_R + "'");
                    if (FoundsRows.Length > 0)
                    {
                        //MyRecetteRow.Status = true;
                        //MyRecetteRow.Code_Vol = FoundsRows[0].CODE;
                        //MyRecetteRow.Diff_Tot_Pax = Math.Abs(Convert.ToInt32(FoundsRows[0].TOT_PAX - MyRecetteRow.ToT_PAX));
                        //FoundsRows[0].Status = true;
                        //if (!MyRecetteRow.IsRecette_MslfNull())
                        //    FoundsRows[0].Recette_Mslf = MyRecetteRow.Recette_Mslf;
                        //if (!MyRecetteRow.IsRecette_InterLineNull())
                        //    FoundsRows[0].Recette_InterLine = MyRecetteRow.Recette_InterLine;
                        //if (!MyRecetteRow.IsRecette_CharterNull())
                        //    FoundsRows[0].Recette_Charter = MyRecetteRow.Recette_Charter;
                        //if (!MyRecetteRow.IsRecetteNull())
                        //    FoundsRows[0].Recette = MyRecetteRow.Recette;
                        //FoundsRows[0].Diff_Tot_Pax = Math.Abs(Convert.ToInt32(FoundsRows[0].TOT_PAX - MyRecetteRow.ToT_PAX));
 
                    }
                    else
                    {
                        //MyRecetteRow.Status = false;
                        //MyRecetteRow.RowError = "Vol non trouvé dans TunStat";
                    }
                }
                //VOLSRow[] UncheckedVolsFoundsRows = (VOLSRow[])this.VOLS.Select("state=false");
                //foreach (VOLSRow MyVolRow in UncheckedVolsFoundsRows)
                //{
                //    MyVolRow.Status = false;
                //    MyVolRow.RowError = "Vol non trouvé dans Recette database";
                //}
            }
            finally
            {
                this.Recette.RowChanged += new DataRowChangeEventHandler(Recette_RowChanged);
            }
 
        }

le temps de répose est de queleques secondes
Le même algorithme est appliqué ailleur est donne un bon temps de réponse.
A+

[Pol63]

ca sent le code qui pourrait se trouver dans une procédure stockée SQL
et ca prendrait quelques secondes au lieu de quelques heures ...

[zimil]

En fait les données ne proviennent pas d'une seule source il y a la datatable Vols qui est alimentée à partir d'une base oracle la datatable recette qui est la synthèse de trois autres datatables Charter,Mslf,INTERLINE .
la datatable charter est alimentée à partir d'une base oracle et les autres datatbles sont alimentées par deux fichiers dbf.
L'utilisateur à la main de modifier le contenu de ces datatables avant l'exéction de la méthode recettecontrole() qui va affecter à chaque vol sa recette.
Merci pour votre patience

[Philippe Vialatte]

quelque part, mes vieux souvenirs d'algo me feraient dire de chercher la :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
 
//VOLSRow[] UncheckedVolsFoundsRows = (VOLSRow[])this.VOLS.Select("state=false");
//foreach (VOLSRow MyVolRow in UncheckedVolsFoundsRows)
//{
//    MyVolRow.Status = false;
//    MyVolRow.RowError = "Vol non trouvé dans Recette database";
//}

parce que deux boucles foreach imbriquee, en O(n2), ca peut faire mal, sur 4000 enregistrements

D'autant qu'a premiere vue, l'ensemble VOLS peut etre modifie une fois que la recette a ete analysee-> on repart en O(n)

[zimil]

quelque part, mes vieux souvenirs d'algo me feraient dire de chercher la :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
 
//VOLSRow[] UncheckedVolsFoundsRows = (VOLSRow[])this.VOLS.Select("state=false");
//foreach (VOLSRow MyVolRow in UncheckedVolsFoundsRows)
//{
//    MyVolRow.Status = false;
//    MyVolRow.RowError = "Vol non trouvé dans Recette database";
//}

parce que deux boucles foreach imbriquee, en O(n2), ca peut faire mal, sur 4000 enregistrements

D'autant qu'a premiere vue, l'ensemble VOLS peut etre modifie une fois que la recette a ete analysee-> on repart en O(n)

Cette boucle foreach n'est exécuter qu'après la fin de la première boucle.
Et dans mes test j'ai bien enlevé cette boucle le temps de réponse est encore très très lent.

[Philippe Vialatte]

pffff...

desole, c'est le resto de ce midi qui m'a perturbe la vision

Par contre, dans le doute, passe un coup de profiler, au moins, ca te permettra de voir exactement quelle instruction te bouffe le plus de temps

[zimil]

quel outil me conseillez vous?

[Philippe Vialatte]

la, comme ca?

ants, de redgate:
http://www.red-gate.com/dotnet/summary.htm

nprof (open source):
http://nprof.sourceforge.net/Site/Description.html

[zimil]

j'ai passé ANTS profiler .
j'ai pas su tirer profit de son rapport

[zimil]

Enfin c'est résolu ,
En fait beaucoups de contrôles sont liés à ces datatables.
la solution est de simplement libérer les datasources des différents bindingsources liés à ces datatables [xxx]Bindingsource.datasource=null
et de remettre le databinding après l'exécution de la méthode.
le traitement ne prend désormais que deux minutes (7amdoulah).
J'ai ajouté les deux Helpers suivant que je doit appeler l'une avant l'exécution du traitement et l'autre à sa fin.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
private void DeconnectDataSources()
        {
            VolsFoundBindingSource.Sort = "";
            VolsBindingSource.DataSource = null;
            VolsFoundBindingSource.DataSource = null;
            RecetteBindingSource.Sort = "";
            RecetteBindingSource.DataSource = null;
            RecetteFoundsBindingSource.Sort = "";
            RecetteFoundsBindingSource.DataSource = null;
            Heure_DTextBox.DataBindings.Clear();
            Heure_DTextBox.DataBindings.Clear();
            Heure_RTextBox.DataBindings.Clear();
            Ville_DTextBox.DataBindings.Clear();
            Ville_RTextBox.DataBindings.Clear();
            FcTextBox.DataBindings.Clear();
            YcTextBox.DataBindings.Clear();
            BbTextBox.DataBindings.Clear();
            CompagnieTextBox.DataBindings.Clear();
            AffreteCheckBox.DataBindings.Clear();
            FictifCheckBox.DataBindings.Clear();
        }
        private void ConnectDataSource()
        {
            VolsBindingSource.DataSource = MyRecetteDataSet.VOLS;
            VolsFoundBindingSource.DataSource = VolsFoundsDataView;
            RecetteBindingSource.DataSource = MyRecetteDataSet.Recette;
            RecetteFoundsBindingSource.DataSource = RecetteFoundsDataView;
            Heure_DTextBox.DataBindings.Add("text", VolsBindingSource, "heure_d", true);
            Heure_RTextBox.DataBindings.Add("text", VolsBindingSource, "heure_r", true);
            Ville_DTextBox.DataBindings.Add("text", VolsBindingSource, "ville_d", true);
            Ville_RTextBox.DataBindings.Add("text", VolsBindingSource, "ville_r", true);
            FcTextBox.DataBindings.Add("text", VolsBindingSource, "fc", true);
            YcTextBox.DataBindings.Add("text", VolsBindingSource, "yc", true);
            BbTextBox.DataBindings.Add("text", VolsBindingSource, "bb", true);
            CompagnieTextBox.DataBindings.Add("text", VolsBindingSource, "compagnie", true);
            AffreteCheckBox.DataBindings.Add("Checked", VolsBindingSource, "affrete");
            FictifCheckBox.DataBindings.Add("Checked", VolsBindingSource, "fictif");
        }