Discussion :

[pbatty1]

Bonjour,
J'ai une fonction qui recherche l'indice des doublons présent dans une colonne d'un gridview.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
Dictionary<string, List<int>> repetitionValue = new Dictionary<string, List<int>>();
            List<int> listValue = new List<int>();
            List<string> key = new List<string>();
            for (int i = 0; i < gridView1.RowCount; i++)
            {
                //on  traite les lignes autres que les lignes des ID, Name, description 1, description 2
                if (!indexRow.Values.Contains(i))
                {
                    if (!key.Contains(gridView1.GetDataRow(i)[nameCol].ToString()))
                    {
                        key.Add(gridView1.GetDataRow(i)[nameCol].ToString());
                        #region vérifier les doublons dans l'index
                        for (int j = i + 1; j < gridView1.RowCount; j++)
                        {
                            if (gridView1.GetDataRow(i)[nameCol].ToString().Equals(gridView1.GetDataRow(j)[nameCol].ToString()))
                            {
                                listValue.Add(j);
                            }
                        }
 
                        if (listValue.Count > 0)
                        {
                            repetitionValue.Add(gridView1.GetDataRow(i)[nameCol].ToString(), new List<int>(listValue));
                            listValue.Clear();
                        }
                        #endregion
                    }
                }
            }
            return repetitionValue;

Avec des données de 58000 lignes, ca me prends beaucoup de temps pour faire la recherche (plus de 3min). J'ai regardé quelques pistes pour essayer de résoudre la perfomance comme l'utilisation de la requete linq dans une collection pour récupérer la valeur en double avant de trouver les indices des doublons. Cet approche présente un problème car on accède pas à la collection de données directement avec la colonne comme c'est le cas avec une ligne.
Y a t-il un moyen plus efficace pour améliorer la recherche des indices?
merci pour votre aide

[olibara]

Si ton datagridview est Bindé il est largement préférable de travailler directement sur la DataSource

Et si ce n'est pas le cas il y a vraissemblablement un problème de design car gerer directement plus de 50000 dans un datagridview c'est vouloir enfoncer un clou avec un tournevis.

[Graffito]

L'utilisation de SortedList permettrait d'améliorer largement les performances.

De plus, "gridView1.GetDataRow(i)[nameCol].ToString()" pourrait être avantageusement remplacé par "gridView1.Rows[i].Cells[ColIndex]" (ColIndex étant fixé avant la boucle).

[olibara]

Bonjour

Je maintiens ce que j'avais dis par rapport a l'usage de la datasource, par contre j'avoue que je n'avais pas bien regardé le code existant et la réponse de grafito m'a mis l'a puce a l'oreille

Que tu parcours un dgv ou directement la datasource a mon avis ce n'est pas une sortedlist que tu devais utiliser mais un Dictionary, tu effectue une premiere passe en chargeant un dictionary, ensuite tu teste les doublons sur ce dictionary (mais je n'ai pas été tres loin dans l'analyse de ton code)

[pbatty1]

Pour information, je ne peux acceder à la cellule que par gridView1.GetDataRow(i)[nameCol].ToString(), car j'utilise gridcontrol de dexexpress et leur gridview est différent.
Sinon, j'ai pensé à mettre mes données dans un dictionary avec pour key mon numero de ligne et la valeur les données dans ma colonne. Ensuite faire ma recherche en utilisant linq. J'ai quelques problème à ce niveau, j'arrive pas à retourner les valeurs des doublons. qu'est ce que vous en pensez?

[olibara]

Salut

Moi j'aurais fais un truc comme ceci (pas compilé ni testé)

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
      Dictionary<string, List<int>> DicoDoublons = new Dictionary<string, List<int>>();
      List<int> Doubles = new List<int>();
 
      List<string> key = new List<string>();
      for (int i = 0; i < gridView1.RowCount; i++)
      {
        //on  traite les lignes autres que les lignes des ID, Name, description 1, description 2
        string Key = gridView1.GetDataRow(i)[nameCol].ToString();
        if (!DicoDoublons.ContainsKey(Key))
        {
          DicoDoublons.Add(Key, new List<int>());
        }
        DicoDoublons[Key].Add(i);
      }

[Pol63]

par lu les réponses déjà postées, mais si tes données viennent d'une base de données il sera nettement plus rapide de chercher les doublons avec une requête !

par exemple pour des doublons sur 2 champs

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

select champ1, champ2, count(*) from table group by champ1, champ2 having count(*) > 1

[pbatty1]

j'ai essayé ton code, c'est vrai il me fait gagner énorment de temps.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
for (int i = 0; i < gridView1.RowCount; i++)
            {
                //on  traite les lignes autres que les lignes des ID, Name, description 1, description 2
                string Key = gridView1.GetDataRow(i)[nameCol].ToString();
                if (!repetitionValue.ContainsKey(Key))
                {
                    repetitionValue.Add(Key, new List<int>());
                }
                else
                {
                    repetitionValue[Key].Add(i);
                }
            }
 
            for (int i = repetitionValue.Keys.Count-1;i>=0;i--)
            {
                if (repetitionValue.Values.ElementAt(i).Count == 0)
                {
                    repetitionValue.Remove(repetitionValue.Keys.ElementAt(i));
                }

J'imagine qu'on peut améliorer encore un peu la performance en éliminant la boucle qui supprime les données qui ne possèdent pas de doublons. Je pense qu'on peut le faire avec la fonction groupby du dictionary.

Pour Pol63, non mes données sont dans un gridview mais je cherche un moyen pour transformer ta requête pour l'exécuter dans la variable dictionary

[olibara]

A quoi te sert ce remove alambiqué et délicat ?

En parcourant ton dictionaire tu peux rapidement constituer une nouvelle liste ou un dictionaire de ce qui t'intéresse.

Ou simplement l'utiliser tel quel pour ce que tu dois faire

[pbatty1]

C'est ce que je veux faire, me créer une nouvelle dictionaire c'est pour ca que j'utilise ma 2eme boucle, mais je sais qu'il y a un moyen d' y arriver sans la boucle. J'ai essayé avec le groupby du dictionary mais je pense que ma syntaxe n'est pas bon

[jbrasselet]

Je ne sais pas dans quelle version du framework tu es mais avec une requête linq tu devrais t'en tirer

[pbatty1]

Bon j'ai réuissi à optimiser le code en enlevant le second boucle qui supprimait les données unique dans le datatable. J'ai utilisé la requête linq

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
for (int i = 0; i < gridView1.RowCount; i++)
            {
                if (!indexRow.Values.Contains(i))
                {
                    //on  traite les lignes autres que les lignes des ID, Name, description 1, description 2
                    string Key = gridView1.GetDataRow(i)[nameCol].ToString();
                    if (!repetitionValue.ContainsKey(Key))
                    {
                        repetitionValue.Add(Key, new List<int>());
                    }
                    else
                    {
                        repetitionValue[Key].Add(i);
                    }
                }
            }
            repetitionValue = (from t in repetitionValue where t.Value.Count > 0 select t).ToDictionary(x=>x.Key,x=>x.Value);

merci pour l'aide que vous avez apporté