Recherche d'information entre deux fichier *.xls

**Zarrows** · 26/01/2012, 15h28

Bonjours les developpeurs.

J'ai actuellement deux fichiers *.xls d'environ 95k lignes chacun. Je voudrais extraire des informations entre les deux fichiers selon l'égalité de deux colonnes.

Exemple : Si Fic1.Col1 == Fic2.Col 7 Alors blabla

Problème :
J'utilise un .dll qui s'appelle Net.Sourceforge.Koogra.Excel pour instancer des Workbook et des Worksheets.
Je dois comparer toutes les lignes des deux fichier entre elles ce qui représente une boucle qui mettrais 68 jours à tourné (j'ai fait les calculs). Ceci est bien trop long ! Je cherche donc un moyen de raccourcir ce temps.

Je suis ouvert à toutes propositions de solutions

**tomlev** · 26/01/2012, 15h51

En gros, pour parler en termes de base de données, tu veux faire une jointure entre les 2 ?

Le plus simple serait d'extraire les données dans des listes d'objets, et de faire la jointure avec Linq

**Zarrows** · 26/01/2012, 16h03

Oui je veut faire une jointure entre les deux.

En faite l'algo se résume a ça :

Pour i = 0 jusqu'a i = Fichier1.MaxRow Faire

Pour j = 0 jusqu'a j = Fichier2.MaxRow faire

Si Fichier1.Ligne[i].ColA.Valeur == Fichier2.Ligne[j].ColC.Valeur alors

Fichier3.WriteLine(Fichier1.ColA ; Fichier2.ColB ; Fichier2.ColD ; etc ...)

FinSi

FinPour

**tomlev** · 26/01/2012, 17h36

Ah ben oui, dans ce cas forcément c'est long : 95k lignes * 95k lignes = 9,025 milliards d'accès aux données du fichier Excel, sachant que cet accès n'est probablement pas très rapide...

Voilà ce que je te suggère :

Crée 2 classes : une pour représenter les lignes du fichier 1, et une pour les lignes du fichier 2 (avec une propriété pour chaque colonne)

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
class LigneFichier1 // je te laisse trouver un nom plus approprié...
{
    public string A { get; set; }
    public string B { get; set; }
    ...
}
 
class LigneFichier2 // je te laisse trouver un nom plus approprié...
{
    public string A { get; set; }
    public string B { get; set; }
    ...
}

Lis la totalité des données à partir des fichiers Excel et mets les dans des listes d'objets de ces classes

Code pseudocode :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
 
Pour chaque ligne dans Fichier1
    lignesFichier1.Add(new LigneFichier1 { A = ligne.ColonneA.Valeur, B = ligne.ColonneB ... });
Fin Pour

Utilise Linq pour faire la jointure :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
var query =
    from ligne1 in lignesFichier1
    join ligne2 in lignesFichier2
        on ligne1.A equals ligne2.C
    select new
    {
        ligne1.A,
        ligne2.B,
        ligne2.D,
        // etc...
    };

Ecris dans le fichier 3 les résultats de cette requête :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
foreach(var result in query)
{
    Fichier3.WriteLine(resultat.A; resultat.B; resultat.D; etc ...)
}

Avec cette approche, le contenu de chaque fichier n'est lu qu'une fois, et l'implémentation Linq de Join est bien optimisée. Ce sera peut-être pas encore une fusée, mais ça devrait déjà aller nettement plus vite...

**Zarrows** · 27/01/2012, 13h46

Merci tomlev, je test ça tout de suite

(desolé d'avoir mit du temps à répondre)

**Zarrows** · 27/01/2012, 15h38

Je ne comprend pas cet partit la du code :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
var query =
    from ligne1 in lignesFichier1
    join ligne2 in lignesFichier2
        on ligne1.A equals ligne2.C
    select new
    {
        ligne1.A,
        ligne2.B,
        ligne2.D,
        // etc...
    };

Edit : En faite, c'est bon j'ai comprit (comme quoi avec un peu de patience on arrive à tout).
Cependant j'ai quand même un problème : je dois Linq sur deux valeur

exemple : Fic1.A = Fic2.A & Fic1.K = Fic2.K

**tomlev** · 27/01/2012, 16h04

Envoyé par Zarrows

lignesFichier1 est égal a ma collection ?

Oui, lignesFichier1 est une List<LigneFichier1>

Envoyé par Zarrows

Comment dans le select new il va savoir que c'est une nouvelle ligne ?

Ce n'est pas une nouvelle ligne. Pour chaque correspondance entre une ligne du fichier 1 et une ligne du fichier 2, ça crée un nouvel objet anonyme qui regroupe les infos qui t'intéressent dans les 2 lignes.

C'est le même principe qu'en SQL, si tu avais fais un truc comme ça :

Code SQL :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
SELECT ligne1.A, ligne2.B, ligne2.D ...
FROM fichier1 ligne1
JOIN fichier2 ligne2 ON ligne1.A = ligne2.C

**Zarrows** · 27/01/2012, 16h25

Je te remerci de ton aide tomlev !

J'ai encore un problème (décidement

) Je voudrais avoir la colonne P de mon fichier 1 et la colonne P de mon fichier 2 mais il me dit qu'un type anonyme ne peut avoir plusieurs propriété du même nom.

Et je sais pas si le multi join que j'ai fait est correct :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
var query =
 from LigneF in ColFic1
 join LigneO1 in ColFic2
  on LigneF.C equals Ligne01.C
 join LigneO2 in ColFic2 //je suis pas sur que ça soit correct
  on LigneF.F equals LigneO2.B
select new
{
 
   LigneO1.C,
   LigneO1.B,
   LigneO1.C,
   LigneO1.D,
   LigneO1.E,
   LigneO1.B,
   LigneO1.F,
   LigneO1.H,
   LigneO1.I,
   LigneO1.J,
   LigneO1.P
 
   //Blabla...
 
   LigneF.P, //Problème ici
   LigneF.A
 
};

**tomlev** · 27/01/2012, 16h34

Tu peux donner un nom explicitement :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
...
select new
{
 
   LigneO1.C,
   LigneO1.B,
   LigneO1.C,
   LigneO1.D,
   LigneO1.E,
   LigneO1.B,
   LigneO1.F,
   LigneO1.H,
   LigneO1.I,
   LigneO1.J,
   P1 = LigneO1.P
 
   //Blabla...
 
   P2 = LigneF.P,
   LigneF.A
 
};

**Zarrows** · 27/01/2012, 16h37

C'est à dire ? P est déclarer comment ?

**tomlev** · 27/01/2012, 16h38

Envoyé par Zarrows

Et je sais pas si le multi join que j'ai fait est correct :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
var query =
 from LigneF in ColFic1
 join LigneO1 in ColFic2
  on LigneF.C equals Ligne01.C
 join LigneO2 in ColFic2 //je suis pas sur que ça soit correct
  on LigneF.F equals LigneO2.B
...

Si tu veux faire une jointure selon 2 critères, c'est comme ça :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
 from LigneF in ColFic1
 join LigneO in ColFic2
  on new { LigneF.C, ligneF.F } equals new { LigneO.C, ligne O.B }

Ce que tu as écrit a aussi un sens, mais pas le même : ça associe à chaque ligne du fichier1 2 lignes du fichier2 (selon un autre critère)

**tomlev** · 27/01/2012, 16h49

Envoyé par Zarrows

C'est à dire ? P est déclarer comment ?

Je comprends pas ta question

Tu as 2 "P" à récupérer, mais tu ne peux pas avoir 2 propriétés avec le même nom (logique, sinon on ne sait pas de laquelle tu parles). Donc il faut leur donner un autre nom dans le résultat. Qu'est-ce qui pose problème ?

Et je sais pas si tu as vu mon dernier message, on a posté quasiment en même temps...

**Zarrows** · 27/01/2012, 16h51

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
 from LigneF in ColFic1
 join LigneO in ColFic2
  on new { LigneF.C, ligneF.F } equals new { LigneO.C, ligne O.B }

à la ligne
join LigneO in ColFic2 il me dit en soulignant join :

Le type de l'une des expressions dans la clause join est incorrect. L'inférence de type a échoué dans l'appel 'Join'.

edit : oui, oui c'est bon t'inquiete pas j'en loupe pas une miettes

! Mais c'est bon pour l'histoire de P j'ai comprit, c'est une sorte d'alias en SQL.

**tomlev** · 27/01/2012, 16h56

Envoyé par Zarrows

à la ligne

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

join LigneO in ColFic2

il me dit en soulignant join :

Le type de l'une des expressions dans la clause join est incorrect. L'inférence de type a échoué dans l'appel 'Join'.

Ah oui, il faut que les clés aient le même type (et donc les mêmes noms de propriétés) des deux côtés du Equals. Comme ça, ça devrait passer :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

on new { Key1 = LigneF.C, Key2 = ligneF.F } equals new { Key1 = LigneO.C, Key2 = ligne O.B }

**Zarrows** · 27/01/2012, 16h58

Wah trop fort

Merci bien !

Bon je testerais le temps de réponse de cet méthode lundi. Merci beaucoup pour ton aide tomlev !

**Zarrows** · 30/01/2012, 10h27

J'ai gagné 67 jour et 23h20 ! Merci tomlev je met en résolu !

**Bluedeep** · 30/01/2012, 13h27

Bonjour

Envoyé par Zarrows

J'ai actuellement deux fichiers *.xls d'environ 95k lignes chacun. Je voudrais extraire des informations entre les deux fichiers selon l'égalité de deux colonnes.
....
...
Je cherche donc un moyen de raccourcir ce temps.

Au hasard, faire un import dans deux tables d'un base "in-process" (SQL SERVER CE, ou SqlIte par exemple) ou dans une base normale si tu en as une à ta disposition (ce qui sera plus performant) et traiter cela avec du SQL standard

EDIT : je n'avais pas vu la réponse de tomlev avant de poster. Donc la mienne est sans objet.