Discussion :

[joc02]

Bonjour,

Voici mon souci, je travaille une grosse source de données que je souhaite insérer dans Excel. Au départ je générais un fichier à plat sur le disque et je l'intégrais à Excel avec une commande COM. Ma source de données peut atteindre 100 000 - 150 000 lignes.

Pour optimiser les temps de traitement je créé les lignes dans une TStringList et tous les X lignes je prends le contenu je le mets dans le Clipboard. Puis je colle dans Excel.

Le fonctionnement est très aléatoire, car d'un poste à l'autre, une exception peut être relevée pour mémoire insuffisante. Par contre soit l'autre de la mise dans le Clipboard, soit au moment du past dans Excel.

Voici un extrait du code

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
 
function AjouteData(sReq, sNomOnglet : String ; ListeOptions : TStringList) : boolean;
var
   iCpt            : Integer;
   sChaineEntete   : string;
   RensParam       : TYRensParamFusion;
   iLigne          : Integer;
   ListeData       : TStringList;
   iLigneExcel     : Integer;
begin
   try
      Screen.Cursor := CrHourGlass;
      ListeData := TStringList.Create;
 
 
      fdmTCD.SqlTabXl.SQL.Clear;
 
      fdmTCD.SqlTabXl.Open;
 
      fdmTCD.SqlTabXl.First;
      result := not fdmTCD.SqlTabXl.Eof;
 
      iLigne        := 0;
      iLigneExcel   := 1;
      sChaineEntete := '';
      // recherche des noms de colonne
      for iCpt := 0 to fdmTCD.SqlTabXl.FieldCount - 1 do
         // Ecriture des noms de colonne
         sChaineEntete := sChaineEntete + UpperCase(fdmTCD.SqlTabXl.Fields[iCpt].FieldName) + ';';
 
 
      ListeData.Add(sChaineEntete);
      Inc(iLigne);
 
      // Ecriture des données
      while not fdmTCD.SqlTabXl.Eof do
      begin
         inc(iLigne);
         ListeData.Append(GetUneLigneDeDonnee);
 
         //Toutes les 100 000 lignes on va écrire dans le fichier afin de soulager la mémoire.
         if (iLigne mod 50000) = 0 then
         begin
            Clipboard.AsText := ListeData.Text;
            fdmTCD.EwsModeleTabXl.Range['A' + IntToStr(iLigneExcel), 'A' + IntToStr(iLigneExcel)].Select;
            fdmTCD.EwsModeleTabXl.Paste;
 
            ListeData.Clear;
            iLigneExcel := iLigneExcel + iLigne;
            iLigne := 0;
         end;
 
 
         fdmTCD.SqlTabXl.Next;
      end;
      fdmTCD.SqlTabXl.Close;
 
      //Si on a dépassé notre seuil on a stocké les données
      // dans un fichier. On met les dernieres lignes dedans.
      if ListeData.Count > 0 then
      begin
         Clipboard.AsText := ListeData.Text;
         fdmTCD.EwsModeleTabXl.Range['A' + IntToStr(iLigneExcel), 'A' + IntToStr(iLigneExcel)].Select;
         fdmTCD.EwsModeleTabXl.Paste;
 
         ListeData.Clear;
      end;
 
   finally
      fdmTCD.SqlTabXl.Close;
      Screen.Cursor := crDefault;
      DetruitObjet(RensParam);
      DetruitObjet(ListeData);
   end;
end;

J'ai tenté un essai avec le code suivant, qui marche bien sur un petit ensemble de données, mais pas sur de gros :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
 
procedure TForm5.Button1Click(Sender: TObject);
var mem: Cardinal;
    ptr: Pointer;
    s: string;
    zero: Word;
begin
   try
      Clipboard.Open;
   Clipboard.Clear;
    s := Liste.Text;
    Liste.Clear;
    mem := GlobalAlloc(GMEM_MOVEABLE or GMEM_DDESHARE, Length(s)+2);
    if mem=0 then
      raise Exception.Create('Mem');
 
    ptr := GlobalLock(mem);
    Move(PChar(s)^,ptr^, Length(s));
    zero := 0;
    Move(zero,(PChar(ptr)+Length(s))^, 2);
    GlobalUnlock(mem);
    Clipboard.SetAsHandle(CF_UNICODETEXT ,mem);
 
   finally
      Clipboard.Close;
 
   end;
end;

[ShaiLeTroll]

EwsModeleTabXl semble être un objet excel !
Pourquoi ne pas modifier le excel proprement via la propriété Value ?

Sache que tu peux aussi générer un fichier CSV ou DBase, l'ouvrir avec Excel via OLE puis faire un SaveAs en XLS, cela fonctionne très bien !

[joc02]

A cause des temps de traitement.

Si vous essayer de charger un gros ensemble de données de cette facon, le temps va être multiplié. Je n'ai plus mes Benchmark sous le coude, mais en gros il me semble pour pour 100 000 et 50 colonnes on mets 5 minutes à connecter un fichier à plat à la feuille Excel, 10 minutes en passant par la value, et 3 en passant par le buffer.

[Paul TOTH]

je mon expérience, l'accès COM à Excel est lourd et peu pratique.

j'ai toujours utilisé DDE (et oui le bon vieux DDE) qui marche très bien pour des mise à jours rapides et récurrentes (je n'ai pas testé avec 100.000 lignes) - dans mon cas c'était la mise ne jour en direct des résultats d'une élection...je suppose que c'est toujours supporté bien que déprécié depuis longtemps, mais développé sous Delphi 1 au départ, ça a survécu à toutes les versions de Delphi et Excel que j'ai eu jusque Office 97 (pas testé plus loin)

http://tothpaul.free.fr/sources.php?dprdoc.excel

Sinon pour les exports de bcp de données je suis toujours passé par une génération native du fichier, avec mes sources ou XLSReadWriteII (payant) qui est beaucoup plus complet

http://tothpaul.free.fr/sources.php?dprdoc.biff8

[tenpigs]

Si travailles sur du xslx (format openXML), tu as aussi la possibilité de dézippé un fichier excel et d'aller écrire directement en XML dans la feuille ou tu veux insérer tes données http://msdn.microsoft.com/fr-fr/library/bb727304.aspx. Ensuite tu rezip ton document.
La procédure est un peu complexe mais en terme de temps d'exécution tu es sur de l'écriture de fichier et donc sur des choses bien plus rapide. A voir si il existe des compos qui permettent de faire ça simplement...

[Papy214]

En son temps, mais j'ai plus les sources sous la main, je faisais des transferts très rapides entre delphi et excel en utilisant les plages de valeurs. Ca se posait dans un variant et récupéré sous forme de tableau dans delphi et inversement. C'était très rapide. Je recherche ça si ça peut aider.

[Papy214]

En son temps, mais j'ai plus les sources sous la main, je faisais des transferts très rapides entre delphi et excel en utilisant les plages de valeurs. Ca se posait dans un variant et récupéré sous forme de tableau dans delphi et inversement. C'était très rapide. Je recherche ça si ça peut aider.

http://delphi.developpez.com/faq/?pa...xcelvaltableau