Discussion :

[Ardely]

Bonjour a tous,
J'aimerai bien savoir si cette méthode pour rechercher un code '#S1' dans un fichier (+/- 30 Mb) et bien approprier ou existe une autre méthode qui fonctionne beaucoup plus vite pour recherche un string.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
 
procedure TForm1.Button6Click(Sender: TObject);
var
cStream: TFileStream;
 iPos : integer;
  st: String;
begin
  SetLength(st,5);
  cStream:= TFileStream.Create('ImgTrace.dat', fmOpenRead);
   iPos := 0;
   repeat
         cStream.Seek(iPos, soFromBeginning );
         cStream.Read(st[1],length(st) );
         inc(iPos);
  until (st = '#S1') or  (iPos >=cStream.size) ; // code a rechercher
   showmessage(inttostr(CStream.Position)); // test de sortie
   //...
   //...
  cStream.free;
 
end;

Merci de votre feed-back.

[ShaiLeTroll]

Il y a plus rapide en augmentant la taille du buffer et en évitant les va-et-vient sur le disque, ce qui complique évidemment l'algo, ... voir ma fonction SearchStringInFile

[anapurna]

salut

plus simple

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
 
unit UUMemorySearchTxt;
 
interface
Uses Classes;
Type
  TOwnEventFound = Procedure(FileName: String) of Object;
 
TMemorySearchTxt = Class
  MyStream: TMemoryStream;
  FoundEvent : TOwnEventFound;
  Constructor Create;
  Destructor  Destroy;
  function PosString(const S, motif : string) : integer;
  Procedure Execute(FileName: String;String2Find: String);
end;
 
implementation
 
 
Constructor TMemorySearchTxt.Create;
begin
  MyStream := TMemoryStream.Create;
end;
Destructor  TMemorySearchTxt.Destroy;
begin
  MyStream.Free;
end;
 
function TMemorySearchTxt.PosString(const S, motif : string) : integer;
begin
  Result := Pos(motif, S);
end;
 
Procedure TMemorySearchTxt.Execute(FileName: String;String2Find: String);
var
  MyString : String;
  A        : Integer;
begin
 try
  MyStream.Clear;
  MyStream.LoadFromFile(FileName);
  SetLength(MyString, MyStream.Size);
  MyStream.ReadBuffer(Pointer(MyString)^,MyStream.Size);
  A :=  PosString(MyString,String2Find);
  If A <> 0 then
   if Assigned(FoundEvent) Then
     FoundEvent(FileName);
 except
 end;
end;
 
end.

[Ardely]

Si j'ai bien compris, augmenter le buffer, sa veut dire je copier un bloque du fichier dans la mémoire et puis je cherche le code dans la mémoire et ainsi de suite!

[anapurna]

salut

c'est tout a fait cela
quand a mon code il met directement le fichier en mémoire pour le
transformer en string (max 2 Go)
tu nous as dit 30Mo donc autant se lacher


@+ Phil

[ShaiLeTroll]

L'avantage de SearchStringInBigFile c'est quelle fonctionne sur des fichiers de 2Go (testé avec 10Go), qu'elle n'occupe pas inutilement la mémoire ... par contre, c'est évidemment plus lent ... à savoir que mettre la lecture dans un thread et la comparaison dans un autre, avec un Double Buffer aurait un effet énorme sur les performances ... faudrait que je m'amuse un jour à finir cette variante ...

Sinon, je vois quelques erreurs sur TMemorySearchTxt il manque le override sur le Destroy, c'est juste une très grave erreur ! MyStream n'est donc jamais libéré !

L'utilisation d'un TMemoryStream qui charge le fichier et ensuite encore un string, donc pour un fichier de 30Mo , cela prend 30Mo pour le TMemoryStream et 30Mo pour la string, tu aurais du utiliser un TFileStream et un TStringStream ... on pourrait gagner en performance (aussi bien mémoire que temps processeur)

Cela peut donner simplement

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
type
  TOwnEventFound = Procedure(FileName: String) of Object;
 
  TMemorySearchTxt = Class
    FoundEvent : TOwnEventFound;
    function PosString(const S, motif : string) : integer;
    Procedure Execute(FileName: String;String2Find: String);
  end;
 
function TMemorySearchTxt.PosString(const S, motif : string) : integer;
begin
  Result := Pos(motif, S);
end;
 
Procedure TMemorySearchTxt.Execute(FileName: String; String2Find: String);
var
  MyString : String;
  A        : Integer;
begin
  with TFileStream.Create(FileName, fmOpenRead	) do
  try
    SetLength(MyString, Size);
    ReadBuffer(Pointer(MyString)^, Size);
    A := PosString(MyString, String2Find);
    If A <> 0 then
      if Assigned(FoundEvent) Then
        FoundEvent(FileName)
  finally
    Free();
  end;
end;

[anapurna]

salut

autant pour moi
effectivement je ne l'ai pas optimisé
c'était uniquement pour faire remarquer qu'un simple pos suffisais

@+ Phil

[Ardely]

Je me suis appuyé sur les exemples que vous m'avez donné qui m'ont bien aidé à mieux comprendre et a continuer, Merci et bonne journée.