TFileStream et caractères bizarres

**Jeankiki** · 08/11/2011, 21h22

Bonjour à tous,

J'ai un problème avec TFileStream sur delphi 7, je fais le simple code ci-dessous.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
 
procedure TForm1.Button1Click(Sender: TObject);
var
  fs: TFileStream;
  buffer: array[0..255] of char;
  str: string;
  len: integer;
begin
  fs:= TFileStream.Create('D:\Travaux\test.txt', fmOpenReadWrite or fmShareDenyNone);
  try
    str:= 'aaaaaa';
    //fs.Position:= 0;
    //len:= fs.Read(buffer, Length(buffer));
    fs.seek(0, soFromEnd);
    fs.Write(PChar(str)^, Length(str));
  finally
    fs.Free;
  end;
end;

Le contenu du fichier test.txt contient seulement test123 et j'essaye d'ajouter simplement des "a" à la fin, je n'ai aucun problème au bureau, mais quand j'essaye sur mon pc, le contenu du fichier test.txt devient test123慡慡慡, alors qu'il devrait écrire test123aaaaaa.
WIN7 64 sur les deux pcs
Quelqu'un aurait-il une idée?

**Jeankiki** · 08/11/2011, 22h21

Parfois, il enregistre test123aa dans le fichier test.txt au lieu de test123aaaaaa

**tourlourou** · 08/11/2011, 22h47

que valent SizeOf(Char) et Stream.Size après avoir juste lu 'test123' ?

**Jeankiki** · 08/11/2011, 23h12

SizeOf(char) vaut 2 et fs.Size vaut 16

**guillemouze** · 08/11/2011, 23h51

Envoyé par Jeankiki

SizeOf(char) vaut 2 et fs.Size vaut 16

delphi 7 et tu es en wideChar !!!

essaye de forcer le Ansi :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
 
str: AnsiString;
...
fs.Write(PAnsiChar(str)^, Length(str));

**Jeankiki** · 08/11/2011, 23h56

Malheureusement, ce changement ne fait rien du tout.

**Paul TOTH** · 09/11/2011, 05h01

Envoyé par Jeankiki

SizeOf(char) vaut 2 et fs.Size vaut 16

très surprenant...

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
  fs.Write(str[1], Length(str) * SizeOf(Char));

**Jeankiki** · 09/11/2011, 09h37

@Paul : J'ai essayé cette ligne de code sur mon pc au bureau mais il me double le nombre de caractère 'a' sur Delphi 7, j'obtiens test123aaaaaaaaaaaa
J'ai aussi refait un test sur Delphi xe, et voici ce que j'obtiens quand j'ouvre avec notepad++

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
test123anulanulanul

en utilisant la ligne de code

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
fs.Write(PChar(str)^, Length(str));

**chaplin** · 09/11/2011, 09h42

Le lecture du résultat est obtenu avec Delphi ou en ouvrant Notepad ?

**guillemouze** · 09/11/2011, 09h48

Envoyé par chaplin

Le lecture du résultat est obtenu avec Delphi ou en ouvrant Notepad ?

Vu le resultat je dirais plutot un truc du genre Notepad++

La question est plutot "que se passe t'il si tu le fait sur un fichier vierge ?"
J'ai l'impression que ton fichier est en unicode, d'ou le probleme.
Le deuxieme probleme, c'est pourquoi le sizeOf(Char) vaut 2 !!!
Es-tu sur d'etre en delphi 7 ?

ou alors une redeclaration de Char, PChar, ... dans le debut ou dans les uses de ton fichier !
Que vaut SizeOf(System.PChar) ?

**Jeankiki** · 09/11/2011, 10h01

@guillemouze :
J'ai fais la lecture avec notepad++
Si je fais le test sur un pc avec Delphi 7, il écrit bien le nombre de caractère demandé, donc

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
test123aaaaaa

Sur Delphi XE2, j'obtiens

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
test123anulanulanul

Si je fais le même petit programme sur autre pc qui est aussi en win7 64bits, j'obtiens test123aaa (lu avec notepad) que se soit avec Delphi 7 ou Delphi XE2.

**ShaiLeTroll** · 09/11/2011, 10h21

Au final, tu utilises quel Delphi 7 ou XE2 ?
Parce qu'effectivement, tu sembles depuis le début mélanger les deux !
Pense qu'en Delphi 7, le Char et String c'est implicitement le type AnsiChar et AnsiString dont le caractère fait 1 octet
Depuis 2009 donc en XE2 cela changele Char et String c'est implicite WideChar et UnicodeStrint et le caractère occupe 2 octets !
Il est évident que tu dois faire attention à cela lorsque tu manipules directement la mémoire

Quel est le résultat ? bon ou pas ?

fs.Size vaut 16

le fichier ne contient que 'test123' donc même si l'on double, cela ne donne que 14 !
Es-tu précis dans ce que tu nous fournis ?
Si oui, les 2 octets doivent être le BOM UNICODE : FE FF (þÿ) qui démarre le fichier !

Utilise UltraEdit pour lire le fichier en mode hexadécimal, Notepad ou Notepad++ sont des outils textes, ils gèrent tous deux le BOM ne l'affiche pas et gère les caractères selon l'encodage Unicode (donc 2 octets par caractères) donc ce qui s'affiche est une interprétation du contenu réel

'test123aaa' c'est bien ce que tu obtiens ?
C'est assez étrange !

'test123慡慡慡' en unicode c'est un binaire que l'on peut représenter en ANSI 'þÿ.t.e.s.t.1.2.3aaaaaa'
. indique un zéro

@guillemouze
SizeOf(System.PChar), ça donnera 4 ou 8, mais cela ne devrait pas changer le comportement !

La méthode de Paul TOTH, est la méthode la plus fiable, mais le résultat dans le fichier sera différent
A toi de veiller en XE2 à utiliser le type AnsiString et PAnsiChar si tu veux utiliser de l'ANSI
Si à l'inverse tu gère de l'unicode dans ton fichier, tu devras utiliser un PWideChar en Delphi 7, je te conseille d'utiliser la fonction StringToWideChar
Il n'y a quasiment pas de modification de code lorsque l'on passe de D7 à DXE2 si l'on reste dans une utilisation simple du string mais dès que l'on manipule des caractères directement en octet, le code D7 et DXE2 sera différent !
le choix d'avoir modifié StringToWideChar de AnsiString à UnicodeString parait à la base saugrenue de la part de CodeGear mais cela permet de ne pas toucher au code existant

un code fonctionnel dans les DEUX delphi pour un fichier Unicode, je l'ai tapé directement sur le forum, j'espère ne pas avoir commis d'erreur

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
procedure TForm1.Button1Click(Sender: TObject);
var
  fs: TFileStream;
  str: string;
  strw: PWideChar;
  strwsize, strwbufsize: integer;
begin
  fs := TFileStream.Create('D:\Travaux\test.txt', fmOpenReadWrite or fmShareDenyNone);
  try
    str := 'aaaaaa';
    strwsize := Length(str) * SizeOf(WideChar); // taille des caractères
    strwbufsize := strwsize + SizeOf(WideChar); // taille des caractères plus le double zéro terminal
    GetMem(strw, strwbufsize); 
    try
      fs.seek(0, soFromEnd);
      fs.Write(StringToWideChar(strw, str, strwbufsize)^, strwsize);
    finally
      FreeMem(strw);
    end;
  finally
    fs.Free;
  end;
end;

Je te conseille de lire Activation des applications pour Unicode

**Rayek** · 09/11/2011, 11h00

Pour ma part sous XE, j'utilise la même méthode que la savetofile du TStringList

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
 
Procedure AddToLog(AFileName, AText :String);
var
  FFile : TFileStream;
  sLigne : String;
  Buffer : TBytes;
  Encoding : TEncoding;
begin
    sLigne := FormatDateTime('[DD/MM/YYYY hh:mm:ss] ',Now) + AText;
    if FileExists(AFileName) then
    begin
      FFile := TFileStream.Create(AFileName,fmOpenReadWrite);
      FFile.Seek(0,soFromEnd);
    end else
      FFile := TFileStream.Create(AFileName,fmCreate);
    try
      // Ajoute un retour à la ligne pour le fichier text
      sLigne := sLigne + #13#10;
 
      Encoding := TEncoding.Default;
      Buffer := Encoding.GetBytes(sLigne);
      FFile.Write(Buffer[0],Length(Buffer));
    finally
      FFile.Free;
    end;
  end;
end;

**Jeankiki** · 09/11/2011, 11h42

Merci à vous deux pour l'explication, je vais regarder à ça.
@ShaiLeTroll : Non, je ne mélange pas les deux, c'est simplement que j'ai essayé de faire le test sur les deux, sur deux pc différents et que j'obtiens des valeurs différentes et c'est ça que je ne comprends pas.
Pour résumé, j'ai deux pc avec win7 64 bits, sur les deux pcs, j'ai delphi 7 et delphi xe2.
Sur le premier pc, je n'ai pas le résultat escompter que se soit avec delphi 7 ou delphi xe2 (càd, test123aaa avec le bloque note)
Sur le second pc:
quand j'exécute à partir de Delphi 7, j'obtiens test123aaaaaa (notepad++)
quand j'exécute à partir de Delphi XE2, j'obtiens test123anulanulanul (notepad ++)
Ce que je ne comprends pas c'est le comportement entre les deux PC.

**Paul TOTH** · 09/11/2011, 13h24

Envoyé par Jeankiki

Merci à vous deux pour l'explication, je vais regarder à ça.
@ShaiLeTroll : Non, je ne mélange pas les deux, c'est simplement que j'ai essayé de faire le test sur les deux, sur deux pc différents et que j'obtiens des valeurs différentes et c'est ça que je ne comprends pas.
Pour résumé, j'ai deux pc avec win7 64 bits, sur les deux pcs, j'ai delphi 7 et delphi xe2.
Sur le premier pc, je n'ai pas le résultat escompter que se soit avec delphi 7 ou delphi xe2 (càd, test123aaa avec le bloque note)
Sur le second pc:
quand j'exécute à partir de Delphi 7, j'obtiens test123aaaaaa (notepad++)
quand j'exécute à partir de Delphi XE2, j'obtiens test123anulanulanul (notepad ++)
Ce que je ne comprends pas c'est le comportement entre les deux PC.

alors XE2 est en UnicodeString, d'où le caractère "nul" (0) après entre les a, jusque là tout va bien pour le PC n°2

si le fichier du PC n°1 contient un préfixe UTF il va réinterpréter le contenu...d'où les caractères inattendus.

**ShaiLeTroll** · 09/11/2011, 14h25

Evite Notepad++ !
Utilise un éditeur Hexadécimal comme 'Hex Editor' qui est gratuit et tout à fait convenable pour ce type de vérification

Notepad++ interprète ton fichier, je pense qu'il contenait un BOM, tant que tu n'auras pas utiliser l'outil approprié sur tous les fichiers, il est possible qu'un PC a un fichier avec BOM suite justement à l'ouverture par Notepad++ et que l'autre PC le fichier ne l'a pas !

Il semble que ton fichier, qui contient anul ne contient plus de BOM

Fait le test de SizeOf(Char) et fs.size à l'ouverture

le fichier contient 'test123'
si size = 7 alors ANSI - le format souhaité je pense
si size = 14 alors UNICODE sans BOM, ça c'est typiquement de XE2
si size = 16 alors UNICODE avec BOM, ça c'est un parasitage de Notepad++ à moment donné !

En plus, si tu sembles un coup utilisé le 'bloc notes' (notepad) et Notepad++, si tu ne contrôle pas avec les mêmes outils !

Tes résultats changent à chaque fois en plus, un coup 'aaa' car len = 3, un coup '慡慡慡' parce que 'aa' correspond à '慡' dans l'encode Unicode, un coup 'anulanulanul' par ce que tu enregistre 6 octets d'une chaine unicode qui en contient 12
As-tu analysé à chaque fois, le comportement des différents codes fournis et de l'importance du facteur 2 entre mémoire et caractère

D'ailleurs sais-tu le format de fichier que tu souhaites ? ANSI ? UTF8 ? UNICODE ? avec ou sans BOM ? big-endian ou little-endian ?
C'est très important, cela peut changer radicalement nos réponses !

Supposons ANSI comme cela devait l'être en D7
j'ai fourni plus haut la version UNICODE

Je pense que depuis ce matin tu as déjà résolu ton problème puisque si tu as lu Activation des applications pour Unicode - Appels aux méthodes Write/WriteBuffer de TStream comme je te l'ai recommandé à 10h21, cela explique l'utilisation d'un tampon AnsiString et non string

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
procedure TForm1.Button1Click(Sender: TObject);
var
  fs: TFileStream;
  str: AnsiString; // très important !
begin
  fs:= TFileStream.Create('D:\Travaux\test.txt', fmOpenReadWrite or fmShareDenyNone);
  try
    str:= 'aaaaaa';
    fs.seek(0, soFromEnd);
    fs.Write(str[1], Length(str) * SizeOf(AnsiChar)); // [1] c'est plus simple que PAnsiChar(str)^
  finally
    fs.Free;
  end;
end;

**Jipété** · 10/11/2011, 09h14

Salut,

juste un détail :

Envoyé par ShaiLeTroll

Si oui, les 2 octets doivent être le BOM UNICODE : FE FF (þÿ) qui démarre le fichier !

J'ai vérifié avec deux afficheurs hexa, en fait c'est l'inverse : ce genre de fichier commence par FF FE (ÿþ)

Bonne journée,

**Jeankiki** · 10/11/2011, 09h32

Il semblerait que ce soit Windows qui crée en unicode par défaut car le fichier d'origine, je l'ai créé avec Windows en utilisant le bloque note pour créer un fichier texte dans lesquels j'ai écrit test123.

J'ai refait le test en faisant un fmCreate au lieu fmOpenReadWrite et là le fichier est rempli correctement (j'avais effacé le fichier d'origine pour voir comment Delphi XE2 réagit).

Je n'avais pas vraiment d'apriori pour le type d'encodage, je suis parti du principe qu'il serai en ANSI

Avant de faire les opérations ci-dessus, j'ai vérifié fs.size et il vallait 16

@ShaiLeTroll : J'ai aussi essayé le petit code ci-dessous sur un des pc avec Delphi XE et j'ai aussi le résultat suivant "test123慡慡慡"

**guillemouze** · 10/11/2011, 09h32

Envoyé par Jipété

J'ai vérifié avec deux afficheurs hexa, en fait c'est l'inverse : ce genre de fichier commence par FF FE (ÿþ)

Donc ton fichier de base est bien en unicode, donc il faut que tu ecrive en unicode dedans. Donc il faut utiliser WideChar, ....
apres, il faut regarder, mais FF FE et FE FF indique l'ordre des octets dans ton fichier.

**ShaiLeTroll** · 10/11/2011, 11h11

A l'origine quel programme créera le fichier ?

N'utilise que ce programme ! évite notepad ou notepad++
Car tu fausses ton contexte !

Pense que tu peux choisir l'encodage dans notepad !
C'était déjà le cas sur XP !

Au final quel Delphi ? 7 ou XE ?
Qui écrira le fichier ? Qui le lira ?
L'encodage le plus facile à utiliser sera choisi en fonction de ta réponse !

Ton problème n'est pas spécialement le code Delphi mais ton fichier de départ !

FE FF (þÿ) et FF FE (ÿþ)
c'est le BOM UNICODE Big Endian et BOM UNICODE Little Endian

Si l'on écrit directement un Stream de UnicodeString, c'est Little Endian qu'il faut choisir donc FF FE (ÿþ)
On le voit avec 'anul', 'a' puis zéro, c'est du Little Endian
sinon tu aurais du 'nula', zéro puis 'a' qui est du Big Endian

test123慡慡慡
Big Endian : þÿ.t.e.s.t.1.2.3aaaaaa
Little Endian : ÿþt.e.s.t.1.2.3.aaaaaa
. désigne un zéro

TFileStream et caractères bizarres

Langage Delphi

Discussions similaires

Partager

Partager