Discussion :

[gerald2545]

Bonjour,
je ne sais pas si je suis au bon endroit, mais mon appli "tant sur le web écrite en perl...je tente ma chance ici

Pour vous expliquer mon problème : j'avais une appli écrite en perl qui tournait très bien sur une redhat 5.5 (apache 2.2, postgresql 8.1.23, perl 5.8.8). La base de données était en UTF8, mes fichiers source perl étaient en UF8, les pages html générées utilisaient charset=utf-8....tout allait bien dans le meilleur des mondes.

Aujourd'hui, je dois migrer sur un nouveau serveur sous CentOS 7 (apache 2.4, postgresql 9.2.7, perl 5.16.3). Globalement la migration s'est bien passée (quelques ajustements dans le code source à faire, des modules plus compatibles à remplacer)...j'arrive à bien faire tourner tout ça...sauf que j'ai un problème d'encodage et je ne comprends pas d'où ça vient.

exemple :

Le texte "Charger une requête favorite" est un <label> généré manuellement et "Envoyer le résultat par e-mail" est un <label> généré par la commande

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
 $cgiQuery->checkbox(
        -name  => 'downloadFullList',
        -id    => 'downloadFullList',
        -value => 'downloadFullList',
        -label => 'Envoyer le résultat par e-mail'
    );

bon, en écrivant ce mail, je commence à entrevoir que le module perl CGI est sans doute en cause (autre exemple : j'utilise un popup_menu que j'alimente avec un hash pour les labels, quand j'affihce dans le logger le contenu, tout est bien forméta en utf8, mais à l'affichage, il pète un plomb).
Le module CGI est en version 4.13.

ça vous dit quelque chose?

Décidément cet encodage c'est vraiment l'enfer...je croyais m'en être sorti....et bam

Merci ar avance pour votre aide/piste

Gérald

[gerald2545]

juste pour info, sur mon install de pro, le module CGI est en 3.15

[djibril]

Dans le programme, les sources, tu as bien

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

use utf8;

?

[gerald2545]

merci Djibril pour ta réponse.

Pour le moment, je ne l'ai nul part, mais ça marchait bien avant.
J'ai testé en ajoutant use utf8; sur les sources.

ça corrige bien le problème du label généré par GCI, mais par contre tous mes caractères accentués deviennent illisibles...
j'ai testé sur d'autres interfaces, ça ne corrige pas le problème des caracéres accentués contenus dans les champs CGI->popup_menu par exemple.

bon, je vais me replonger dans la recherche sur l'encodage utf8 et encore tâtonner avant d'y arriver j'espère....
mais si vous avez d'autres pistes je suis preneur

Merci encore

Gérald

[djibril]

Pour ne pas être embêter, je te dirais de mettre tous les caractères accentués en code HTML eacute... et pour ce qui est des données issues d'une BD, là, tu t'assures qu'elles soient bien encodées en UTF-8.

[gerald2545]

passer tous les caractères accentués en codage HTML, je ne trouve pas ça très cool pour la maintenance (et le dev).
Je vais fouiller un peu pour essayer de trouver une solution....
merci encore

Gérald

[djibril]

Difficile sans voir un peu plus de codes.

[gerald2545]

Bonjour,
pour test, j'a fait le petit script suivant :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
#!/usr/bin/perl -w
 
use strict;
use utf8;
use CGI;
my $query  = new CGI;
print $query->header( -lang => 'fr-FR', -charset => 'utf-8' );
 
print $query->start_html(
            -title  => "appli",
            -base   => $query->url( -base ),
            -target => '_self',
            -meta   => { 'keywords' => 'traçabilité' }
    );                                                                                                                                                                  print "<h1>testé</H1>";
print $query->checkbox(
        -name  => 'downloadFullList',
        -id    => 'downloadFullList',
        -value => 'downloadFullList',
        -label => 'Envoyer le résultat par e-mail'
)."<br />";
 
my @UsersValues;
my %UsersHash = {};
push( @UsersValues, -1,1 );
$UsersHash{-1} = 'Sélectionnez un utilisateur';
$UsersHash{1} = 'Gérald';
 
print   "<label for=\"user\">Manipulateur était : </label>";
print $query->popup_menu(
    -name    => 'user',
    -id      => 'user',
    -values  => \@UsersValues,
    -labels  => \%UsersHash
) . '<br />';
print $query->end_html();

dont voici le résultat :


si je commente use utf8 dans le code ci-dessus, j'obtiens :


c'est bizarre non?

le fichier source est bien en utf8 :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
: ~/src/ $ file test.pl
test.pl: Perl script, UTF-8 Unicode text executable

j'édite ce fichier qui est sur un serveur centOS via putty qui est bien configuré (window > translation > Remote character set : UTF8).

Qu'est-ce que je manque?

Une config du serveur? serveur apache?

Merci encore pour votre aide
gérald

[gerald2545]

je viens de vérifier la config apache, il y a bien la directive suivante dans le httpd.conf

AddDefaultCharset UTF-8

[djibril]

Essaye ceci :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
#!/usr/bin/perl
use warnings;
use strict;
use CGI;
use Encode;
 
my $query  = new CGI;
print $query->header( -lang => 'fr-FR', -charset => 'utf-8' );
 
print $query->start_html(
            -title  => "appli",
            -base   => $query->url( -base ),
            -target => '_self',
            -meta   => { 'keywords' => 'traçabilité' }
    );                                                                                                                                                                  print "<h1>testé</H1>";
print $query->checkbox(
        -name  => 'downloadFullList',
        -id    => 'downloadFullList',
        -value => 'downloadFullList',
        -label => set_texte_utf8('Envoyer le résultat par e-mail')
)."<br />";
 
my @UsersValues;
my %UsersHash = {};
push( @UsersValues, -1,1 );
$UsersHash{-1} = set_texte_utf8('Sélectionnez un utilisateur');
$UsersHash{1} = 'Gérald';
 
print  "<label for=\"user\">Manipulateur était : </label>";
print $query->popup_menu(
    -name    => 'user',
    -id      => 'user',
    -values  => \@UsersValues,
    -labels  => \%UsersHash
) . '<br />';
print $query->end_html();
 
sub set_texte_utf8 {
	return encode('utf-8', shift);
}

[gerald2545]

le résultat ci-dessous


l'encodage n'est pas géré de le même façon quand il passe par le module CGI j'ai l'impression

[djibril]

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

use CGI qw/-utf8/;

[gerald2545]

aucun changement avec ce code

à noter qu'avec le premier code donné au début de ce fil, sans le "use utf8;", ça passe nickel sur mon ancien serveur

je continue de fouiller....

[gerald2545]

Bon, il y a du mieux....
recap :
code source testé

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
#!/usr/bin/perl
use warnings;
use strict;
use CGI;
my $query  = new CGI;
print $query->header( -lang => 'fr-FR', -charset => 'utf-8' );
 
print $query->start_html(
            -title  => "appli",
            -base   => $query->url( -base ),
            -target => '_self',
            -meta   => { 'keywords' => 'traçabilité' }
    );                                                                                                                                                                  print "<h1>testé</H1>";
print $query->checkbox(
        -name  => 'downloadFullList',
        -id    => 'downloadFullList',
        -value => 'downloadFullList',
        -label => 'Envoyer le résultat par e-mail'
)."<br />";
 
my @UsersValues;
my %UsersHash = {};
push( @UsersValues, -1,1 );
$UsersHash{-1} = 'Sélectionnez un utilisateur';
$UsersHash{1} = 'Gérald';
 
print  "<label for=\"user\">Manipulateur était : </label>";
print $query->popup_menu(
    -name    => 'user',
    -id      => 'user',
    -values  => \@UsersValues,
    -labels  => \%UsersHash
) . '<br />';
print $query->end_html();

ci-dessous les résultats avec les différentes configs :






et le config gagnanet est :


à noter que utf8::all a dû être installé.

Je teste de ce pas sur les sources de mon appli...
je vais voir ce que veux dire exactement ce utf8::all, pas cherché encore

[djibril]

[gerald2545]

pour mes sources, j'ai ajouté
use utf8::all; à toutes mes sources .pm et .pl :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

find . -type f -name "*.pl" -exec sed -i 2i"use utf8::all;" {} \;

il a fallu que je positionne le flag tutf8 sur toiut =ce qui est extrait de la BDD :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

$dbh->{pg_enable_utf8}=1;

je suis en train de parcourir toutes mes interfaces et tout ce qui est import/export de fichier, mais j'ai déjà repéré d'autres problèmes que j'investigues....pfff

[gerald2545]

suite...
je fais du download de fichiers binaires qui ne fonctionne plus avec ces modifs :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
 
open( AFILE, "<$confvar::pathtemp$file" );
while (<AFILE>) { $data .= $_; }
close(AFILE);

il plantait sur le while car s'attendait à recevoir de l'utf8
il a donc fallu passer le filehandle en binmode

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
 
open( AFILE, "<$confvar::pathtemp$file" );
binmode AFILE;
while (<AFILE>) { $data .= $_; }
close(AFILE);

[gerald2545]

suite...
il plantait sur le while car s'attendait à recevoir de l'utf8
il a donc fallu passer le filehandle en binmode

pas si simple....après ce sont les fichiers texte dont le contenur UTF8 était mal affiché....je désteste ça!!!

Donc, pour le module de chargement de fichier pas de use utf8::all;
et le script de chargement de fichier est la suivant :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
open( OUTFILE, ">", $file ) or die "Can't open the file $file";
    ##$logger->debug("Fichier ouvert");
    while (<$fh>) {
    	$logger->debug("Contenu fichier : " . $_);
        print OUTFILE;
    }

pour la récupération le script contient en entête :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
 
use utf8::all;
binmode STDIN, ":raw";
[...]
if ( defined( $Query->param('downloadFile')){
            use URI::Escape;
            my $file;
            my $base;
 
            $file = $Query->param('downloadFile');
            $base = $confvar::pathtemp;
 
            my ($filename) = fileparse($file);
            my $fileURLencoded = uri_escape($filename);
            print "Content-Type:application/octet-stream; name=\"$file\"\r\n";
            print "Content-Disposition: attachment; filename=\"$filename\";filename*=UTF-8''$fileURLencoded\r\n\n";
 
             #Actual File Content will go here.
             open( FILE, "<:raw","$base$file" ) or die("Impossible d'ouvrir le fichier $base$file ") ;
             binmode STDOUT;
             my $buffer = '';
             while(read(FILE, $buffer, 100) ){
                $logger->debug("Contenu fichier : ".$buffer);
                print($buffer);
            }
            close FILE;
            exit;
        }

me demandez pas comment ça marche, avec ces binmode, open <:raw....
testé sur fichiers texte avec caractère utf8 et différents fichiers bianaires....ça a l'air de fonctionner...du coup j'ai vite commité!!