[sgbd]Probleme caractere perl ( ' ) et script insertion SQL

**perlgirl** · 15/10/2004, 11h24

Coucou

J'ai crée les tables de ma base de données et j'ai ensuite lancé mon script d'insertion qui va donc permettre d'inserer l'ensemble de mes données dans les tables correspondantes.

Ces données sont des informations issus d'un programme perl qui extrait les infos dans des sequences d'ADN...

Lors de l'insertion il y a des erreurs dû à la présence de simple quote dans le texte de certaines de mes données a inserer ce qui est donc interprété ...

Je donne un exemple pour que cela soit plus claire

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
print SQL " INSERT into info_tigr (numacc, idtigr, signal, length_seq, classement, position, polya, nameseq, date) VALUES ($comp, '$cle1', '$tab_tags[5]', '$tab_tags[3]', '$cle2', '$tab_tags[1]', '$tab_tags[4]', '$tab_tags[6]', '2004-05-26');\n";

ce qui donne par ex dans mon fichier SQL:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
 INSERT into info_tigr (numacc, idtigr, signal, length_seq, classement, position, polya, nameseq, date) VALUES (4060, 'TC260187', 'no Signal', '3186', 'Rn2', '3095', 'no', 'homologue to SP|P49902|5NTC_HUMAN Cytosolic purine 5'-nucleotidase  (5'-nucleotidasecytosolic II)', '2004-05-26');

et voici l'erreur qui m'est indiqué quand je lance le fichier d'insertion :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
psql:insertion151004.sql:161709: ERROR:  syntax error at or near "'-nucleotidasecytosolic II)'" at character 244

Donc je pense que c'est a cause du "5' " car le " ' " est interprété mais je ne suis pas sure et si c'est a cause de cela comment je peux y remedier

Merci d'avance

Perlgirl

Invité(e) · 15/10/2004, 12h09

il faut remplacer le "'" par "''" :
s/"'"/"''"/ il me semble

**aidefz** · 15/10/2004, 12h55

Et mettre tout simplement 5\\' dans la chaîne de requête...
ça ne fonctionne pas ?

**perlgirl** · 15/10/2004, 13h00

J'ai deja essayé de remplacer les simples quote " ' " par les doubles " " " mais apres c'est le programme perl qui ne s'execute pas car ca ne lui convient pas...

Perlgirl

**Arioch** · 15/10/2004, 13h04

s/\'/\'\'/g;

pas joli mais logiquement, ça marche

**perlgirl** · 15/10/2004, 13h04

Ben en fait sur 80 séquences traitées apparemment il n'y en a que qques unes qui comportent l'ecriture "5' " et comme je recupere les noms de séquences dans une variable je ne peux pas controler pour rajouter " 5\' "...

Perlgirl

**perlgirl** · 15/10/2004, 13h06

Envoyé par perlgirl

Ben en fait sur 80 000 séquences traitées apparemment il n'y en a que qques unes qui comportent l'ecriture "5' " et comme je recupere les noms de séquences dans une variable je ne peux pas controler pour rajouter " 5\' "...

Perlgirl

**Arioch** · 15/10/2004, 13h07

Le but, c'est de remplacer 1 simple quote par 2 simples quotes, pas par des doubles quotes.

**perlgirl** · 15/10/2004, 13h08

remplacer les simple quote a quel niveau ???

**Arioch** · 15/10/2004, 13h12

Envoyé par perlgirl

remplacer les simple quote a quel niveau ???

Quand tu as des simples quotes dans une chaîne et que tu veux faire un insert ou un update de la chaîne dans une BDD style Oracle ou MySql, la simple quote est considéré comme délimiteur de chaîne en langage SQL.

De fait, pour obliger SQL à ignorer une simple quote qu'il trouve à l'intérieur d'une chaîne, il faut donc mettre 2 simples quotes au lieu d'une. Comme ça, SQL n'interprête pas la simple quote, il la considère juste comme un vulgaire caractère.

**Arioch** · 15/10/2004, 13h15

Perso, je ferais comme ceci pour ton code :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

INSERT into info_tigr (numacc, idtigr, signal, length_seq, classement, position, polya, nameseq, date) VALUES (4060, "TC260187", "no Signal", "3186", "Rn2", "3095", "no", "homologue to SP|P49902|5NTC_HUMAN Cytosolic purine 5''-nucleotidase  (5''-nucleotidasecytosolic II)", "2004-05-26");

- j'ai remplacé tes simples quotes délimitant chaque chaîne par des doubles quotes ---> permet l'interpolation des variables éventuellement contenues dans la chaîne
- pour le dernier champ de l'enregistrement, 5''-nucleotidase, ce n'est pas une double mais une simple quote que tu vois après le 5

**perlgirl** · 15/10/2004, 13h16

D'accord mais si je fais cela ca veut dire que par la suite quand je vais interroger ma bdd l'un de mes resultat de requete pourra me donner:

...... 5'' ... au lieu de ....5'....

c'est bien cela??

**Arioch** · 15/10/2004, 13h20

SQL fait sa tambouille tout seul, ne t'inquiètes pas et ton enregistrement contiendra bien un champ dont la valeur exacte est
homologue to SP|P49902|5NTC_HUMAN Cytosolic purine 5'-nucleotidase (5'-nucleotidasecytosolic II)

**perlgirl** · 15/10/2004, 13h29

Alors j'ai bien compris qu'il fallait que je remplace les simples quotes par les doubles quotes à ce niveau là :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
print SQL " INSERT into info_tigr (numacc, idtigr, signal, length_seq, classement, position, polya, nameseq, date) VALUES ($comp, '$cle1', '$tab_tags[5]', '$tab_tags[3]', '$cle2', '$tab_tags[1]', '$tab_tags[4]', '$tab_tags[6]', '2004-05-26');\n";

ce qui va me générer le fichier SQL suivant avec des double quote a la place des simples:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
INSERT into info_tigr (numacc, idtigr, signal, length_seq, classement, position, polya, nameseq, date) VALUES (4060, 'TC260187', 'no Signal', '3186', 'Rn2', '3095', 'no', 'homologue to SP|P49902|5NTC_HUMAN Cytosolic purine 5'-nucleotidase  (5'-nucleotidasecytosolic II)', '2004-05-26');

Mais pour modifier 5' en 5' ' il faut que je modifie la variable $tab_tags[6]???

**Arioch** · 15/10/2004, 13h34

oui, avant de faire ton insertion :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

$tab_tags[6] =~ s/\'/\'\'/g;

**perlgirl** · 15/10/2004, 15h15

Ayééé j'ai testé et je n'ai plus de mess d'erreur lors de l'insertion dans la bdd.
Merci beaucoup Arioch

.

Perlgirl

**Tchinkatchuk** · 30/05/2005, 16h52

Il n'y a aucun moyen de traiter cela directement dans le pg_dump ???
C'est hallucinant !!
Ma base fait des dizines de milliuers de lignes, je ne vais as m'amuser a faire cela a chaque fois.

Il y a bien une solution !! Sinon postgres ne serait pas aussi réputée

**nematoad** · 30/05/2005, 19h08

Envoyé par perlgirl

J'ai crée les tables de ma base de données et j'ai ensuite lancé mon script d'insertion qui va donc permettre d'inserer l'ensemble de mes données dans les tables correspondantes.

...

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
print SQL " INSERT into info_tigr (numacc, idtigr, signal, length_seq, classement, position, polya, nameseq, date) VALUES ($comp, '$cle1', '$tab_tags[5]', '$tab_tags[3]', '$cle2', '$tab_tags[1]', '$tab_tags[4]', '$tab_tags[6]', '2004-05-26');\n";

Je propose que tu laisses tomber l'idée de malaxer les données toi-même avec des regexps, tu tomberas toujours sur des données qui font tout casser. Sers-toi du module DBI pour qu'il fasse le boulot à ta place.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
my $db = DBI->connect("dbi:Pg:dbname=truc", "moi", "passwd");
END { $db and $db->disconnect }
 
print SQL "INSERT into info_tigr (a, b, c) values ("
    . join( ',',
        $db->quote( $tab_tags[6] ),
        '2004-01-02',
        $db->quote( $tab_tags[2] ),
    )
    . ");\n";

Notes comment j'utilise join pour me faire les virgules au bon endroit entre les champs, je n'ai pas à me prendre la tête à vérifier que tout est nickel.

Ce code n'utilise pas le module DBI pour faire l'insertion, tu continueras à utiliser psql pour l'import, mais je me demande si le temps que ça prend d'écrire le fichier et puis le relire avec psql ne serait pas plus lent que d'insérer les lignes directement dans ton script Perl via un statement préparé.

Tu peux d'ailleurs très bien dropper les index au début et les recréer à la fin du script de toute façon (ce que, je suppose, tu fais déjà dans le script pour psql).

N

**nematoad** · 30/05/2005, 19h13

Envoyé par Tchinkatchuk

Il n'y a aucun moyen de traiter cela directement dans le pg_dump ???
C'est hallucinant !!
Ma base fait des dizines de milliuers de lignes, je ne vais as m'amuser a faire cela a chaque fois.

Il y a bien une solution !! Sinon postgres ne serait pas aussi réputée

Bien sûr que si. Il suffit juste de quoter les données avant de les passer. L'utilisation de DBI est la solution. J'ai des tables dans Postgres qui ont frôle les 500 millions de lignes et pas de problème de perf que ce soit au niveau de l'insertion ou de l'extraction.

**Tchinkatchuk** · 31/05/2005, 10h26

Merci beaucoup nematoad !!

Je vias regarder cela.

Mais j'a un autre probleme qui concerne le forum postgres.
L'insertion se fait dans l'ordre alphabetique des tables du coup, a cause des cles etrangeres, ca foire !!! Je commence sensiblement a m'énerver

[sgbd]Probleme caractere perl ( ' ) et script insertion SQL

SGBD Perl

Discussions similaires

Partager

Partager