Discussion :

[jyves78]

Lorsque j'utilise sql*loader en MODE DIRECT avec les fonctions trim (cf ctl ci-dessous), la donnée est insérée dans la base même si la longueur dépasse la taille maxi de la colonne.

Exemple pour la colonne status :

le ctl :

load data
infile '/data/in/fedex/gsmart_status_txt.10'
replace into table STATUS_FULL_DUMP_10
fields terminated by '|'
trailing nullcols
(bus_org_id "trim(:bus_org_id)",
org_id "trim(:org_id)",
nname "trim(:nname)",
status "trim(:status)",
x_downtrader "trim(_downtrader)",
x_ship_status_cd "trim(_ship_status_cd)",
x_country "trim(_country)",
current_date "trim(:current_date)"
)


Connected to:
Oracle Database 10g Enterprise Edition Release 10.2.0.4.0 - Production
With the Partitioning, OLAP, Data Mining and Real Application Testing options

SQL> desc STATUS_FULL_DUMP_10
Name Null? Type
----------------------------------------- -------- ----------------------------
BUS_ORG_ID VARCHAR2(10 CHAR)
ORG_ID VARCHAR2(20 CHAR)
NNAME VARCHAR2(100 CHAR)
STATUS VARCHAR2(10 CHAR)
X_DOWNTRADER VARCHAR2(20 CHAR)
X_SHIP_STATUS_CD VARCHAR2(20 CHAR)
X_COUNTRY VARCHAR2(20 CHAR)
CURRENT_DATE VARCHAR2(30 CHAR)

SQL>

Exemples de fichier de données (3 lignes commençant par un chiffre)
279219536|251673225|L|PERTZ, HELGA|1|Not relevant|LOST|Germany|2008-11-14 16:03:01
279219536|251673225|L| PERTZ, HEL|1|Not relevant|LOST|Germany|2008-11-14 16:03:01
276529380|231848886|GR|TMACHER, GRAVERT& PARTNER|1|Not relevant|LOST|Germany|2008-11-14 16:03:01

la quatrième colonne STATUS dans cet exemple de données fait plus de 10 caractères, si on applique la fonction trim sur STATUS, le loader ne devrait charger que la 2eme ligne et pourtant il charge sans pb les 3 lignes !!
l erreur se produit en mode direct avec des fonctions PL (trim ou autre)!!


extrait du log :

Column Name Position Len Term Encl Datatype
------------------------------ ---------- ----- ---- ---- ---------------------
BUS_ORG_ID FIRST * | CHARACTER
SQL string for column : "trim(:bus_org_id)"
ORG_ID NEXT * | CHARACTER
SQL string for column : "trim(:org_id)"
NNAME NEXT * | CHARACTER
SQL string for column : "trim(:nname)"
STATUS NEXT * | CHARACTER
SQL string for column : "trim(:status)"
X_DOWNTRADER NEXT * | CHARACTER
SQL string for column : "trim(_downtrader)"
X_SHIP_STATUS_CD NEXT * | CHARACTER
SQL string for column : "trim(_ship_status_cd)"
X_COUNTRY NEXT * | CHARACTER
SQL string for column : "trim(_country)"
CURRENT_DATE NEXT * | CHARACTER
SQL string for column : "trim(:current_date)"


Table STATUS_FULL_DUMP_10:
3 Rows successfully loaded.
0 Rows not loaded due to data errors.
0 Rows not loaded because all WHEN clauses were failed.
0 Rows not loaded because all fields were null.


Dans la base apres chargement, je retrouve des données tronquées a 10c avec des longueurs trop grandes :

Oracle Database 10g Enterprise Edition Release 10.2.0.4.0 - Production
With the Partitioning, OLAP, Data Mining and Real Application Testing options

SQL> select status,length(status) from STATUS_FULL_DUMP_10;

STATUS LENGTH(STATUS)
---------- --------------
PERTZ, HEL 12
PERTZ, HEL 10
TMACHER, G 25

SQL> desc STATUS_FULL_DUMP_10
Name Null? Type
----------------------------------------- -------- ----------------------------
BUS_ORG_ID VARCHAR2(10 CHAR)
ORG_ID VARCHAR2(20 CHAR)
NNAME VARCHAR2(100 CHAR)
STATUS VARCHAR2(10 CHAR)
X_DOWNTRADER VARCHAR2(20 CHAR)
X_SHIP_STATUS_CD VARCHAR2(20 CHAR)
X_COUNTRY VARCHAR2(20 CHAR)
CURRENT_DATE VARCHAR2(30 CHAR)

SQL>




une idée ?

[fatsora]

c'est ptet lié a 10.2.0.4

en 10.2.0.3

SQL*Loader: Release 10.2.0.3.0 - Production on Thu Nov 20 16:10:33 2008

Copyright (c) 1982, 2005, Oracle. All rights reserved.

Control File: test.ctl
Data File: c:\temp\test.csv
Bad File: test.bad
Discard File: none specified

(Allow all discards)

Number to load: ALL
Number to skip: 1
Errors allowed: 50
Bind array: 64 rows, maximum of 256000 bytes
Continuation: none specified
Path used: Conventional

Table STATUS_FULL_DUMP_10, loaded from every logical record.
Insert option in effect for this table: TRUNCATE
TRAILING NULLCOLS option in effect

Column Name Position Len Term Encl Datatype
------------------------------ ---------- ----- ---- ---- ---------------------
BUS_ORG_ID FIRST * | CHARACTER
SQL string for column : "trim(:bus_org_id)"
ORG_ID NEXT * | CHARACTER
SQL string for column : "trim(:org_id)"
NNAME NEXT * | CHARACTER
SQL string for column : "trim(:nname)"
STATUS NEXT * | CHARACTER
SQL string for column : "trim(:status)"
X_DOWNTRADER NEXT * | CHARACTER
SQL string for column : "trim(_downtrader)"
X_SHIP_STATUS_CD NEXT * | CHARACTER
SQL string for column : "trim(_ship_status_cd)"
X_COUNTRY NEXT * | CHARACTER
SQL string for column : "trim(_country)"
CURRENT_DATE NEXT * | CHARACTER
SQL string for column : "trim(:current_date)"

Record 2: Rejected - Error on table STATUS_FULL_DUMP_10, column STATUS.
ORA-12899: value too large for column "OWNER_INTRADAY"."STATUS_FULL_DUMP_10"."STATUS" (actual: 25, maximum: 10)


Table STATUS_FULL_DUMP_10:
1 Row successfully loaded.
1 Row not loaded due to data errors.
0 Rows not loaded because all WHEN clauses were failed.
0 Rows not loaded because all fields were null.


Space allocated for bind array: 132096 bytes(64 rows)
Read buffer bytes: 1048576

Total logical records skipped: 1
Total logical records read: 2
Total logical records rejected: 1
Total logical records discarded: 0

[Vincent Rogier]

1 - le trim ne fait qu'enlever les espaces pas limiter la colonne
2 - en mode direct (en utilisant directpath), aucun contrôle SQL n'est réalisé, c'est pourquoi ca passe....

[fatsora]

j'ai ajoute direct =y en 10.2.0.3 64 bit zindoz
et bien ca passe pas !

[jyves78]

Bonjour et merci pour vos réponses

Effectivement le trim me permet d 'enlever les espaces devant et derrière mais si le résultat du trim est une chaine de plus de 10c dans mon exemple cela devrait bloquer non ? en mode direct ou non !

Avant la 10g on ne pouvait pas indiquer de fonction SQL en mode direct, je trouve étonnant que maintenant que c'est permis le controle ne se fait pas !!
surtout qu'en mode conventionnel cela bloque bien ... je n'ai pas trouve de patch pour le loader et rien dans la base de bug !

Le comportement au niveau fonctionnel du loader en mode direct ou conventionnel devrait étre le même non ?

Savez-vous si on peut passer en 10.2.0.3 uniquement pour le loader ? sans changer la version du noyau

[Vincent Rogier]

bon, j'ai trouvé un bug sur metalink... (ref : 5873852) avec une correction effective en 11.1.

As tu crée ta colonne en spécifiant CHAR dans la taille ?

[jyves78]

J'ai créé la colonne en précisant VARCHAR2(10)
j'ai le paramètre NLS_LENGTH_SEMANTICS = 'CHAR' positionné dans l'init.ora , le CHARACTER SET de la base est AL32UTF8

le desc de la table ci-dessous (colonne STATUS)

Connected to:
Oracle Database 10g Enterprise Edition Release 10.2.0.4.0 - Production
With the Partitioning, OLAP, Data Mining and Real Application Testing options

SQL> desc STATUS_FULL_DUMP_10
Name Null? Type
----------------------------------------- -------- ----------------------------
BUS_ORG_ID VARCHAR2(10 CHAR)
ORG_ID VARCHAR2(20 CHAR)
NNAME VARCHAR2(100 CHAR)
STATUS VARCHAR2(10 CHAR)
X_DOWNTRADER VARCHAR2(20 CHAR)
X_SHIP_STATUS_CD VARCHAR2(20 CHAR)
X_COUNTRY VARCHAR2(20 CHAR)
CURRENT_DATE VARCHAR2(30 CHAR)

SQL>

[Vincent Rogier]

donc, tu dois avoir le bug mentionné ci dessus.... vas sur metalink et tu aura le détail qui correspond exactement à ton cas...