Import d'un fichier .csv

**Winner Taco** · 11/06/2012, 13h58

Bonjour à tous,

j'ai un problème lors de mon import de fichier csv, effectué avec la procédure suivante :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
DATA pric_par.V_ois_cml_busn_site_exprt;
 
	infile "&dossier.\&fichier"
	delimiter=";" MISSOVER DSD lrecl=32767 firstobs=2;
 
	informat POLICYID $70. ;
	informat SITEID $70. ;
	informat SITENAME $70. ;
 
	input 
	POLICYID$
	SITEID$
	SITENAME$
 
run;

La variable SiteName contient des caractères dont certains ne sont pas reconnus par SAS. Dès qu'une observation a un de ces caractères, l'import s'arrête sur cette ligne.
Ainsi, sur une table de 250 000 lignes, j'en récupère seulement 56 000.

Connaissez-vous donc un moyen de demander à SAS de traiter l'erreur et de continuer l'import de données ?

Merci d'avance pour l'intérêt que vous porterez à mon problème.

**datametric** · 11/06/2012, 20h50

J'imagine que les erreurs syntaxiques ne sont pas issues du programme original mais de la recopie ici ?

Pour répondre à ta question : utilise la proc IMPORT et spécifie GUESSINGROWS=250000 pour voir déjà s'il y arrive tout seul. Les INFILE c'est un peu has been.

**Géraldine_Cade_SAS** · 12/06/2012, 13h14

Bonjour,

Pourriez-vous donner quelques exemples de caractères spéciaux s'il-vous-plaît ?

Cordialement,
Géraldine Cade
Support Clients SAS

**Winner Taco** · 30/07/2012, 18h00

Bonjour,

Merci pour vos réponses et désolé pour mon absence depuis plus d'un mois, mais j'ai du passer sur d'autres sujets, et il y a eu les vacances.

datametric, je ne vois pas quelles sont les erreurs syntaxiques dont tu parles. La procédure proc import avec Guessingrows=250000 m'a donné la même chose, à savoir un import de 56979 lignes.

Pour info, le code que j'ai lancé est :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
 
  proc import datafile="O:\matable.csv"
  out=mydata dbms=dlm replace;
  delimiter=";";
  getnames=yes;
  GUESSINGROWS=250000;
run;

Géraldine_Cade_SAS, les caractères spéciaux sont les carrés vides (que je n'arrive pas à coller dans ce message, mais sont les mêmes que ceux-ci ■, mais en blanc à l'intérieur).

Merci pour votre aide.

**datametric** · 30/07/2012, 21h00

Ces caractères spéciaux sont visibles dans notepad par exemple ?
Ce sont des caractères d'une autre langue (chinois...) ?

**Winner Taco** · 31/07/2012, 10h09

Ces caractères sont en effet visibles dans notepad.
Ces carrés peuvent tout à fait provenir de caractères chinois qui ne passeraient pas sur nos machines.

**s_a_m** · 31/07/2012, 10h17

Hello,
as tu essayé l'import avec une étape DATA + l'option RECFM=N. Sinon peux-tu nous donner un exemple de ton fichier?

**Winner Taco** · 01/08/2012, 16h27

@datametric,

Pourrais-tu me dire comment utiliser SAS en unicode ? Ou m'envoyer vers un tutoriel.

@s_a_m,

Merci pour le lien, je vais lire ça attentivement. En attendant, voici le code que j'utilise :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
DATA pric_par.V_ois_cml_busn_site_exprt;
 
	infile "O:\Etudes\Base csv - SAS.csv"
 
	delimiter=";" MISSOVER DSD lrecl=32767 firstobs=2 ;
 
	informat POLICYID $70. ;
	informat SITEID $70. ;
	informat SITENAME $70. ;
	informat SITE_USERDEFINE1 $70. ;
	informat POLICYHOLDER $70. ;
	informat SITE_USERDEFINE3 $70. ;
	informat SITE_USERDEFINE4 $70. ;
	informat YEARBUILT $70. ;
	informat NUMSTORIES $70. ;
	informat BLDGCLASS $70. ;
	informat OCCTYPE $70. ;
	informat ADDRESSNUM $70. ;
	informat STREETNAME $200. ;
	informat ZIPCODE $70. ;
	informat CITY $70. ;
	informat CITYCODE $70. ;
	informat DISTRICT $70. ;
	informat DISTRICTCODE $70. ;
	informat CRESTA $70. ;
	informat ASSUBCRESTA $70. ;
	informat STATE $70. ;
	informat STATECODE $70. ;
	informat COUNTY $70. ;
	informat COUNTY_CODE $70. ;
	informat LATITUDE COMMAX12. ;
	informat LONGITUDE COMMAX12. ;
	informat COUNTRY $70. ;
	informat CURRENCY $70. ;
	informat UNIT $70. ;
	informat RISKCOUNT $70. ;
	informat INSRDVALUE COMMAX12. ;
	informat DEDUCTIBLE COMMAX12. ;
	informat SITELIMIT ;
	informat B_C_DEDUCTIBLE ;
	informat B_C_LIMIT ;
	informat B_C_VALUE ;
	informat B_DEDUCTIBLE ;
	informat B_LIMIT ;
	informat B_VALUE ;
	informat C_DEDUCTIBLE ;
	informat C_LIMIT ;
	informat C_VALUE ;
	informat I_DEDUCTIBLE ;
	informat I_LIMIT ;
	informat I_VALUE ;
	informat W_DEDUCTIBLE ;
	informat W_LIMIT ;
	informat W_BC_LIMIT ;
	informat W_BC_DEDUCTIBLE ;
	informat W_B_LIMIT ;
	informat W_C_DEDUCTIBLE ;
	informat W_C_LIMIT ;
	informat W_I_DEDUCTIBLE ;
	informat W_I_LIMIT ;
	informat Q_DEDUCTIBLE ;
	informat Q_LIMIT ;
	informat Q_BC_DEDUCTIBLE ;
	informat Q_BC_LIMIT ;
	informat Q_B_DEDUCTIBLE ;
	informat Q_B_LIMIT ;
	informat Q_C_DEDUCTIBLE ;
	informat Q_C_LIMIT ;
	informat Q_I_DEDUCTIBLE ;
	informat Q_I_LIMIT ;
	informat F_DEDUCTIBLE ;
	informat F_LIMIT ;
	informat F_BC_DEDUCTIBLE ;
	informat F_BC_LIMIT ;
	informat F_B_DEDUCTIBLE ;
	informat F_B_LIMIT ;
	informat F_C_DEDUCTIBLE ;
	informat F_C_LIMIT ;
	informat F_I_DEDUCTIBLE ;
	informat F_I_LIMIT ;
	informat GEOLOC_PRECISION ;
	informat STOCKVALUE ;
	informat MPL ;
	informat FLEXAINDPERIOD ;
	informat FLEXAMAINACTPD $70. ;
	informat FLEXAACTSTORAGE $70. ;
	informat MBINDPERIOD ;
	informat MBRATE $70. ;
	informat MB_DEDUCTIBLE_PD ;
	informat MB_DEDUCTIBLE_BI ;
	informat MB_DEDUCTIBLE_PD_BI ;
	informat NCPINDPERIOD ;
	informat SUSCEPTIBILITYEQ $70. ;
	informat MUNICHREZONEEQ COMMAX12. ;
	informat SUSCEPTIBILITYWS $70. ;
	informat MUNICHREZONEWS COMMAX12. ;
	informat SUSCEPTIBILITYFLOOD $70. ;
	informat ZONEFLOOD $70. ;
 
	input 
	POLICYID$
	SITEID$
	SITENAME$
	SITE_USERDEFINE1$	
	POLICYHOLDER$	
	SITE_USERDEFINE3$
	SITE_USERDEFINE4$
	YEARBUILT$
	rNUMSTORIES$
	BLDGCLASS$
	OCCTYPE$
	ADDRESSNUM$
	STREETNAME$
	ZIPCODE$
	CITY$
	CITYCODE$
	DISTRICT$
	DISTRICTCODE$
	CRESTA$
	ASSUBCRESTA$
	STATE$
	STATECODE$
	COUNTY$
	COUNTY_CODE$
	LATITUDE
	LONGITUDE
	COUNTRY$
	CURRENCY$
	UNIT$
	RISKCOUNT$
	INSRDVALUE
	DEDUCTIBLE
	SITELIMIT
	B_C_DEDUCTIBLE
	B_C_LIMIT
	B_C_VALUE
	B_DEDUCTIBLE
	B_LIMIT
	B_VALUE
	C_DEDUCTIBLE
	C_LIMIT
	C_VALUE
	I_DEDUCTIBLE
	I_LIMIT
	I_VALUE
	W_DEDUCTIBLE
	W_LIMIT
	W_BC_LIMIT
	W_BC_DEDUCTIBLE
	W_B_LIMIT
	W_C_DEDUCTIBLE
	W_C_LIMIT
	W_I_DEDUCTIBLE
	W_I_LIMIT
	Q_DEDUCTIBLE
	Q_LIMIT
	Q_BC_DEDUCTIBLE
	Q_BC_LIMIT
	Q_B_DEDUCTIBLE
	Q_B_LIMIT
	Q_C_DEDUCTIBLE
	Q_C_LIMIT
	Q_I_DEDUCTIBLE
	Q_I_LIMIT
	F_DEDUCTIBLE
	F_LIMIT$
	F_BC_DEDUCTIBLE
	F_BC_LIMIT
	F_B_DEDUCTIBLE
	F_B_LIMIT
	F_C_DEDUCTIBLE
	F_C_LIMIT
	F_I_DEDUCTIBLE
	F_I_LIMIT
	GEOLOC_PRECISION
	STOCKVALUE
	MPL
	FLEXAINDPERIOD
	FLEXAMAINACTPD$
	FLEXAACTSTORAGE$
	MBINDPERIOD
	MBRATE$
	MB_DEDUCTIBLE_PD
	MB_DEDUCTIBLE_BI
	MB_DEDUCTIBLE_PD_BI
	NCPINDPERIOD
	SUSCEPTIBILITYEQ$
	MUNICHREZONEEQ
	SUSCEPTIBILITYWS$
	MUNICHREZONEWS
	SUSCEPTIBILITYFLOOD$
	ZONEFLOOD$;
 
run;

Ainsi que le fichier source en pièce jointe.
Ce fichier a été raccourcià 5 lignes, en plus des intitulés des variables. La ligne problématique est la 3ème. Si vous essayez l'import sous SAS, SAS ne chargera qu'une table de 3 lignes et la dernière n'aura aucun champ rempli après StreetName. C'est donc pour moi cette observation qui pose problème.

S'il est tout à fait normal que SAS charge mal cette ligne du fait des caractères spéciaux, je ne comprends pas pourquoi il arrête là son importation. Dans l'idéal, j'aimerais que SAS laisse la case StreetName de la ligne 3 vide, mais remplisse tous les autres champs, ainsi que toutes les lignes restantes.

Merci.

**s_a_m** · 01/08/2012, 16h56

Peux-tu essayé sa:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
 
DATA V_ois_cml_busn_site_exprt;
 
	INFILE "O:\Etudes\Base csv - SAS.csv" 	delimiter=";"  lrecl=32767 firstobs=2  dsd encoding="utf-8";
 
	informat POLICYID $70. ;
	informat SITEID $70. ;
	informat SITENAME $70. ;
	informat SITE_USERDEFINE1 $70. ;
	informat POLICYHOLDER $70. ;
	informat SITE_USERDEFINE3 $70. ;
	informat SITE_USERDEFINE4 $70. ;
	informat YEARBUILT $70. ;
	informat NUMSTORIES $70. ;
	informat BLDGCLASS $70. ;
	informat OCCTYPE $70. ;
	informat ADDRESSNUM $70. ;
	informat STREETNAME $200. ;
	informat ZIPCODE $70. ;
	informat CITY $70. ;
	informat CITYCODE $70. ;
	informat DISTRICT $70. ;
	informat DISTRICTCODE $70. ;
	informat CRESTA $70. ;
	informat ASSUBCRESTA $70. ;
	informat STATE $70. ;
	informat STATECODE $70. ;
	informat COUNTY $70. ;
	informat COUNTY_CODE $70. ;
	informat LATITUDE COMMAX12. ;
	informat LONGITUDE COMMAX12. ;
	informat COUNTRY $70. ;
	informat CURRENCY $70. ;
	informat UNIT $70. ;
	informat RISKCOUNT $70. ;
	informat INSRDVALUE COMMAX12. ;
	informat DEDUCTIBLE COMMAX12. ;
	informat SITELIMIT ;
	informat B_C_DEDUCTIBLE ;
	informat B_C_LIMIT ;
	informat B_C_VALUE ;
	informat B_DEDUCTIBLE ;
	informat B_LIMIT ;
	informat B_VALUE ;
	informat C_DEDUCTIBLE ;
	informat C_LIMIT ;
	informat C_VALUE ;
	informat I_DEDUCTIBLE ;
	informat I_LIMIT ;
	informat I_VALUE ;
	informat W_DEDUCTIBLE ;
	informat W_LIMIT ;
	informat W_BC_LIMIT ;
	informat W_BC_DEDUCTIBLE ;
	informat W_B_LIMIT ;
	informat W_C_DEDUCTIBLE ;
	informat W_C_LIMIT ;
	informat W_I_DEDUCTIBLE ;
	informat W_I_LIMIT ;
	informat Q_DEDUCTIBLE ;
	informat Q_LIMIT ;
	informat Q_BC_DEDUCTIBLE ;
	informat Q_BC_LIMIT ;
	informat Q_B_DEDUCTIBLE ;
	informat Q_B_LIMIT ;
	informat Q_C_DEDUCTIBLE ;
	informat Q_C_LIMIT ;
	informat Q_I_DEDUCTIBLE ;
	informat Q_I_LIMIT ;
	informat F_DEDUCTIBLE ;
	informat F_LIMIT ;
	informat F_BC_DEDUCTIBLE ;
	informat F_BC_LIMIT ;
	informat F_B_DEDUCTIBLE ;
	informat F_B_LIMIT ;
	informat F_C_DEDUCTIBLE ;
	informat F_C_LIMIT ;
	informat F_I_DEDUCTIBLE ;
	informat F_I_LIMIT ;
	informat GEOLOC_PRECISION ;
	informat STOCKVALUE ;
	informat MPL ;
	informat FLEXAINDPERIOD ;
	informat FLEXAMAINACTPD $70. ;
	informat FLEXAACTSTORAGE $70. ;
	informat MBINDPERIOD ;
	informat MBRATE $70. ;
	informat MB_DEDUCTIBLE_PD ;
	informat MB_DEDUCTIBLE_BI ;
	informat MB_DEDUCTIBLE_PD_BI ;
	informat NCPINDPERIOD ;
	informat SUSCEPTIBILITYEQ $70. ;
	informat MUNICHREZONEEQ COMMAX12. ;
	informat SUSCEPTIBILITYWS $70. ;
	informat MUNICHREZONEWS COMMAX12. ;
	informat SUSCEPTIBILITYFLOOD $70. ;
	informat ZONEFLOOD $70. ;
 
	input 
	POLICYID$
	SITEID$
	SITENAME$
	SITE_USERDEFINE1$	
	POLICYHOLDER$	
	SITE_USERDEFINE3$
	SITE_USERDEFINE4$
	YEARBUILT$
	NUMSTORIES$
	BLDGCLASS$
	OCCTYPE$
	ADDRESSNUM$
	STREETNAME$
	ZIPCODE$
	CITY$
	CITYCODE$
	DISTRICT$
	DISTRICTCODE$
	CRESTA$
	ASSUBCRESTA$
	STATE$
	STATECODE$
	COUNTY$
	COUNTY_CODE$
	LATITUDE
	LONGITUDE
	COUNTRY$
	CURRENCY$
	UNIT$
	RISKCOUNT$
	INSRDVALUE
	DEDUCTIBLE
	SITELIMIT
	B_C_DEDUCTIBLE
	B_C_LIMIT
	B_C_VALUE
	B_DEDUCTIBLE
	B_LIMIT
	B_VALUE
	C_DEDUCTIBLE
	C_LIMIT
	C_VALUE
	I_DEDUCTIBLE
	I_LIMIT
	I_VALUE
	W_DEDUCTIBLE
	W_LIMIT
	W_BC_LIMIT
	W_BC_DEDUCTIBLE
	W_B_LIMIT
	W_C_DEDUCTIBLE
	W_C_LIMIT
	W_I_DEDUCTIBLE
	W_I_LIMIT
	Q_DEDUCTIBLE
	Q_LIMIT
	Q_BC_DEDUCTIBLE
	Q_BC_LIMIT
	Q_B_DEDUCTIBLE
	Q_B_LIMIT
	Q_C_DEDUCTIBLE
	Q_C_LIMIT
	Q_I_DEDUCTIBLE
	Q_I_LIMIT
	F_DEDUCTIBLE
	F_LIMIT$
	F_BC_DEDUCTIBLE
	F_BC_LIMIT
	F_B_DEDUCTIBLE
	F_B_LIMIT
	F_C_DEDUCTIBLE
	F_C_LIMIT
	F_I_DEDUCTIBLE
	F_I_LIMIT
	GEOLOC_PRECISION
	STOCKVALUE
	MPL
	FLEXAINDPERIOD
	FLEXAMAINACTPD$
	FLEXAACTSTORAGE$
	MBINDPERIOD
	MBRATE$
	MB_DEDUCTIBLE_PD
	MB_DEDUCTIBLE_BI
	MB_DEDUCTIBLE_PD_BI
	NCPINDPERIOD
	SUSCEPTIBILITYEQ$
	MUNICHREZONEEQ
	SUSCEPTIBILITYWS$
	MUNICHREZONEWS
	SUSCEPTIBILITYFLOOD$
	ZONEFLOOD$ ;
 
run;

J'ai quand même corrigé le nom d'une variable.

**Winner Taco** · 01/08/2012, 18h05

@s_a_m,

Merci pour cette réponse rapide.

Je viens de lancer ton code et SAS ne charge plus que les 2 premières lignes.

**datametric** · 01/08/2012, 18h20

De mon côté la solution de Samir n'avait pas fonctionné à l'époque, donc sans trop chercher, j'avais carrément lancer SAS avec le cfg de l'unicode :

donc chez moi je passe de :
"C:\Program Files\SASHome\SASFoundation\9.3\sas.exe" -CONFIG "C:\Program Files\SASHome\SASFoundation\9.3\nls\en\sasv9.cfg"

A cela :

"C:\Program Files\SASHome\SASFoundation\9.3\sas.exe" -CONFIG "C:\Program Files\SASHome\SASFoundation\9.3\nls\u8\sasv9.cfg"

Et ensuite je relance la proc IMPORT normale.

**Winner Taco** · 01/08/2012, 18h48

@datametric,

Désolé mais je ne comprends pas ce qu'il faut faire. Que veut dire ce -CONFIG et que faut-il changer dans les dossiers ?

Pour info, SAS est installé par l'entreprise et non par moi. Il a été mis en français, de ce fait le chemin sur mon pc est C:\Program Files\SAS\SAS 9.1\nls\fr.

Le fichier SASV9.CFG y est bien présent. Je suis censé créer un nouveau répertoire nommé u8 et le mettre dedans ? Cela me semble étrange.

**datametric** · 01/08/2012, 19h07

normalement, tu as /nls/fr, nls/en, nls/u8 ... dans C:\Program Files\SAS\SAS 9.1

Donc il faudrait idéalement que tu dupliques l'icône de SAS qui doit être sur ton bureau et que tu changes la ligne qui est dans les propriétés du raccourci :

"C:\Program Files\SAS\SAS 9.1\sas.exe" -CONFIG "C:\Program Files\SAS\SAS 9.1\nls\en\sasv9.cfg"

par

"C:\Program Files\SAS\SAS 9.1\sas.exe" -CONFIG "C:\Program Files\SAS\SAS 9.1\nls\u8\sasv9.cfg"

-Config est l'option de lancement de SAS qui lui indique où se trouve le fichier de configuration.
tu as -autoexec parfois etc..

Import d'un fichier .csv

SAS Base

Vue hybride

Discussions similaires

Partager

Partager