importer un .txt avec plusieurs séparateurs

**Nuestracr** · 22/10/2009, 15h22

Bonjour à tous,

Voici mon problème:
Je travaille actuellement sur des milliers de fichiers txt que je download via internet.

Ils sont sous cette forme : Exemple :
_____________________________________________
WOD05_US 8123918 C 11/19/1997 21:00 -70.8699951172 38.1599998474 0.600000023842 19.3600006104
1.29999995232 19.1399993896
1.89999997616

_____________________________________________

Comme vous pouver le constater il y a 3 séparateurs : tabulation, / et :
Quelqu'un aurait il une routine pour éliminer les 3 premières colonnes et ouvrir le txt avec 3 séparateur différents ?

Je remercie d'avance ceux qui m aideront dans ce casse tete chinois

Cordialement

Nuestracr

**Caro-Line** · 22/10/2009, 15h44

Pourquoi ne pas plutôt lire avec un seul séparateur (tabulation), avec TEXTSCAN par exemple ?
Puis ensuite enlever les 3 premières colonnes de la variable obtenue.

Puis traiter les cas spécifiques / et : (quoique je ne vois pas très bien pourquoi vouloir séparer les dates et les temps mais bon.)

**Nuestracr** · 22/10/2009, 16h00

Je vais essayé mais je ne comprend que très mal la fonction textscan.
Pourrais tu être un peu plus précis si cela ne te déranges pas bien sur ?

**Caro-Line** · 22/10/2009, 16h06

Qu'est-ce que tu ne comprends pas dans la fonction TEXTSCAN ?
Le mieux c'est d'essayer, avec différents formats jusqu'à ce que ça marche (enfin moi c'est ma méthode

).

Tu y vas d'abord "bourrin" :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
fid = fopen('monfichier','rt');%ouverture du fichier en lecture texte
res = textscan(fid,'%s');%lecture de tout en texte, il se débrouille par défaut pour les séparateurs et on verra bien
fclose(fid); %surtout ne pas oublier de refermer le fichier
res{1} %là ça doit afficher quelque chose

Oui TEXTSCAN met toujours (enfin presque) le résultat dans une unique cellule qui contient d'autres cellules.
Faut regarder dedans, voir si ça te plait, et sinon affiner avec les différents formats et options.

**Nuestracr** · 22/10/2009, 16h15

Disons que j ai utilisé textscan pour la première fois ce matin à 10h donc je suis pas encore famillié

pour l instant je ne comprend pas les Field Type :

je fais actuellement comme cela

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
fid = fopen('019.txt');
C = textscan(fid, '%f', 'delimiter', '/t', ...
             'EmptyValue', NaN);

**Caro-Line** · 22/10/2009, 16h18

Et ça te donne quelque chose ? (désolée je ne peux tester je n'ai pas MATLAB sous la main)

**Jerome Briot** · 22/10/2009, 16h19

Essaie ceci :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
str = 'WOD05_US 8123918 C 11/19/1997 21:00 -70.8699951172 38.1599998474 0.600000023842 19.3600006104 1.29999995232 19.1399993896 1.89999997616';
 
[X{1:11}] = strread(str,'%*s%*d%*s%d%d%d%d%d%f%f%f%f%f%f','delimiter',' /:')

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
X = 
 
    [11]    [19]    [1997]    [21]    [0]    [-70.8700]    [38.1600]    [0.6000]    [19.3600]    [1.3000]    [19.1400]

Le format devrait être équivalent avec TEXTREAD ou TEXTSCAN

**Nuestracr** · 22/10/2009, 16h50

Merci pour vos réponses Dut et Caro line,

Je pense que je vais resituer un peu le problème car je me suis mal expromé je pense .

Imaginons que j ai un fichier txt nomée 019.txt qui contient des données océanographique qui m interesse.

Les 3 premières colonne ne m interesse pas ( nom du fichier, station echantilloné et qualité de l'echantillonage sous forme de string et de donnée pour la station)
puis j ai une collone avec la date en j/mois/annee qu il faut que je sépare
puis j ai une collone avec l'heure en hh:mm qu il faut que je sépare
et enfin j ai 5 colonne en numérique latitude longitude profondeur_max profondeur température

A partir de ce type de fichier text (complex) j aimerais l importer en fichier mat pour lancer mes routines dessus

**Nuestracr** · 22/10/2009, 16h54

j ajoute que les différentes colones sont séparé par une tabulation (je le sais via excell)

**Jerome Briot** · 22/10/2009, 17h02

Envoyé par Nuestracr

A partir de ce type de fichier text (complex) j aimerais l importer en fichier mat pour lancer mes routines dessus

Je ne comprends pas cette phrase... pourquoi mettre les données dans un fichier mat alors que tu peux les lire directement dans le fichier texte ?

As-tu essayé d'appliquer le format que j'ai donné dans mon précédent message sur tes fichiers ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

[X{1:11}] = textread(019.txt,'%*s%*d%*s%d%d%d%d%d%f%f%f%f%f%f','delimiter',' /:');

Le mieux serait que tu attaches un de ces fichiers texte (dans une archive zip ou rar)

**Nuestracr** · 22/10/2009, 17h13

1/

Envoyé par Nuestracr

A partir de ce type de fichier text (complex) j aimerais l importer en fichier mat pour lancer mes routines dessus

Cette phrase veut dire que je lance mon travail sur ce type de donnée qui sont en fichier mat de type 9 colonne avec lat long min heure jour mois annee profondeur température

tout mes scripts ne tournent que sur ce type de fichier

2/

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

[X{1:11}] = textread(019.txt,'%*s%*d%*s%d%d%d%d%d%f%f%f%f%f%f','delimiter',' /:');

Ne fonctionne pas pour l instant : Matlab me rend

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
 
??? Error using ==> dataread
Trouble reading integer from file (row 1, field 6) ==> .9832992554	3.65000009537
0.699999988079	99.
 
Error in ==> textread at 176
[varargout{1:nlhs}]=dataread('file',varargin{:});

**Jerome Briot** · 22/10/2009, 17h19

Envoyé par Nuestracr

tout mes scripts ne tournent que sur ce type de fichier

OK, donc ton problème concerne plus une conversion des données du fichier text vers un fichier mat.

Le problème c'est que tu ne nous dis pas clairement comment sont stockées les différentes variables dans le fichier mat (sous quel nom, sous forme de vecteurs ligne ou colonne, sous forme de tableau, ...)

Envoyé par Nuestracr

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
 
??? Error using ==> dataread
Trouble reading integer from file (row 1, field 6) ==> .9832992554	3.65000009537
0.699999988079	99.
 
Error in ==> textread at 176
[varargout{1:nlhs}]=dataread('file',varargin{:});

C'est pour cela qu'il serait utile de nous montrer un vrai fichier... les fichiers ne sont peut être pas tous identiques, certaines valeurs sont peut être manquantes ou écrite sur plusieurs lignes...

**Nuestracr** · 22/10/2009, 17h19

Le mieux ne serait il pas de vous envoyer un fichier txt comme j ai et comme j aimerais qu il soit (pendant longtemps je séparais le fichier txt a la ide de excell rendant la tache compliqué)

**Jerome Briot** · 22/10/2009, 17h38

Je ne vois pas ce que viens faire Excel ici

Attaches un des tes fichiers textes originales à ton prochain message (met le fichier dans une archive zip ou rar pour réduire sa taille) => Nouveaux membres, débutants : lisez attentivement ceci

Et dis nous exactement quelles données tu souhaites récupérer et sous quelle forme tu souhaites les stocker avec MATLAB

**Nuestracr** · 22/10/2009, 18h06

je vous envois les fichiers que j ai :
-fichier originales sans modifications
-fichier finale: comme j aimerais qu il soit

**Nuestracr** · 22/10/2009, 18h33

je pense avoir trouver une solution pour formater les données comme je le souhaite les puristes diront que c est un peu lourd mais bon ..

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
clear
 
 
A=importdata('019.txt');
%%
CTD=A.data;
time=A.textdata(:,4);
heure=A.textdata(:,5);
clear A
%%
len=length(time);
Mois=ones(len,1)+NaN;
Annee=ones(len,1)+NaN;
Jour=ones(len,1)+NaN;
Min=ones(len,1)+NaN;
Heure=ones(len,1)+NaN;
for i=1:len
    a=time{i};
    b=heure{i};
    [X{1:3}] = strread(a,'%f%f%f','delimiter','/');
    [Y{1:2}] = strread(b,'%f%f','delimiter','/:');
    mois=X{1};
    jour=X{2};
    annee=X{3};
    min=Y{2};
    heure2=Y{1};
    if length(mois)>0
        Mois(i)=mois;
        Annee(i)=annee;
        Jour(i)=jour;
        Min(i)=min;
        Heure(i)=heure2;
    end
end
 
CTD=[Mois;Jour;Annee;Heure;Min;CTD];

**Jerome Briot** · 22/10/2009, 19h18

Il y a plusieurs lignes commençant par WOD05_GB dans le fichier text, c'est normal ?

**Nuestracr** · 22/10/2009, 20h19

oui c est normal . c est la marque de la database ou je telecharge. WOD05 World ocean Database 2005 GB (great britain)

mais grace a vous et dut j ai reussi a creer un script qui fonctionne je vous en remercie et je le donne

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
A=importdata('019.txt');
%% donnee de import 
CTD=A.data;
time=A.textdata(:,4);
heure=A.textdata(:,5);
clear A
%% on vire les lignes de la fin
len=length(time);
CTD=CTD(1:len,:);
% on trouve les lignes ou il y a des coord 
x=find(isnan(CTD(:,1))==0);
 
%%
len2=length(x);
Mois=ones(len2,1)+NaN;
Annee=ones(len2,1)+NaN;
Jour=ones(len2,1)+NaN;
Min=ones(len2,1)+NaN;
Heure=ones(len2,1)+NaN;
tt = 'Progress [  0%% ]';
h = waitbar(0,tt);
for i=1:len2
    waitbar(i/(len2),h,sprintf(':D [  %2.2f%% ] \n',100*i/ (len2)));
    a=time{x(i)};
    b=heure{x(i)};
    [X{1:3}] = strread(a,'%f%f%f','delimiter','/');
    [Y{1:2}] = strread(b,'%f%f','delimiter','/:');
    mois=X{1};
    jour=X{2};
    annee=X{3};
    min=Y{2};
    heure2=Y{1};
    if length(mois)>0
        Mois(i)=mois;
        Annee(i)=annee;
        Jour(i)=jour;
        Min(i)=min;
        Heure(i)=heure2;
    end
end
close (h)
 
coord_time=[Mois Jour Annee Heure Min];
 
%% on applique les coordonée temporelles au fichiers 
[n,m]=size(coord_time);
coo=ones(len,m)+NaN;
CTD=[coo CTD];
 
for i=1:len2
    CTD(x(i),1:5)=coord_time(i,:);
end
 
 
clear Annee Heure JOUR Mois Min X Y a annee b heure heure2 i jour len min mois time Jour
clear coo coord_time h len2 m n tt x 
close all
CTD(:,8)=[];

Je vous souhaite une exellente soirée

**mr_langelot** · 22/10/2009, 23h13

Bonjour,

tu peux t'inspirer de ça

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
% je lis le fichier
fichier = textread('fichier original.txt','%s','delimiter','\n');
 
% je trouve toutes les lignes WOD05_GB
res=strfind(fichier,'WOD05_GB');
indice_WOD = find(char(res{:})-32<0);
 
% je lis les lignes
for ii = 1 : length(indice_WOD)-1
 
    [X{1:12}] = strread(fichier{indice_WOD(ii)},'%s%d%s%d%d%d%d%d%f%f%f%f','delimiter',' /:\t');
 
    for jj = indice_WOD(ii)+1 : indice_WOD(ii+1)-1
     [Y(jj-indice_WOD(ii),:) ] = textscan(fichier{jj}, '%f%f');
 
    end
    save(sprintf('nomFichier_%i',ii), 'X', 'Y'); 
    clear X Y
end

ce sera optimisé par dut dans la journée

**Jerome Briot** · 23/10/2009, 00h03

Voici une version non définitive et non optimisée... (les variables sont écrasées à chaque itération et il manque la dernière)

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
X = textread('fichier original.txt','%s','delimiter','\n');
 
idx = find(strncmp(X,'WOD05_GB',8));
 
for n = 1:numel(idx)-1
 
    str =  strrep(X{idx(n)},9,32);
    [mois,jour,annee,heure,minutes,lat,long,prof,T] = strread(str,'%*s%*s%*c%d%d%d%d%d%f%f%f%f',...
        'delimiter',' /:');
 
    temp = str2num(char(X(idx(n)+1:idx(n+1)-1)));
    prof = [prof ; temp(:,1)];
    T = [T ; temp(:,2)];
 
end

Maintenant je ne comprends toujours pas sous quelle forme tu souhaites stocker ces valeurs dans le fichier mat ?

importer un .txt avec plusieurs séparateurs [Débutant]

MATLAB

Discussions similaires

Partager

Partager