IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

MATLAB Discussion :

out of memory


Sujet :

MATLAB

  1. #1
    Membre du Club
    Inscrit en
    Décembre 2008
    Messages
    77
    Détails du profil
    Informations forums :
    Inscription : Décembre 2008
    Messages : 77
    Points : 44
    Points
    44
    Par défaut out of memory
    Salut tout le monde,
    mon projet consiste à faire le traitement de 1200 images. D'abort, il fait l'acquisition des images puis leur normalisation.
    Pour la première étape, il prend 1 heure pour acquérir 500 images uniquement non pas 1200 et la machine devient très lente tandis que la RAM= 2GO
    Voici le code

    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
     
    k=0;
    M=1200;
    for i=1:M
    str=strcat(int2str(i),'.jpg');   
    eval('img=imread(str);');
    subplot(ceil(sqrt(M)),ceil(sqrt(M)),i)
    imshow(img)
    if i==3
    title('Ensemble d''Apprentissage','fontsize',18)
    end
    drawnow;
    k=k+1;
    [irow icol]=size(img);    
    S(:,k)=reshape(img,irow*icol,1);
    end
    SVP, si quelqu'un a une solution , veuillez m'aider
    Je suis en retard
    Merci

  2. #2
    Rédacteur/Modérateur

    Avatar de Jerome Briot
    Homme Profil pro
    Freelance mécatronique - Conseil, conception et formation
    Inscrit en
    Novembre 2006
    Messages
    20 313
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Haute Garonne (Midi Pyrénées)

    Informations professionnelles :
    Activité : Freelance mécatronique - Conseil, conception et formation

    Informations forums :
    Inscription : Novembre 2006
    Messages : 20 313
    Points : 52 939
    Points
    52 939
    Par défaut
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    str=strcat(int2str(i),'.jpg');   
    eval('img=imread(str);');
    Pas besoin d'EVAL ici :

    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    str = sprintf('%d.jpg',i);
    img = imread(str,'jpg');
    Ensuite :

    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    M = 1200;
    subplot(ceil(sqrt(M)),ceil(sqrt(M)),i)
    ça donne grosso modo une grille de 35x35 Axes... est-ce vraiment nécessaire d'afficher toutes ces images... qui de toute façon seront minuscules ?

    Et pour finir :

    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    S(:,k)=reshape(img,irow*icol,1);
    Cett ligne transforme la matrice img en vecteur colonne... ce qui s'écrit tout simplement :

    Donc... au final :
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    M = 1200;
     
    % Si on connait le nombre de lignes de S, 
    % utiliser la ligne suivante :
    % S = zeros(<nombre de lignes>,M);
     
    for n=1:M
        str = sprintf('%d.jpg',n);
        img = imread(str,'jpg');
        S(:,n) = img(:);
    end

  3. #3
    Rédacteur

    Homme Profil pro
    Comme retraité, des masses
    Inscrit en
    Avril 2007
    Messages
    2 978
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 83
    Localisation : Suisse

    Informations professionnelles :
    Activité : Comme retraité, des masses
    Secteur : Industrie

    Informations forums :
    Inscription : Avril 2007
    Messages : 2 978
    Points : 5 179
    Points
    5 179
    Par défaut
    Salut!
    Matlab est un logiciel extraordinaire (Cleve Moler, son concepteur, est un type génial), mais il ne faut pas le prendre comme "bonne à tout faire". Ses auteurs l'ont construit en fonction de la plupart des tâches qu'on peut rencontrer en calcul numérique; mais il était absolument impossible de le rendre optimal pour toutes les tâches. C'est pourquoi je recommande de l'utiliser dans les cas "normaux", en fait, dans la majorité des cas, et de revenir à des langages de plus bas niveau (Fortran ou C) dans les rares cas où les performances avec Matlab sont insuffisantes. Un petit exemple te permettra de mieux comprendre mon point de vue: Si tu utilises l'opérateur \ pour résoudre un système linéaire, Matlab testera si la matrice est symétrique; dans ce cas, il essaiera avec la méthode de Cholesky, laquelle se plantera si la matrice n'est pas définie positive; dans ce cas, il recommencera avec la méthode de Crout. Mais si tu sais à l'avance, sur la base de la nature physique de ton problème, si la matrice est ou n'est pas définie positive, tu peux éviter à ton processeur la partie inutile du travail.
    Alors, réfléchis bien avant de choisir définitivement le langage que tu vas utiliser.
    Jean-Marc Blanc

  4. #4
    Membre du Club
    Inscrit en
    Décembre 2008
    Messages
    77
    Détails du profil
    Informations forums :
    Inscription : Décembre 2008
    Messages : 77
    Points : 44
    Points
    44
    Par défaut out of memory
    Merci pour vos réponses

  5. #5
    Membre du Club
    Inscrit en
    Décembre 2008
    Messages
    77
    Détails du profil
    Informations forums :
    Inscription : Décembre 2008
    Messages : 77
    Points : 44
    Points
    44
    Par défaut out of memory
    Salut, est ce qu'on peut optimiser ce morceau de code
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    for i=1:1200
    temp=double(S(:,i));
    dbx=[dbx temp];
    end
    il fait 435 itérations puis il me genre la message out of memory
    Y'a t-il une solution?
    Merci

  6. #6
    Rédacteur/Modérateur

    Avatar de Jerome Briot
    Homme Profil pro
    Freelance mécatronique - Conseil, conception et formation
    Inscrit en
    Novembre 2006
    Messages
    20 313
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Haute Garonne (Midi Pyrénées)

    Informations professionnelles :
    Activité : Freelance mécatronique - Conseil, conception et formation

    Informations forums :
    Inscription : Novembre 2006
    Messages : 20 313
    Points : 52 939
    Points
    52 939
    Par défaut
    Combien y-a-il de lignes dans S ?

  7. #7
    Membre du Club
    Inscrit en
    Décembre 2008
    Messages
    77
    Détails du profil
    Informations forums :
    Inscription : Décembre 2008
    Messages : 77
    Points : 44
    Points
    44
    Par défaut out of memory
    le nombre de ligne de S est 1200

  8. #8
    Rédacteur/Modérateur

    Avatar de Jerome Briot
    Homme Profil pro
    Freelance mécatronique - Conseil, conception et formation
    Inscrit en
    Novembre 2006
    Messages
    20 313
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Haute Garonne (Midi Pyrénées)

    Informations professionnelles :
    Activité : Freelance mécatronique - Conseil, conception et formation

    Informations forums :
    Inscription : Novembre 2006
    Messages : 20 313
    Points : 52 939
    Points
    52 939
    Par défaut
    S est une matrice 1200x1200, c'est ça ?

    Et de quelle classe est-elle ?

    Ou plus simplement, que retourne WHOS :


  9. #9
    Membre du Club
    Inscrit en
    Décembre 2008
    Messages
    77
    Détails du profil
    Informations forums :
    Inscription : Décembre 2008
    Messages : 77
    Points : 44
    Points
    44
    Par défaut out of memory
    merci beaucoup pour ovs réponses,
    S est de taille 108000*1200. Elle contient les données des images qui dont en couleurs (les pixels)
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
     
    str = sprintf('%d.jpg',i);
    img = imread(str,'jpg');
    S(:,i) = img(:);

  10. #10
    Rédacteur/Modérateur

    Avatar de Jerome Briot
    Homme Profil pro
    Freelance mécatronique - Conseil, conception et formation
    Inscrit en
    Novembre 2006
    Messages
    20 313
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Haute Garonne (Midi Pyrénées)

    Informations professionnelles :
    Activité : Freelance mécatronique - Conseil, conception et formation

    Informations forums :
    Inscription : Novembre 2006
    Messages : 20 313
    Points : 52 939
    Points
    52 939
    Par défaut
    OK donc S est de classe uint8 (fichier jpeg), donc chaque valeur est codée sur 8bits soit 1 octet.

    Donc sa taille en uint8 est :

    taille = 108000*1200/1024/1024 = 124 Mo (environ)
    Soit en double (64bits soit 8octets par valeur) :
    taille = 108000*1200*8/1024/1024 = 989 Mo (environ)
    MATLAB s'arrête à la 435ème itération.
    A ce moment, la taille de dbx est :
    taille = 108000*435*8/1024/1024 = 359 Mo (environ)
    Donc maintenant, avec ces informations chiffrées, je t'invites (encore une fois) à très sérieusement lire et comprendre ceci : http://briot-jerome.developpez.com/m...gestion/#LII-D (voir aussi les liens qui vont avec)

    Maintenant, si tu veux une méthode brutale, tu peux toujours essayer sans boucle FOR-END :


  11. #11
    Membre du Club
    Inscrit en
    Décembre 2008
    Messages
    77
    Détails du profil
    Informations forums :
    Inscription : Décembre 2008
    Messages : 77
    Points : 44
    Points
    44
    Par défaut out of memory
    j'ai essayé ça mais ne marche pas:

    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    for i=1:1200
    temp=double(S(:,i));
    dbx=[dbx temp];
    save nomfichier temp dbx
    clear  temp dbx
    load dbx
    end
    je ne comprends pas comment je peux faire sans la boucle
    SVP, aide moi
    Merci

  12. #12
    Membre actif
    Inscrit en
    Novembre 2006
    Messages
    236
    Détails du profil
    Informations forums :
    Inscription : Novembre 2006
    Messages : 236
    Points : 213
    Points
    213
    Par défaut
    Tu as essayé la solution de Dut ?
    Si oui, qu'est ce que ça te renvoie ?

  13. #13
    Rédacteur/Modérateur

    Avatar de Jerome Briot
    Homme Profil pro
    Freelance mécatronique - Conseil, conception et formation
    Inscrit en
    Novembre 2006
    Messages
    20 313
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Haute Garonne (Midi Pyrénées)

    Informations professionnelles :
    Activité : Freelance mécatronique - Conseil, conception et formation

    Informations forums :
    Inscription : Novembre 2006
    Messages : 20 313
    Points : 52 939
    Points
    52 939
    Par défaut
    Citation Envoyé par nahouto Voir le message
    Si oui, qu'est ce que ça te renvoie ?
    Ma boule de cristal me prédit un "Out of memory"

  14. #14
    Membre actif
    Inscrit en
    Novembre 2006
    Messages
    236
    Détails du profil
    Informations forums :
    Inscription : Novembre 2006
    Messages : 236
    Points : 213
    Points
    213
    Par défaut
    Citation Envoyé par Dut Voir le message
    Ma boule de cristal me prédit un "Out of memory"
    Apparemment, il n'a pas lu/compris ton message précédent

    Si ça renvoie toujours un "Out of Memory", il devrait songer à intervenir dans l'OS voire le matériel

  15. #15
    Rédacteur/Modérateur

    Avatar de Jerome Briot
    Homme Profil pro
    Freelance mécatronique - Conseil, conception et formation
    Inscrit en
    Novembre 2006
    Messages
    20 313
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Haute Garonne (Midi Pyrénées)

    Informations professionnelles :
    Activité : Freelance mécatronique - Conseil, conception et formation

    Informations forums :
    Inscription : Novembre 2006
    Messages : 20 313
    Points : 52 939
    Points
    52 939
    Par défaut
    Citation Envoyé par nahouto Voir le message
    Si ça renvoie toujours un "Out of Memory", il devrait songer à intervenir dans l'OS voire le matériel
    On sait jamais, il est toujours possible de :

    1. Optimiser les programmes en nettoyant les variables devenues inutiles.
    2. Eviter d'utiliser des variables intermédiaires. Ecraser les variables dont les valeurs sont devenues inutiles
    3. Arrêter tous les programmes inutiles de la session Windows, démarrer MATLAB sans la Machine Java (-nojvm), redémarrer Windows en mode sans échec, etc...


    Tiens, c'est bizarre, il me semble déjà avoir lu ça quelque part ( Out of memory. Type HELP MEMORY for your options.)

  16. #16
    Membre actif
    Inscrit en
    Novembre 2006
    Messages
    236
    Détails du profil
    Informations forums :
    Inscription : Novembre 2006
    Messages : 236
    Points : 213
    Points
    213
    Par défaut
    C'est vrai, j'imaginais (à tort) que son programme se résumait à ces quelques lignes...

    Mais est ce que simplement augmenter la mémoire virtuelle Windows peut pallier à ce problème ?

    (Perso, je suis tranquille avec mes 32 Go de mémoire vive )

  17. #17
    Rédacteur/Modérateur

    Avatar de Jerome Briot
    Homme Profil pro
    Freelance mécatronique - Conseil, conception et formation
    Inscrit en
    Novembre 2006
    Messages
    20 313
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Haute Garonne (Midi Pyrénées)

    Informations professionnelles :
    Activité : Freelance mécatronique - Conseil, conception et formation

    Informations forums :
    Inscription : Novembre 2006
    Messages : 20 313
    Points : 52 939
    Points
    52 939
    Par défaut
    Citation Envoyé par nahouto Voir le message
    Mais est ce que simplement augmenter la mémoire virtuelle Windows peut pallier à ce problème ?
    Oui... après vient la limite des 2Go par processus (3 avec le /3Go) sous Windows 32bits... c'est pour ça que, comme cela dépend de facteurs propres à chaque machine (ou configuration) il est préférable de prendre le temps de bien comprendre comment MATLAB gère la mémoire.

    Citation Envoyé par nahouto Voir le message
    (Perso, je suis tranquille avec mes 32 Go de mémoire vive )
    De quelle architecture disposes-tu ?

  18. #18
    Membre actif
    Inscrit en
    Novembre 2006
    Messages
    236
    Détails du profil
    Informations forums :
    Inscription : Novembre 2006
    Messages : 236
    Points : 213
    Points
    213
    Par défaut
    Citation Envoyé par Dut Voir le message
    De quelle architecture disposes-tu ?
    Windows Vista 64 bit, 4 processeurs * 2 coeurs et 32Go de RAM...
    pas encore eu de Out of Memory

    Sinon, à propos de ton code Naim2009, je ne pense pas que stocker temporairement ta matrice puisse résoudre ce problème.
    Il faut vraiment que tu jettes un oeil à la gestion de la mémoire selon Matlab, où tu pourras comprendre pourquoi survient cette erreur même si ton PC dispose d'assez de mémoire vive.

  19. #19
    Membre du Club
    Inscrit en
    Décembre 2008
    Messages
    77
    Détails du profil
    Informations forums :
    Inscription : Décembre 2008
    Messages : 77
    Points : 44
    Points
    44
    Par défaut out of memory
    salut,
    je suis désolé pour le retard
    j'ai testé la solution
    Mais ça génére encore le message out of memory
    SVP, vous pouvez m'aider
    Merci

  20. #20
    Expert éminent sénior
    Avatar de Caro-Line
    Profil pro
    Inscrit en
    Mars 2007
    Messages
    9 458
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Mars 2007
    Messages : 9 458
    Points : 14 828
    Points
    14 828
    Par défaut
    Merci de bien vouloir lire tous les posts et essayer les voies de résolutions proposées (en particulier le post 15 de Dut).

    On dirait que tu ne lis que la moitié des posts

Discussions similaires

  1. [XStream][String]out of memory
    Par Invité dans le forum Persistance des données
    Réponses: 8
    Dernier message: 10/01/2006, 14h52
  2. [C++] [gcc] out of memory
    Par fxp17 dans le forum GCC
    Réponses: 5
    Dernier message: 06/01/2006, 10h29
  3. [pb mémoire] out of memory d'eclipse
    Par Casp dans le forum Eclipse Java
    Réponses: 2
    Dernier message: 12/05/2005, 16h39
  4. Out of memory
    Par shurato dans le forum ANT
    Réponses: 1
    Dernier message: 10/11/2004, 16h19
  5. [JBuilder 8] Out of memory problem ...
    Par keros dans le forum JBuilder
    Réponses: 2
    Dernier message: 08/09/2003, 19h03

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo