IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Langage PHP Discussion :

Traitement gros fichiers


Sujet :

Langage PHP

  1. #1
    Membre expérimenté
    Avatar de ouiouioui
    Homme Profil pro
    Administrateur systèmes et réseaux
    Inscrit en
    Août 2006
    Messages
    984
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 43
    Localisation : France, Rhône (Rhône Alpes)

    Informations professionnelles :
    Activité : Administrateur systèmes et réseaux
    Secteur : High Tech - Multimédia et Internet

    Informations forums :
    Inscription : Août 2006
    Messages : 984
    Points : 1 419
    Points
    1 419
    Par défaut Traitement gros fichiers
    Bonjour, je crée un parser qui traite des fichiers log de plusieurs dizaines de mo, ors avec un petit test:

    en chargeant le fichier de 36mo avec file_gets_contents
    2 preg_replace sur la variable contenant le fichier
    test effectué 2x:
    Parsing fichier log terminé en 27.83 secondes
    Parsing fichier log terminé en 25.89 secondes

    en chargeant le fichier de 36mo avec file
    2 preg_replace sur chaque ligne du tableau
    test effectué 2x:
    Parsing fichier log terminé en 51.21 secondes
    Parsing fichier log terminé en 53.05 secondes

    donc sa double sachant que mon fichier contient 423566 lignes...

    utilisation mémoire max 146mo...
    comment charger ligne par ligne et pas tout pour eviter d'utiliser tant de mémoire?

    merci.

  2. #2
    Membre expérimenté
    Avatar de ouiouioui
    Homme Profil pro
    Administrateur systèmes et réseaux
    Inscrit en
    Août 2006
    Messages
    984
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 43
    Localisation : France, Rhône (Rhône Alpes)

    Informations professionnelles :
    Activité : Administrateur systèmes et réseaux
    Secteur : High Tech - Multimédia et Internet

    Informations forums :
    Inscription : Août 2006
    Messages : 984
    Points : 1 419
    Points
    1 419
    Par défaut
    fopen + fgets
    j'avais pas assez cherché.

+ Répondre à la discussion
Cette discussion est résolue.

Discussions similaires

  1. Optimisation lecture et traitement "gros" fichiers
    Par beware dans le forum Langage
    Réponses: 22
    Dernier message: 19/03/2015, 17h24
  2. [MySQL] Traitement de gros fichier CSV
    Par oceanbigone dans le forum PHP & Base de données
    Réponses: 11
    Dernier message: 03/07/2007, 12h40
  3. Réponses: 13
    Dernier message: 24/10/2006, 15h17
  4. Traitement de gros fichiers
    Par Seth77 dans le forum Langage
    Réponses: 2
    Dernier message: 27/06/2006, 16h53
  5. [C#] [XML] Traitement de gros fichiers XML (90 Mo)
    Par Pulsahr dans le forum Windows Forms
    Réponses: 20
    Dernier message: 01/12/2005, 15h40

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo