IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Linux Discussion :

nombre de lignes fichier txt (très grande taille)


Sujet :

Linux

  1. #1
    Membre du Club
    Homme Profil pro
    Étudiant
    Inscrit en
    Octobre 2012
    Messages
    51
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Étudiant
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Octobre 2012
    Messages : 51
    Points : 51
    Points
    51
    Par défaut nombre de lignes fichier txt (très grande taille)
    Bonjour,
    Je viens d'écrire un script qui me permet de stocker certains résultats dans un fichier .txt. Je ne l'ai pas encore testé parcequ'il tournera sans doute pendant au moins une heure, et risque d'écrire environ 500 000 lignes sur le fichier.

    Je voulais savoir si ça risquait de poser problème?

    Je précise que les lignes sont courtes, limitées à une vingtaine de caractères

    Merci d'avance.

    Je pose la question car j'ai remarqué que lors de l'ouverture de gros fichiers (> 30 000 lignes) gedit laguait déjà un peu et mettez quelques secondes à ouvrir le truc.

    Merci d'avance.

  2. #2
    Expert éminent sénior Avatar de disedorgue
    Homme Profil pro
    Ingénieur intégration
    Inscrit en
    Décembre 2012
    Messages
    4 311
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Ingénieur intégration
    Secteur : High Tech - Opérateur de télécommunications

    Informations forums :
    Inscription : Décembre 2012
    Messages : 4 311
    Points : 12 830
    Points
    12 830
    Par défaut
    Bonjour,

    Si chaque ligne ne possède qu'un seul caractère en plus du retour chariot, celui-ci fera à peine 1 Mo, donc pas de souci dans ce cas là

    En principe, on se base sur la taille du fichier pas sur son nombre de ligne
    (sauf pour les tableurs )

    Cordialement.

  3. #3
    Expert éminent sénior Avatar de frp31
    Homme Profil pro
    Ingénieur systèmes et réseaux
    Inscrit en
    Juillet 2006
    Messages
    5 196
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 47
    Localisation : France, Haute Garonne (Midi Pyrénées)

    Informations professionnelles :
    Activité : Ingénieur systèmes et réseaux
    Secteur : Aéronautique - Marine - Espace - Armement

    Informations forums :
    Inscription : Juillet 2006
    Messages : 5 196
    Points : 12 262
    Points
    12 262
    Par défaut
    sans compter que selon de filesystem tu peux créer des fichiers jusqu'à 32Pétabytes

    alors bon... la taille d'un fichier.....

    en général les FS standards limitent la taille des fichiers à 16Gb ce qui est déjà immense...

    petit rappel il y a 30 ans à peine avec 5Mo de disque dur sur son ordi on était les rois du pétrole !!! (et on était riche pour se payer ça !!!!!)

    http://en.wikipedia.org/wiki/Comparison_of_file_systems lien très instructif ...

  4. #4
    Modérateur
    Avatar de gangsoleil
    Homme Profil pro
    Manager / Cyber Sécurité
    Inscrit en
    Mai 2004
    Messages
    10 150
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Haute Savoie (Rhône Alpes)

    Informations professionnelles :
    Activité : Manager / Cyber Sécurité

    Informations forums :
    Inscription : Mai 2004
    Messages : 10 150
    Points : 28 129
    Points
    28 129
    Par défaut
    Bonjour,

    Citation Envoyé par bougnbie Voir le message
    environ 500 000 lignes sur le fichier.

    Je voulais savoir si ça risquait de poser problème?

    Je pose la question car j'ai remarqué que lors de l'ouverture de gros fichiers (> 30 000 lignes) gedit laguait déjà un peu et mettez quelques secondes à ouvrir le truc.
    A quoi ca te sert d'ouvrir le fichier dans un editeur ? Tu comptes regarder les 500 000 lignes une a une ?
    Si c'est pour voir le debut ou la fin du fichier, head et tail sont tes amis. Si c'est pour faire du traitement, sed et perl devraient faire l'affaire.

    Sinon, vim ouvre sans soucis des fichiers de plusieurs millions de ligne.

  5. #5
    Membre du Club
    Homme Profil pro
    Étudiant
    Inscrit en
    Octobre 2012
    Messages
    51
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Étudiant
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Octobre 2012
    Messages : 51
    Points : 51
    Points
    51
    Par défaut
    Merci à vous tous, j'ai mes réponses.

    J'ai voulu ouvrir le fichier avec gedit histoire de voir la gueule qu'il avait. Impossible ça plante. Par contre no soucis avec emacs.

    J'ai effectué des traitements dessus avec perl, et notamment un sort qui met seulement une dizaine de seconde environ à se faire.

    Merci à tous.

Discussions similaires

  1. Réponses: 21
    Dernier message: 17/12/2012, 16h38
  2. [BATCH]Récup 2nd ligne fichier txt
    Par guigui11 dans le forum Windows
    Réponses: 2
    Dernier message: 28/09/2006, 18h34
  3. Effacer dernière ligne fichier txt
    Par soulryo dans le forum VB 6 et antérieur
    Réponses: 3
    Dernier message: 25/09/2006, 23h05
  4. Travailler avec un fichier XML de grande taille
    Par Jayme65 dans le forum Flash
    Réponses: 9
    Dernier message: 29/05/2006, 18h09
  5. problème de conversion de très très grande taille !
    Par Conficius dans le forum Langage
    Réponses: 2
    Dernier message: 05/11/2005, 23h14

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo