IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Algorithmes et structures de données Discussion :

statistique d'une grosse table


Sujet :

Algorithmes et structures de données

  1. #1
    Membre à l'essai
    Inscrit en
    Novembre 2004
    Messages
    17
    Détails du profil
    Informations forums :
    Inscription : Novembre 2004
    Messages : 17
    Points : 20
    Points
    20
    Par défaut statistique d'une grosse table
    salut

    j'ai une question si quelqu'un peut m'aidé
    j'ai une table ou y a plus que 3 700 000 lignie

    et je ve voudrai faire quelque statistique a partir de cette table
    nombre d'occurence d'un client
    nombre de nouveau clien par intervalle de temps

    alors je me demande si il vaudra mieux faire une requette sql et laissé les sgbd se debrouillé (avec quelque test j'ai trouvé qu'il se plante tout le temps )

    ou exporté cette table et faire un program en C avec des algorithme de recherche

    je cherche la solution optimal pour le system pour diminué les calcul

    vous me conseillez quoi ?

  2. #2
    Expert éminent
    Avatar de PRomu@ld
    Homme Profil pro
    Ingénieur de Recherche
    Inscrit en
    Avril 2005
    Messages
    4 155
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 39
    Localisation : France, Vienne (Poitou Charente)

    Informations professionnelles :
    Activité : Ingénieur de Recherche
    Secteur : Enseignement

    Informations forums :
    Inscription : Avril 2005
    Messages : 4 155
    Points : 6 486
    Points
    6 486
    Par défaut
    (avec quelque test j'ai trouvé qu'il se plante tout le temps )
    En fait, je vois pas pourquoi le SGBD ferait des erreurs ? Ou alors tu parles de plantage logiciel (manque de mémoire ou qlq chose du genre ...)

    Est ce que tes recherches ne sont que celles que tu as donnés ? (ou il y en a d'autres plus compliqués ?)

  3. #3
    Membre à l'essai
    Inscrit en
    Novembre 2004
    Messages
    17
    Détails du profil
    Informations forums :
    Inscription : Novembre 2004
    Messages : 17
    Points : 20
    Points
    20
    Par défaut
    Ou alors tu parles de plantage logiciel (manque de mémoire ou qlq chose du genre ...)
    oui je parle de sa en effet

    voila ce que je veux chercher au juste de savoir combien j'ai de client pas d'achat donc si un CIN ce répete sa veux dir qu'on le compte qu'une seul foit

    dans une periode de temps donné on a gagnié combien de nouveau client

    alors que notre table n'est pas trié

    mon idee et de faire exporté la table la trié puit faire les operation de rechérche si dessut

  4. #4
    Nouveau membre du Club
    Inscrit en
    Août 2006
    Messages
    26
    Détails du profil
    Informations forums :
    Inscription : Août 2006
    Messages : 26
    Points : 26
    Points
    26
    Par défaut
    C'est l'avantage de payer un ingénieur pour faire une etude préalable, avant de construire betement une seule table avec toute les infos. En générale si on s'y prend bien on arrive à une structure bien fondé, à partir de laquel le sgbd peu faire de bonnes optimisations.

    Si ta table est trop grosse, pense à faire du filtrage, (en base et pas à la fin) evite les jointures (ou alors avec des tables raisonnables et bien indéxées). Ainsi tu peu découper ton analyse en plusieurs morceaux, puis recoller les informations.

    Si vraiment ca marche pas. découpe ta table en plusieurs morceaux (à faire tourner sur des instance différente du sgbd, le mieux c'est sur une autre machine).

  5. #5
    Expert confirmé

    Profil pro
    Inscrit en
    Mai 2005
    Messages
    3 419
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Mai 2005
    Messages : 3 419
    Points : 4 297
    Points
    4 297
    Par défaut
    il n'est pas nécessaire d'être ingénieur pour des choses aussi basiques
    d'une façon générale sql fera toujours mieux que tes programmes en c
    et sera plus performant
    surtout si tu indexes un peu
    si ta base met réellement ton sgbd à genoux et que tu ne peux pas l'optimiser
    (historisation, compactage, optimisation de la taille des champs ) il faut probablement te dire que tu dépasses les limites de ton sgdb et qu'il est temps d'en changer
    il serait utile de nous indiquer la taille de la base et le sgbd employé

  6. #6
    Nouveau membre du Club
    Inscrit en
    Août 2006
    Messages
    26
    Détails du profil
    Informations forums :
    Inscription : Août 2006
    Messages : 26
    Points : 26
    Points
    26
    Par défaut
    Citation Envoyé par random
    d'une façon générale sql fera toujours mieux que tes programmes en c et sera plus performant
    Je ne suis pas d'accord, un sgbd c'est une grosse usine à gaz. Et les temps de réaction seront toujours mions bons que l'utilisation du système de fichier. On y perdra certe en structuration et interface d'access, mais on y gagnera en volume et en vitesse.
    Bon c'est vrai que ce n'est applicable concrètement que pour des données trés simples (évolution d'un ou plusieurs indice dans le temps, suivi d'un ou plusieurs capteur, listes simple, ...). Puisque sinon ça revient à prendre en considération les références, et donc à réécrire un sgbd.

  7. #7
    Membre actif
    Profil pro
    Inscrit en
    Janvier 2004
    Messages
    192
    Détails du profil
    Informations personnelles :
    Âge : 43
    Localisation : France

    Informations forums :
    Inscription : Janvier 2004
    Messages : 192
    Points : 231
    Points
    231
    Par défaut
    Citation Envoyé par dibejmaher
    voila ce que je veux chercher au juste de savoir combien j'ai de client pas d'achat donc si un CIN ce répete sa veux dir qu'on le compte qu'une seul foit
    Tu connais "SELECT DISTINCT" en SQL? Ce n'est pas ça que tu cherches à faire ?

Discussions similaires

  1. Requête lente sur une grosse table
    Par mr_keyser dans le forum PostgreSQL
    Réponses: 7
    Dernier message: 12/12/2007, 19h15
  2. Quellue interface pour travailler sur une grosse table ?
    Par grinder59 dans le forum MS SQL Server
    Réponses: 4
    Dernier message: 22/12/2006, 16h25
  3. partitionnement d'une grosse table
    Par sheridan31 dans le forum Administration
    Réponses: 1
    Dernier message: 14/12/2006, 18h43
  4. Update trés lent sur une grosse table
    Par neo.51 dans le forum Oracle
    Réponses: 21
    Dernier message: 14/12/2005, 11h06
  5. [Oracle] Mieux vaut une grosse table ou plein de petite ?
    Par ShinJava dans le forum PHP & Base de données
    Réponses: 16
    Dernier message: 30/11/2005, 16h32

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo