Lire fichier csv et remplir dans une base de données

**eti1203656** · 06/06/2012, 10h26

Envoyé par Immobilis

Ok c'est très gentil, mais c'est son projet de fin d'étude. Pas le tien

Tu ne lui rends pas service si tu le fais à sa place. Tu comptes aussi te présenter à la soutenance?

@YTRABELSI: tu es en retard pour rendre ton projet fin juin?

@eti1203656: A la lecture de ce code, rien à redire sur la rédaction c'est bien présenté, cependant je vois deux défauts importants:

La complexité: beaucoup trop de boucles et de if. C'est juste impossible à maintenir ou faire évoluer (ex si j'ajoute ou déplace une colonne). "delet_string_file1" a un indice de maintenabilité de 28 et une complexité cyclomatique de 41;
Les performances: tu charges beaucoup trop de données en mémoire. 1800_Scn4_BBH.csv contient plus de 400000 lignes "lst_file1" contient plusieurs millions d'éléments!!

Si je comprend bien le besoin de départ il faut récupérer certaines données dans un fichier et les importer dans une base.

Lire la ligne des entêtes et demander à l'utilisateur de sélectionner celles qu'il veut (cases à cocher);
Pour chaque colonne demander le type;
Récupérer les indices de chacune des colonnes sélectionnées;
Ouvrir un fichier texte;
Lire une ligne en avant seulement (pas de sauvegarde dans des listes);
Prendre les colonnes demandées selon leur indice, tenter de convertir en fonction de ce que l'utilisateur à saisi et générer une ligne d'instruction BULK INSERT dans le fichier texte. Pour info, dans un fichier csv les séparateurs sont des ";" (la virgule est un séparateur de milliers en US et de décimal en FR!) et les chaînes de caractères sont entre des guillemets (en FR du moins). Pour info 2, les opérations de conversion doivent impérativement être accompagnées du format d'entrée (US, FR, ...) sinon attention aux erreurs de conversion;
Recommencer au point 5 tant que la fin du fichier n'est pas atteinte;
Fermer le fichier texte;
Envoyer le fichier généré au serveur de base de données qui va faire la mise à jour.

A+

Bonjour Immobilis,

Je lui ai proposé de commencer une partie du programme car il était débutant et il avait un peu de peine pour commencer, alors je me suis dit que si je l’aidais un petit peut ça pourrais le lancer dans la suite de sa programmation. Mais je reconnais bien que de le faire a sa place ça ne va pas le faire progresser, pour remédier à cette faute je lui ai expliqué les toutes les fonctions et comment je l’avais programmé et penser. De plus je lui je lui ai pas donné le programme en lui disant : « débrouille-toi maintenant ».
Pour les défauts importants, j’en suis bien conscient. J’ai trouvé que c’était plus simple à faire et surtout à comprendre pour lui. De plus ça permettait de ne pas utiliser de base de données. Il m’a dit que ce programme n’avait pas besoin d’être rapide et qu’il n’allait pas être utilisé en prod, donc je me suis permis de ne pas trop respecter les bonnes vielle règle de la programmation (trop de if, trop de boucle, etc..). En effet j’aurais pu utiliser les bases de données comme tu me faite une petite énumération de la marche que j’aurais pu suivre mais, il voulait éviter de les utiliser. Pour le séparateur je ne sais pas si vous le savez mais, quand on est sur une machine Américaine et non française le séparateur du fichier .csv est le "," et non le ";" . Voilà pourquoi je fais le traitement avec ce séparateur. Pour information csv = Comma-separated value, donc "," CQFD.

Dans l’état actuel je ne sais pas s’il aurait pu faire son programme sans aide donc, j’ai estimé que si je commençais et que je continuais avec lui ça serait la solution la plus judicieuse.

Meilleures salutations

Etienne

**eti1203656** · 06/06/2012, 14h19

Bonjour,

Voilà une release du programme avec moins de "boucle" et moins "if", j'ai aussi refais la fonction "delet_string_file1()".

Meilleures salutations

Etienne

**Immobilis** · 07/06/2012, 22h10

C'est bien joli tout ça mais si vous discutez entre vous ceux qui lisent cette discussion ne comprendront rien.

Du coup @eti1203656, je ne comprend pas ton programme.

Pourquoi fais-tu une décomposition par colonne? A mon sens tu devrais garder les champs groupés par leur enregistrement.
Pourquoi gardes-tu la liste lst_file1 qui contient 2 490 402 enregistrements?
La mémoire RAM allouée au programme augmente furieusement quand il parse le fichier
A cause de 1 tu reboucles 2 490 402 fois pour remettre chaque valeur dans une liste correspondant à la colonne?
Quand une erreur de conversion survient, plutôt que de passer et continuer tout plante et il faut recommencer.
J'ai l'impression que cette dernière version met plus de temps. L'indice de maintenabilité de file1() est de 41 et sa complexité de 17. C'est mieux mais bon...
Pourquoi mettre des listebox. Vous comptez passer en revue les 400000 enregistrements du fichier 1800_Scn4_BBH.csv?

Sinon dans le désordre:

Remplacer
Code : Sélectionner tout - Visualiser dans une fenêtre à part
```
lst_tmp[0] = lst_tmp[0].Replace(lst_tmp[0], "");
```
par
Code : Sélectionner tout - Visualiser dans une fenêtre à part
```
lst_tmp.RemoveAt(0);
```
?
Il y a des erreurs de conversion sur
Code : Sélectionner tout - Visualiser dans une fenêtre à part
```
double.Parse(lst_file1[l])
```
parce que tu ne précises pas la culture. Il faut faire ainsi
Code : Sélectionner tout - Visualiser dans une fenêtre à part
```
double.Parse(lst_file1[l], new CultureInfo("EN-us"))
```

Si

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

lst_file1[l] != ""

est faux alors tu n'ajoutes pas d'élément dans la liste "lst_Count". Du coup, tu vas avoir des listes dont le nombre d'éléments n'est pas le même. Ca va être difficile de recoller les bouts

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
if (l % 6 == 3)
{
    if (lst_file1[l] != "")
    {
        lst_Count.Add(double.Parse(lst_file1[l], new CultureInfo("EN-us")));
    }
}

A+

PS: YTRABELSI, tu peux faire un effort sur l'orthographe et la grammaire?

**eti1203656** · 08/06/2012, 11h48

Envoyé par Immobilis

C'est bien joli tout ça mais si vous discutez entre vous ceux qui lisent cette discussion ne comprendront rien.

Bonjour Immobilis,

Tu as raison, je vais demander à YTRABELSI de boucler la discussion.

Meilleures salutations

Etienne

**Immobilis** · 08/06/2012, 12h23

Hello,

Envoyé par eti1203656

Tu as raison, je vais demander à YTRABELSI de boucler la discussion.

Euh, un petit rappel des règles du forum: http://club.developpez.com/regles/#L4.9?

le principe d'un forum, c'est de répondre sur le forum, pour que tout le monde puisse lire les réponses, profiter des réponses, confirmer, informer ou préciser des réponses déjà faites.

**eti1203656** · 08/06/2012, 12h46

Envoyé par Immobilis

Hello,Euh, un petit rappel des règles du forum: http://club.developpez.com/regles/#L4.9?

Bonjour Immobilis,

Es que tu veux que je mette les discussions Skype, les vidéo de teamviewer ainsi que conversation téléphonique...

Je suis en accord avec règles du forum mais, je pense que j'ai assez fait en mettant le programme et autre commentaire, alors pense que je n'ai pas trop enfreins les règles.

Meilleures salutations

Etienne

**Immobilis** · 08/06/2012, 13h01

Envoyé par eti1203656

je pense que j'ai assez fait en mettant le programme

Probablement trop à mon avis. Et comme je me suis un peu investi, je serait plutôt vexé que la discussion soit "bouclée" comme ça. Mais bon...

**eti1203656** · 08/06/2012, 14h44

Envoyé par Immobilis

Probablement trop à mon avis. Et comme je me suis un peu investi, je serait plutôt vexé que la discussion soit "bouclée" comme ça. Mais bon...

Bonjour Immobilis,

Moi je ne veux pas la boucler, je lui ai pas encore dit d'ailleur. Par contre comme tu disait "C'est bien joli tout ça mais si vous discutez entre vous ceux qui lisent cette discussion ne comprendront rien.", j'ai pensé que sa ne servait plus a rien de la laisser vu que personne ne comprend rien à ce que l'on fait.

Alors, je pose ma question ici :

Comment calcule-tu l'indice de maintenabilité ainsi que de complexité ?

Qu'ai-je trop fait à ton avis ?

Meilleures salutations

Etienne