lire un (très) gros fichier CSV

**laurentSc** · 27/10/2021, 00h48

Bonsoir,

je lis des gros fichiers CSV avec fgetcsv. Le problème, c'est que ces fichiers sont trop gros pour être lus d'un coup (je teste sur un fichier de 17 mO). (Si je tente fgetcsv sur le gros fichier, le script s'arrête en plein milieu). J'ai vu qu'une solution est de les découper en petits fichiers : https://gist.github.com/eric-pommere...f20694452ecd5e. J'ai testé le script sur mon gros fichier :

Code php :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
    $row_count_limit = 60000;
        $file_counter = 1;
        $file_name = 'C:\projets\ticket_rawsrc\csv\testicket\Trends_INC_Données_complètes_data septembre.';
        $file_ext = 'csv';
        $row = 1;
        $ctr = 0;
        $cols = array();
 
        echo "PHP CSV Chunker\n\n";
 
        $f = $file_name .
            $file_ext .
            "\n";
        echo "Ouverture du fichier source -> " .
            $file_name .
            $file_ext .
            "\n";
 
        if (
            ($handle_src = fopen("./$file_name" .
                ".csv",
                "r")) !==
            FALSE
        )
        {
 
            $cols = fgetcsv($handle_src,
                1000,
                ",");
 
            if (
                ($handle_dest = fopen("$file_name" .
                    $file_counter .
                    $file_ext,
                    "a+")) !==
                FALSE
            )
            {
                fputcsv($handle_dest,
                    $cols);
 
                while (($data = fgetcsv($handle_src,
                        1000,
                        ",")) !==
                    FALSE)
                {
                    $num = count($data);
                    fputcsv($handle_dest,
                        $data);
                    $row++;
 
                    if (
                        $row ==
                        $row_count_limit
                    )
                    {
                        fclose($handle_dest);
                        $row = 1;
                        echo "\t Création du fichier  --> " .
                            $file_name .
                            $file_counter .
                            $file_ext .
                            "\n";
                        $handle_dest = fopen("./$file_name" .
                            $file_counter .
                            $file_ext,
                            "a+");
                        $file_counter++;
                        fputcsv($handle_dest,
                            $cols);
 
                    }
                }
                fclose($handle_src);
            }
        }
        else
        {
 
        }
 
        echo "Fin du programme \n";

Mon souci est qu'il s'arrête au 1er fopen (lignes 19 à 24). Pensez-vous que ce script est valable ? Avez-vous une idée pour résoudre mon problème ? Y aurait-il une méthode plus adaptée ?

**chrtophe** · 27/10/2021, 08h28

Premier problème, tu dois protéger les antislash (C:\\projets\\ticket_rawsrc\\...)
peut-être pas une obligation

second problème :

Mettre ./ en début de nom de fichier signifie que le chemin est relatif au dossier en cours, mais toi tu fourni un chemin absolu.

En dehors de ça , si tu lis ligne par ligne, je pense que ton script s'arrête car il prend trop de temps. Tu peux changer le temps d’exécution avec la fonction set_time_limit mais tu seras probablement forcé de le faire depuis le php.ini (MAX_EXECUTION_TIME).

**laurentSc** · 27/10/2021, 16h29

Bonjour,

t'ayant lu, j'ai pensé, avant de te lire, aussi, qu'il fallait modifier PHP.INI. Sauf que je pensais au paramètre upload_max_filesize . Comme il est déjà à 50 mO, c'est pas ça. Je me suis dit qu'en augmentant max_execution_time , y aurait peut-être pas besoin de découper le fichier. Même en mettant un nombre énorme, ça lit à peine plus (en gros 1800 lignes au lieu de 1500 (sur un total de plus de 8000 lignes)). Donc je suis revenu au découpage. Ayant changé mon adressage relatif du fopen, il ne s'arrête plus là :

Code php :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
  $row_count_limit = 60000;
        $file_counter = 1;
        $file_name = 'C:\\projets\\ticket_rawsrc\\csv\\testicket\\testdecoupage\\Trends_INC_Données_complètes_data septembre.';
        $file_ext = 'csv';
        $row = 1;
        $ctr = 0;
        $cols = array();
 
        DispMsg::DispMsg("PHP CSV Chunker\n\n",true);
        //echo "PHP CSV Chunker\n\n";
 
 
        DispMsg::dispMsgWithoutMenu("Ouverture du fichier source -> ".$file_name .
            $file_ext .
            "\n",true);
 
 
        if (
            ($handle_src = fopen("$file_name" .
                "csv",
                "r")) !==
            FALSE
        )
        {
 
            $cols = fgetcsv($handle_src,
                1000,
                ";");
 
            if (
                ($handle_dest = fopen("$file_name" .
                    $file_counter .".".
                    $file_ext,
                    "a+")) !==
                FALSE
            )
            {
                fputcsv($handle_dest,
                    $cols);
 
                while (($data = fgetcsv($handle_src,
                        4096,
                        ";")) !==
                    FALSE)
                {
                    $num = count($data);
                    fputcsv($handle_dest,
                        $data);
                    $row++;
 
                    if (
                        $row ==
                        $row_count_limit
                    )
                    {
                        fclose($handle_dest);
                        $row = 1;
                        DispMsg::DispMsg("\t Création du fichier  --> " .
                            $file_name .
                            $file_counter .
                            $file_ext .
                            "\n",true);
                        $handle_dest = fopen("./$file_name" .
                            $file_counter .".".
                            $file_ext,
                            "a+");
                        $file_counter++;
                        fputcsv($handle_dest,
                            $cols);
 
                    }
                }
                fclose($handle_src);
            }
        }
        else
        {
 
        }
 
        DispMsg::dispMsgWithoutMenu("Fin du programme \n",true);

Par contre, il génère un seul fichier (Trends_INC_Données_complètes_data septembre.1.csv), encore plus volumineux que l'original ! Donc il faut trouver autre chose...

PS : les méthodes statiques DispMsg::dispMsg et DispMsg::dispMsgWithoutMenu, c'est car je suis en orienté objet.

**Séb.** · 27/10/2021, 17h13

Mon souci est qu'il s'arrête au 1er fopen (lignes 19 à 24).

C'est donc l'ouverture du fichier qui échoue ? Tu ne dis pas quelle est le message d'erreur

Tu ne dis pas clairement dans quel contexte tu traites le fichier. Est-ce un script en ligne de commande ou suite à un upload via formulaire ? Dans ce dernier cas le fichier CSV uploadé est-il complet ou tronqué ?

17 Mo ou 50 Mo c'est rien, PHP devrait le manger en un instant

PS : dans une chaîne délimitée par des ' le seul caractère à échapper est le ', échapper les \ alourdit la lecture pour rien

**laurentSc** · 27/10/2021, 18h17

Envoyé par Séb.

C'est donc l'ouverture du fichier qui échoue ? Tu ne dis pas quelle est le message d'erreur

Il n'y avait aucun message d'erreur. Simplement, il ne faisait rien. Maintenant que j'ai remplacé les adressages relatifs dans les fopen par des adressages absolus, il ouvre bien le fichier. Par contre, au lieu de le découper, il génère un autre fichier CSV (un seul) un peu plus lourd que l'original...

Envoyé par Séb.

Tu ne dis pas clairement dans quel contexte tu traites le fichier. Est-ce un script en ligne de commande ou suite à un upload via formulaire ?

Comme il s'agissait de tester ce script de découpage, j'ai juste mis en dur l'adresse du fichier (ligne 3 du code du post #1)

**grunk** · 28/10/2021, 11h10

Tant que tu reste dans l'ordre de grandeur des Mo ce ne sont pas des gros fichiers.
En utilisant fopen et fget_xxx tu lis ligne par ligne donc il n'ya pas de problématique de mémoire (sauf à avoir des ligne des 100 Mo ... )

La seul contrainte que tu peux rencontrer c'est le temps d'execution qui peut être dépassé. Dans ce cas , deux solution : Soit ta limite est basse et il est acceptable de l'augmenter (un peu), soit les fichiers deviennent vraiment très gros (pls Go) et PHP commence à ne plus être le bon outil pour la tache.

**laurentSc** · 28/10/2021, 11h48

Nouvel essai ce matin et plus de souci pour ouvrir le fichier (j'avais augmenté max_execution_time dans php.ini) donc pas besoin de le découper en petits fichiers.

**CosmoKnacki** · 28/10/2021, 15h59

À ta place, je jetterais un œil sur le traitement effectué sur les lignes de ton csv pour voir ce qui prend autant de temps et s'il n'y a pas moyen de le réduire.

**laurentSc** · 28/10/2021, 16h13

Je ne suis pas très étonné de ce temps, vu que le fichier CSV que je traite comporte 168 colonnes et 9559 lignes (soit 16,5mO)...(je n'ai aucune possibilité de modifier la conception de la base de données d'où est issue ce fichier)

**CosmoKnacki** · 28/10/2021, 16h29

La question c'est qu'est ce que tu fais avec tes 168 colonnes (et qui prend autant de temps, quand bien même tu aurais à le faire 10.000 fois), car comme dit précédemment la quantité de données n'est pas si énorme que ça.

**Séb.** · 28/10/2021, 19h53

Je ne suis pas très étonné de ce temps, vu que le fichier CSV que je traite comporte 168 colonnes et 9559 lignes (soit 16,5mO)

C'est peanuts, le problème est ailleurs.

**chrtophe** · 28/10/2021, 20h27

La fonction fgetcsv n'est peut-être pas optimum selon les fichiers lui étant fourni. Combien de temps prend le traitement ?

**laurentSc** · 28/10/2021, 23h47

Envoyé par chrtophe

La fonction fgetcsv n'est peut-être pas optimum selon les fichiers lui étant fourni. Combien de temps prend le traitement ?

Vous allez sourire car ça tourne 2 minutes 30 avant...de tomber sur un bug (que j'espère corriger demain).

**grunk** · 29/10/2021, 12h42

2min30 pour traiter 16Mo ca me parait énorme. Faudrait avoir les caractéristique de la machine mais à titre d'exemple je retraite des fichiers csv de 100MO (lecture, parsage, récriture des données extraites) en C++ en ~5sec.

**laurentSc** · 29/10/2021, 12h54

J'ai corrigé 2/3 bugs mais y en a d'autres...

OK, 2 minutes 30, c'est énorme, mais si au bout du compte, ça génère le résultat attendu, ça m'ira (ça fait quand même 2 ans que je suis dessus !)(bon, il est clair que je suis pas le meilleur)

**cavo789** · 29/10/2021, 13h59

Bonjour

Si tu en viens à remanier ton code, essaie de faire des "early returns"; vois ci-dessous. Je stoppe net le processus si le fichier n'existerait pas. Ainsi, j'évite un if ... else... et tu réduis donc la complexité, ici et là (deux endroits), ton code.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
if (!($handle_src = fopen("$file_name" . 'csv', 'r'))) {
    throw new \Exception("Oups impossible d'ouvrir le fichier $file_name.csv");
}

A++

lire un (très) gros fichier CSV

Langage PHP

Discussions similaires

Partager

Partager