IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

MySQL Discussion :

Optimiser la recopie d'une table !


Sujet :

MySQL

  1. #1
    Expert éminent sénior Avatar de Artemus24
    Homme Profil pro
    Agent secret au service du président Ulysses S. Grant !
    Inscrit en
    Février 2011
    Messages
    6 480
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Agent secret au service du président Ulysses S. Grant !
    Secteur : Finance

    Informations forums :
    Inscription : Février 2011
    Messages : 6 480
    Points : 19 491
    Points
    19 491
    Par défaut Optimiser la recopie d'une table !
    Salut à tous.

    Mon but est de recopier une table le plus rapidement possible, mais en conservant la même volumétrie sur le disque.
    Je me suis dis qu'en partant d'un :
    Code mysql : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    create `new_charniere` like `charniere`;
    insert info `new_charniere` select * from `charniere`;
    suffisait largement. Sauf que je mets 22 secondes pour la charger !
    Et en plus, j'ai deux foreign key qui sont encore présentes dans la table `new_charniere`.
    Pour la volumétrie, ce n'est pas ça non plus, car elle est légèrement supérieure à la table d'origine.
    Autrement dit, ce n'est la bonne méthode pour recopier une table.

    Ma table charnière à 1 million de lignes.
    Elle possède deux clefs étrangères et la volumétie est :
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    9
    --------------
    call `outils`.`display_volume` ('base',    'charniere')
    --------------
     
    +-----------------+-----------+----------------+-----------------+-----------------+
    | Base de données | Table     | Data_Length Ko | Index_Length Ko | Total_Length Ko |
    +-----------------+-----------+----------------+-----------------+-----------------+
    | base            | charniere |          20776 |           15904 |           36680 |
    +-----------------+-----------+----------------+-----------------+-----------------+
    En consultant le net, j'ai trouvé un sujet qui dit qu'en recopiant une table sans les index, il suffit de faire ceci :
    Code mysql : Sélectionner tout - Visualiser dans une fenêtre à part
    create `new_charniere` select * from `charnière`;
    Sauf qu'en consultant la volumétrie, j'ai environ sur le disque 80Mo, soit le double de la table `charnière`.

    Pour recréer une table sans les index, il suffit de reprendre la déclaration de cette table et ne pas mettre la déclaration des index. Ce qui donne dans mon cas ;
    Code mysql : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    CREATE TABLE `new_charniere`
    ( `id`      integer unsigned auto_increment NOT NULL primary key,
      `medecin` integer unsigned                NOT NULL,
      `patient` integer unsigned NOT NULL)
      ENGINE=InnoDB
      DEFAULT CHARSET=`latin1` COLLATE=`latin1_general_ci`
      ROW_FORMAT=COMPRESSED
      SELECT `id`,`medecin`,`patient` FROM `charniere`;
    Comme on peut le constater, ce que j'ai mis en rouge permet lors de la création de la table d'effectuer à sa suite la recopie des lignes.
    Puis ensuite de recréer les deux clefs étrangères. Voici le résultat que j'obtiens à l'exécution :
    Code mysql : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    34
    35
    36
    37
    38
    39
    40
    41
    42
    43
    44
    45
    46
    47
    48
    49
    50
    51
    52
    53
    54
    55
    56
    57
    58
    59
    60
    61
    62
    63
    64
    65
    66
    67
    68
    69
    70
    71
    72
    73
    74
    75
    76
    77
    78
    79
    80
    81
    82
    83
    84
    85
    86
    87
    88
    89
    90
    91
    92
    93
    94
    95
    96
    97
    98
    99
    100
    101
    102
    103
    104
    105
    106
    107
    108
    109
    110
    111
    112
    113
    114
    115
    116
    117
    118
    119
    120
    121
    122
    123
    124
    125
    --------------
    START TRANSACTION
    --------------
     
    --------------
    ALTER INSTANCE DISABLE INNODB REDO_LOG
    --------------
     
    --------------
    SET SESSION autocommit         = 0
    --------------
     
    --------------
    SET SESSION unique_checks      = 0
    --------------
     
    --------------
    SET SESSION foreign_key_checks = 0
    --------------
     
    --------------
    DROP TABLE IF EXISTS `new_charniere`
    --------------
     
    --------------
    set profiling=1
    --------------
     
    --------------
    CREATE TABLE `new_charniere` ( `id` integer unsigned auto_increment NOT NULL primary key,`medecin`  integer unsigned NOT NULL, `patient` integer unsigned NOT NULL) ENGINE=InnoDB DEFAULT CHARSET=`latin1` COLLATE=`latin1_general_ci` ROW_FORMAT=COMPRESSED SELECT `id`,`medecin`,`patient` FROM `charniere`
    --------------
     
    --------------
    ALTER TABLE `new_charniere` ADD CONSTRAINT `FK_03` FOREIGN KEY (`medecin`) REFERENCES `medecin` (`id`) ON DELETE CASCADE ON UPDATE CASCADE
    --------------
     
    --------------
    ALTER TABLE `new_charniere` ADD CONSTRAINT `FK_04` FOREIGN KEY (`patient`) REFERENCES `patient` (`id`) ON DELETE CASCADE ON UPDATE CASCADE
    --------------
     
    --------------
    set profiling=0
    --------------
     
    --------------
    show profiles
    --------------
     
    +----------+-------------+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
    | Query_ID | Duration    | Query                                                                                                                                                                                                                                                                                                        |
    +----------+-------------+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
    |        1 | 10.06795950 | CREATE TABLE `new_charniere` ( `id` integer unsigned auto_increment NOT NULL primary key,`medecin`  integer unsigned NOT NULL, `patient` integer unsigned NOT NULL) ENGINE=InnoDB DEFAULT CHARSET=`latin1` COLLATE=`latin1_general_ci` ROW_FORMAT=COMPRESSED SELECT `id`,`medecin`,`patient` FROM `charniere |
    |        2 |  2.15856375 | ALTER TABLE `new_charniere` ADD CONSTRAINT `FK_03` FOREIGN KEY (`medecin`) REFERENCES `medecin` (`id`) ON DELETE CASCADE ON UPDATE CASCADE                                                                                                                                                                   |
    |        3 |  1.67187975 | ALTER TABLE `new_charniere` ADD CONSTRAINT `FK_04` FOREIGN KEY (`patient`) REFERENCES `patient` (`id`) ON DELETE CASCADE ON UPDATE CASCADE                                                                                                                                                                   |
    +----------+-------------+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
    --------------
    SET SESSION foreign_key_checks = 1
    --------------
     
    --------------
    SET SESSION unique_checks      = 1
    --------------
     
    --------------
    SET SESSION autocommit         = 1
    --------------
     
    --------------
    ALTER INSTANCE ENABLE INNODB REDO_LOG
    --------------
     
    --------------
    optimize table `new_charniere`
    --------------
     
    +--------------------+----------+----------+----------+
    | Table              | Op       | Msg_type | Msg_text |
    +--------------------+----------+----------+----------+
    | base.new_charniere | optimize | status   | OK       |
    +--------------------+----------+----------+----------+
    --------------
    analyze  table `new_charniere`
    --------------
     
    +--------------------+---------+----------+----------+
    | Table              | Op      | Msg_type | Msg_text |
    +--------------------+---------+----------+----------+
    | base.new_charniere | analyze | status   | OK       |
    +--------------------+---------+----------+----------+
    --------------
    describe       `new_charniere`
    --------------
     
    +---------+--------------+------+-----+---------+----------------+
    | Field   | Type         | Null | Key | Default | Extra          |
    +---------+--------------+------+-----+---------+----------------+
    | id      | int unsigned | NO   | PRI | NULL    | auto_increment |
    | medecin | int unsigned | NO   | MUL | NULL    |                |
    | patient | int unsigned | NO   | MUL | NULL    |                |
    +---------+--------------+------+-----+---------+----------------+
    --------------
    call `outils`.`display_volume` ('base',    'charniere')
    --------------
     
    +-----------------+-----------+----------------+-----------------+-----------------+
    | Base de données | Table     | Data_Length Ko | Index_Length Ko | Total_Length Ko |
    +-----------------+-----------+----------------+-----------------+-----------------+
    | base            | charniere |          20776 |           15904 |           36680 |
    +-----------------+-----------+----------------+-----------------+-----------------+
    --------------
    call `outils`.`display_volume` ('base','new_charniere')
    --------------
     
    +-----------------+---------------+----------------+-----------------+-----------------+
    | Base de données | Table         | Data_Length Ko | Index_Length Ko | Total_Length Ko |
    +-----------------+---------------+----------------+-----------------+-----------------+
    | base            | new_charniere |          20776 |           15904 |           36680 |
    +-----------------+---------------+----------------+-----------------+-----------------+
    --------------
    COMMIT
    --------------
     
    Début : 12:04:59,91
    Fin ..: 12:05:13,99
    Durée : 00:00:14,08
    Environ 10 secondes pour la recopie de la table, et j'ai exactement la même volumétrie sur le disque.
    Alors que le chargement par la procédure stockée me donne le résultat suivant :
    Code mysql : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    34
    35
    36
    37
    38
    39
    40
    41
    42
    43
    44
    45
    46
    47
    48
    49
    50
    51
    52
    53
    54
    55
    56
    57
    58
    59
    60
    61
    62
    63
    64
    65
    66
    67
    68
    69
    70
    71
    72
    73
    74
    75
    76
    77
    78
    79
    80
    81
    82
    83
    84
    85
    86
    87
    88
    89
    90
    91
    92
    93
    94
    95
    96
    97
    98
    99
    100
    101
    102
    103
    104
    105
    106
    107
    108
    109
    110
    111
    112
    113
    --------------
    START TRANSACTION
    --------------
     
    --------------
    DROP TABLE IF EXISTS `charniere`
    --------------
     
    --------------
    CREATE TABLE `charniere`
    ( `id`       integer unsigned auto_increment NOT NULL primary key,
      `medecin`  integer unsigned                NOT NULL,
      `patient`  integer unsigned                NOT NULL
    ) ENGINE=InnoDB
      DEFAULT CHARSET=`latin1` COLLATE=`latin1_general_ci`
      ROW_FORMAT=COMPRESSED
    --------------
     
    --------------
    DROP PROCEDURE IF EXISTS ajout_char
    --------------
     
    --------------
    CREATE PROCEDURE ajout_char
    (
    	IN In_Qte   INTEGER UNSIGNED,
    	IN In_Start INTEGER UNSIGNED,
    	IN In_End   INTEGER UNSIGNED
    )
    DETERMINISTIC
    NO SQL
    BEGIN
      DECLARE _max INTEGER UNSIGNED DEFAULT 100;
      DECLARE _ind INTEGER UNSIGNED DEFAULT 0;
      DECLARE _2nd INTEGER UNSIGNED DEFAULT 0;
      DECLARE _nbr INTEGER UNSIGNED DEFAULT 0;
     
      DECLARE _med  INTEGER UNSIGNED DEFAULT 0;
     
      SET _nbr = 1;
      SET _ind = floor(In_Qte / _max);
     
      ALTER TABLE `charniere` DISABLE KEYS;
     
      WHILE _ind > 0
      DO
        START TRANSACTION;
        SET _2nd = _max;
     
        SET @REQ  = 'INSERT INTO `charniere` (`medecin`,`patient`) VALUES ';
     
        WHILE _2nd > 1
        DO
          SET _med  = round(cast(rand() * (In_End - In_Start) as unsigned) + In_Start);
          SET @REQ  = concat(@REQ,'(',_med,',',_nbr,'),');
          SET _nbr  = _nbr + 1;
          SET _2nd = _2nd - 1;
        END WHILE;
     
        SET _med  = round(cast(rand() * (In_End - In_Start) as unsigned) + In_Start);
        SET @REQ  = concat(@REQ,'(',_med,',',_nbr,');');
        SET _nbr  = _nbr + 1;
     
        PREPARE stmt FROM @REQ;
        EXECUTE stmt;
        DEALLOCATE PREPARE stmt;
     
        COMMIT;
        SET _ind = _ind - 1;
      END WHILE;
     
      ALTER TABLE `charniere` ENABLE KEYS;
    END
    --------------
     
    --------------
    call ajout_char(1000000, 1, 4000)
    --------------
     
    --------------
    select count(*) from charniere
    --------------
     
    +----------+
    | count(*) |
    +----------+
    |  1000000 |
    +----------+
    --------------
    select * from charniere limit 10
    --------------
     
    +----+---------+---------+
    | id | medecin | patient |
    +----+---------+---------+
    |  1 |    2920 |       1 |
    |  2 |     640 |       2 |
    |  3 |    2437 |       3 |
    |  4 |    2267 |       4 |
    |  5 |      22 |       5 |
    |  6 |    1306 |       6 |
    |  7 |    2463 |       7 |
    |  8 |     398 |       8 |
    |  9 |    2597 |       9 |
    | 10 |    3795 |      10 |
    +----+---------+---------+
    --------------
    COMMIT
    --------------
     
    Début : 10:59:37,47
    Fin ..: 11:00:00,99
    Durée : 00:00:23,52
    Soit 23 secondes, le double du temps nécessaire pour une simple recopie.
    Pas mal pour un SGBDR soi-disant merdique !

    Cordialement.
    Artemus24.
    @+

  2. #2
    Expert éminent sénior Avatar de Artemus24
    Homme Profil pro
    Agent secret au service du président Ulysses S. Grant !
    Inscrit en
    Février 2011
    Messages
    6 480
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Agent secret au service du président Ulysses S. Grant !
    Secteur : Finance

    Informations forums :
    Inscription : Février 2011
    Messages : 6 480
    Points : 19 491
    Points
    19 491
    Par défaut
    Voici les caractéristiques de index :
    Code mysql : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    34
    35
    36
    37
    38
    39
    40
    41
    42
    43
    44
    45
    46
    47
    48
    49
    50
    51
    52
    53
    54
    55
    56
    57
    58
    59
    60
    61
    62
    63
    64
    65
    66
    67
    68
    69
    70
    71
    72
    73
    74
    75
    76
    77
    78
    79
    80
    81
    --------------
    START TRANSACTION
    --------------
     
    --------------
    SET sql_generate_invisible_primary_key=ON
    --------------
     
    --------------
    show extended index from     `charniere`
    --------------
     
    +-----------+------------+----------+--------------+-------------+-----------+-------------+----------+--------+------+------------+---------+---------------+---------+------------+
    | Table     | Non_unique | Key_name | Seq_in_index | Column_name | Collation | Cardinality | Sub_part | Packed | Null | Index_type | Comment | Index_comment | Visible | Expression |
    +-----------+------------+----------+--------------+-------------+-----------+-------------+----------+--------+------+------------+---------+---------------+---------+------------+
    | charniere |          0 | PRIMARY  |            1 | id          | A         |      997162 |     NULL |   NULL |      | BTREE      |         |               | YES     | NULL       |
    | charniere |          0 | PRIMARY  |            2 | DB_TRX_ID   | A         |        NULL |     NULL |   NULL |      | BTREE      |         |               | YES     | NULL       |
    | charniere |          0 | PRIMARY  |            3 | DB_ROLL_PTR | A         |        NULL |     NULL |   NULL |      | BTREE      |         |               | YES     | NULL       |
    | charniere |          0 | PRIMARY  |            4 | medecin     | A         |        NULL |     NULL |   NULL |      | BTREE      |         |               | YES     | NULL       |
    | charniere |          0 | PRIMARY  |            5 | patient     | A         |        NULL |     NULL |   NULL |      | BTREE      |         |               | YES     | NULL       |
    | charniere |          1 | FK_01    |            1 | medecin     | A         |        3868 |     NULL |   NULL |      | BTREE      |         |               | YES     | NULL       |
    | charniere |          1 | FK_01    |            2 | id          | A         |        NULL |     NULL |   NULL |      | BTREE      |         |               | YES     | NULL       |
    | charniere |          1 | FK_02    |            1 | patient     | A         |      997162 |     NULL |   NULL |      | BTREE      |         |               | YES     | NULL       |
    | charniere |          1 | FK_02    |            2 | id          | A         |        NULL |     NULL |   NULL |      | BTREE      |         |               | YES     | NULL       |
    +-----------+------------+----------+--------------+-------------+-----------+-------------+----------+--------+------+------------+---------+---------------+---------+------------+
    --------------
    show extended index from `new_charniere`
    --------------
     
    +---------------+------------+----------+--------------+-------------+-----------+-------------+----------+--------+------+------------+---------+---------------+---------+------------+
    | Table         | Non_unique | Key_name | Seq_in_index | Column_name | Collation | Cardinality | Sub_part | Packed | Null | Index_type | Comment | Index_comment | Visible | Expression |
    +---------------+------------+----------+--------------+-------------+-----------+-------------+----------+--------+------+------------+---------+---------------+---------+------------+
    | new_charniere |          0 | PRIMARY  |            1 | id          | A         |      998833 |     NULL |   NULL |      | BTREE      |         |               | YES     | NULL       |
    | new_charniere |          0 | PRIMARY  |            2 | DB_TRX_ID   | A         |        NULL |     NULL |   NULL |      | BTREE      |         |               | YES     | NULL       |
    | new_charniere |          0 | PRIMARY  |            3 | DB_ROLL_PTR | A         |        NULL |     NULL |   NULL |      | BTREE      |         |               | YES     | NULL       |
    | new_charniere |          0 | PRIMARY  |            4 | medecin     | A         |        NULL |     NULL |   NULL |      | BTREE      |         |               | YES     | NULL       |
    | new_charniere |          0 | PRIMARY  |            5 | patient     | A         |        NULL |     NULL |   NULL |      | BTREE      |         |               | YES     | NULL       |
    | new_charniere |          1 | FK_03    |            1 | medecin     | A         |        4035 |     NULL |   NULL |      | BTREE      |         |               | YES     | NULL       |
    | new_charniere |          1 | FK_03    |            2 | id          | A         |        NULL |     NULL |   NULL |      | BTREE      |         |               | YES     | NULL       |
    | new_charniere |          1 | FK_04    |            1 | patient     | A         |      998833 |     NULL |   NULL |      | BTREE      |         |               | YES     | NULL       |
    | new_charniere |          1 | FK_04    |            2 | id          | A         |        NULL |     NULL |   NULL |      | BTREE      |         |               | YES     | NULL       |
    +---------------+------------+----------+--------------+-------------+-----------+-------------+----------+--------+------+------------+---------+---------------+---------+------------+
    --------------
    select count(distinct medecin) as medecin from     `charniere`
    --------------
     
    +---------+
    | medecin |
    +---------+
    |    4000 |
    +---------+
    --------------
    select count(distinct medecin) as medecin from `new_charniere`
    --------------
     
    +---------+
    | medecin |
    +---------+
    |    4000 |
    +---------+
    --------------
    select count(distinct patient) as patient from     `charniere`
    --------------
     
    +---------+
    | patient |
    +---------+
    | 1000000 |
    +---------+
    --------------
    select count(distinct patient) as patient from `new_charniere`
    --------------
     
    +---------+
    | patient |
    +---------+
    | 1000000 |
    +---------+
    Début : 12:30:20,34
    Fin ..: 12:30:23,18
    Durée : 00:00:02,84
    Les statistiques ne donnent pas les mêmes valeurs.

    J'ai refait le même test mais sans compresser la table `new_charniere`. J'ai supprimé de la déclaration de la table ceci : "ROW_FORMAT=COMPRESSED".
    Code mysql : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    +----------+------------+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
    | Query_ID | Duration   | Query                                                                                                                                                                                                                                                                                   |
    +----------+------------+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
    |        1 | 4.57275225 | CREATE TABLE `new_charniere` ( `id` integer unsigned auto_increment NOT NULL primary key,`medecin`  integer unsigned NOT NULL, `patient` integer unsigned NOT NULL) ENGINE=InnoDB DEFAULT CHARSET=`latin1` COLLATE=`latin1_general_ci` SELECT `id`,`medecin`,`patient` FROM `charniere` |
    |        2 | 1.63375500 | ALTER TABLE `new_charniere` ADD CONSTRAINT `FK_03` FOREIGN KEY (`medecin`) REFERENCES `medecin` (`id`) ON DELETE CASCADE ON UPDATE CASCADE                                                                                                                                              |
    |        3 | 1.34408100 | ALTER TABLE `new_charniere` ADD CONSTRAINT `FK_04` FOREIGN KEY (`patient`) REFERENCES `patient` (`id`) ON DELETE CASCADE ON UPDATE CASCADE                                                                                                                                              |
    +----------+------------+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
    Je mets seulement 4 secondes pour la recopie.
    Je trouve que si cela a une utilité en terme de volumétrie sur un disque, ce n'est pas négligeable en terme de performance.

    Cordialement.
    Artemus24.
    @+

  3. #3
    Modérateur
    Avatar de escartefigue
    Homme Profil pro
    bourreau
    Inscrit en
    Mars 2010
    Messages
    10 344
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Loir et Cher (Centre)

    Informations professionnelles :
    Activité : bourreau
    Secteur : Finance

    Informations forums :
    Inscription : Mars 2010
    Messages : 10 344
    Points : 39 745
    Points
    39 745
    Billets dans le blog
    9
    Par défaut
    En principe, si le temps de chargement de la table est critique, c'est à dire s'il y a des volumes conséquents à charger (100 millions de lignes par exemple ou plus), la bonne méthode de chargement est d'utiliser LOAD DATA INFILE plutôt que INSERT.
    D'après le manuel de référence, l'opération est 20 fois plus rapide.
    Cf. https://dev.mysql.com/doc/refman/8.0...imization.html

  4. #4
    Expert éminent sénior Avatar de Artemus24
    Homme Profil pro
    Agent secret au service du président Ulysses S. Grant !
    Inscrit en
    Février 2011
    Messages
    6 480
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Agent secret au service du président Ulysses S. Grant !
    Secteur : Finance

    Informations forums :
    Inscription : Février 2011
    Messages : 6 480
    Points : 19 491
    Points
    19 491
    Par défaut
    Salut Escartefigue.

    Je ne donne pas le déchargement de la table car cela n'a aucun intérêt ici.
    Le temps de ce déchargement est ultrarapide pour 1 million de lignes, soit 2 secondes.

    Voici l'exécution du chargement de la table `new_charniere` :
    Code mysql : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    34
    35
    36
    37
    38
    39
    40
    41
    42
    43
    44
    45
    46
    47
    48
    49
    50
    51
    52
    53
    54
    55
    56
    57
    58
    59
    60
    61
    62
    63
    64
    65
    66
    67
    68
    69
    70
    71
    72
    73
    74
    75
    76
    77
    78
    79
    80
    81
    82
    83
    84
    85
    86
    87
    88
    89
    90
    91
    92
    93
    94
    95
    96
    97
    98
    99
    100
    101
    102
    103
    104
    105
    106
    107
    108
    109
    110
    111
    112
    113
    114
    115
    116
    117
    118
    119
    120
    121
    122
    123
    124
    125
    126
    127
    128
    129
    130
    131
    132
    133
    134
    135
    --------------
    START TRANSACTION
    --------------
     
    --------------
    ALTER INSTANCE DISABLE INNODB REDO_LOG
    --------------
     
    --------------
    SET SESSION autocommit         = 0
    --------------
     
    --------------
    SET SESSION unique_checks      = 0
    --------------
     
    --------------
    SET SESSION foreign_key_checks = 0
    --------------
     
    --------------
    DROP TABLE IF EXISTS `new_charniere`
    --------------
     
    --------------
    CREATE TABLE `new_charniere`
    ( `id`      integer unsigned auto_increment NOT NULL primary key,
      `medecin` integer unsigned NOT NULL,
      `patient` integer unsigned NOT NULL)
      ENGINE=InnoDB DEFAULT
      CHARSET=`latin1` COLLATE=`latin1_general_ci`
      ROW_FORMAT=COMPRESSED
    --------------
     
    --------------
    set profiling=1
    --------------
     
    --------------
    LOAD DATA LOCAL INFILE '05.Unload.txt' INTO TABLE `new_charniere` CHARACTER SET latin1 FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '\"' ESCAPED BY '\\' LINES TERMINATED BY '\r\n' IGNORE 0 LINES (`id`,`medecin`,`patient`)
    --------------
     
    --------------
    ALTER TABLE `new_charniere` ADD CONSTRAINT `FK_03` FOREIGN KEY (`medecin`) REFERENCES `medecin` (`id`) ON DELETE CASCADE ON UPDATE CASCADE
    --------------
     
    --------------
    ALTER TABLE `new_charniere` ADD CONSTRAINT `FK_04` FOREIGN KEY (`patient`) REFERENCES `patient` (`id`) ON DELETE CASCADE ON UPDATE CASCADE
    --------------
     
    --------------
    set profiling=0
    --------------
     
    --------------
    show profiles
    --------------
     
    +----------+------------+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
    | Query_ID | Duration   | Query                                                                                                                                                                                                                            |
    +----------+------------+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
    |        1 | 8.93386375 | LOAD DATA LOCAL INFILE '05.Unload.txt' INTO TABLE `new_charniere` CHARACTER SET latin1 FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '\"' ESCAPED BY '\\' LINES TERMINATED BY '\r\n' IGNORE 0 LINES (`id`,`medecin`,`patient`) |
    |        2 | 2.14494225 | ALTER TABLE `new_charniere` ADD CONSTRAINT `FK_03` FOREIGN KEY (`medecin`) REFERENCES `medecin` (`id`) ON DELETE CASCADE ON UPDATE CASCADE                                                                                       |
    |        3 | 1.65737300 | ALTER TABLE `new_charniere` ADD CONSTRAINT `FK_04` FOREIGN KEY (`patient`) REFERENCES `patient` (`id`) ON DELETE CASCADE ON UPDATE CASCADE                                                                                       |
    +----------+------------+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
    --------------
    SET SESSION foreign_key_checks = 1
    --------------
     
    --------------
    SET SESSION unique_checks      = 1
    --------------
     
    --------------
    SET SESSION autocommit         = 1
    --------------
     
    --------------
    ALTER INSTANCE ENABLE INNODB REDO_LOG
    --------------
     
    --------------
    optimize table `new_charniere`
    --------------
     
    +--------------------+----------+----------+----------+
    | Table              | Op       | Msg_type | Msg_text |
    +--------------------+----------+----------+----------+
    | base.new_charniere | optimize | status   | OK       |
    +--------------------+----------+----------+----------+
    --------------
    analyze  table `new_charniere`
    --------------
     
    +--------------------+---------+----------+----------+
    | Table              | Op      | Msg_type | Msg_text |
    +--------------------+---------+----------+----------+
    | base.new_charniere | analyze | status   | OK       |
    +--------------------+---------+----------+----------+
    --------------
    describe       `new_charniere`
    --------------
     
    +---------+--------------+------+-----+---------+----------------+
    | Field   | Type         | Null | Key | Default | Extra          |
    +---------+--------------+------+-----+---------+----------------+
    | id      | int unsigned | NO   | PRI | NULL    | auto_increment |
    | medecin | int unsigned | NO   | MUL | NULL    |                |
    | patient | int unsigned | NO   | MUL | NULL    |                |
    +---------+--------------+------+-----+---------+----------------+
    --------------
    call `outils`.`display_volume` ('base',    'charniere')
    --------------
     
    +-----------------+-----------+----------------+-----------------+-----------------+
    | Base de données | Table     | Data_Length Ko | Index_Length Ko | Total_Length Ko |
    +-----------------+-----------+----------------+-----------------+-----------------+
    | base            | charniere |          20776 |           15904 |           36680 |
    +-----------------+-----------+----------------+-----------------+-----------------+
    --------------
    call `outils`.`display_volume` ('base','new_charniere')
    --------------
     
    +-----------------+---------------+----------------+-----------------+-----------------+
    | Base de données | Table         | Data_Length Ko | Index_Length Ko | Total_Length Ko |
    +-----------------+---------------+----------------+-----------------+-----------------+
    | base            | new_charniere |          20776 |           15904 |           36680 |
    +-----------------+---------------+----------------+-----------------+-----------------+
    --------------
    COMMIT
    --------------
     
    Début : 13:06:46,55
    Fin ..: 13:06:59,47
    Durée : 00:00:12,92
    En effet, le chargement de la table est un peu plus rapide que la recopie, soit 8,93 secondes contre 10,06 secondes.
    Je pense que le chargement par mysqlump est bien plus lent et est comparable à celui par la procédure stockée (22 secondes).

    Cordialement.
    Artemus24.
    @+

  5. #5
    Modérateur
    Avatar de escartefigue
    Homme Profil pro
    bourreau
    Inscrit en
    Mars 2010
    Messages
    10 344
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Loir et Cher (Centre)

    Informations professionnelles :
    Activité : bourreau
    Secteur : Finance

    Informations forums :
    Inscription : Mars 2010
    Messages : 10 344
    Points : 39 745
    Points
    39 745
    Billets dans le blog
    9
    Par défaut
    Le gain en chargeant par LOAD sera d'autant plus important que l'effectif de la table augmentera, passer par LOAD pour des volumes modestes ne présente pas d'intérêt sur le plan de la durée

  6. #6
    Expert éminent sénior Avatar de Artemus24
    Homme Profil pro
    Agent secret au service du président Ulysses S. Grant !
    Inscrit en
    Février 2011
    Messages
    6 480
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Agent secret au service du président Ulysses S. Grant !
    Secteur : Finance

    Informations forums :
    Inscription : Février 2011
    Messages : 6 480
    Points : 19 491
    Points
    19 491
    Par défaut
    Salut Escartefigue.

    D'où mon interrogation sur quelques internautes qui se plaignent de mettre un temps plus que très long pour charger une base de données par mysqldump.
    Ne serait-il pas plus intéressant pour eux de passer par un fichier plat et de le charger par un "load" ?

    Cordialement.
    Artemus24.
    @+

+ Répondre à la discussion
Cette discussion est résolue.

Discussions similaires

  1. Optimiser les calculs sur une table volumineuse
    Par devdev dans le forum Développement
    Réponses: 7
    Dernier message: 30/03/2020, 17h37
  2. Réponses: 18
    Dernier message: 10/07/2015, 14h24
  3. Réponses: 2
    Dernier message: 03/09/2010, 16h17
  4. Réponses: 2
    Dernier message: 13/08/2010, 16h07
  5. Optimisation "GROS" SELECT dans une table partitionnée
    Par jfmerveille dans le forum Sybase
    Réponses: 3
    Dernier message: 14/06/2008, 13h22

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo