[Access2003/VBA]Import de table volumineuse

**cotmar** · 29/05/2006, 15h56

Bonjour à tous,

Mon problème aujourd'hui est de réaliser l'import d'une table de très grand taille.

J'ai fais quelquechose qui marche très bien lorsque la table est de petite taille mais là quand il s'agit de traiter une table de plus de 8000 enregistrements apapremment ça ne marche plus.

Est ce que quelqu'un aurait une idée ?

Voici une partie de la procédure qui fait ça :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
 
 

Private Sub cmdRegion_Click()
    
    Dim db          As DAO.Database
    Dim recEnreg    As DAO.Recordset
    Dim sSQL        As String
    
    Me.ProgressBar1.Value = 0
    
    sSQL = "SELECT dbo_OSMOSE_SITE_THEORIQUE.REGION_EXPLOITATION as LaRegion"
    sSQL = sSQL & " FROM dbo_OSMOSE_SITE_THEORIQUE"
    sSQL = sSQL & " Union"
    sSQL = sSQL & " Select " & """" & "NAT" & """" & " From dbo_OSMOSE_SITE_THEORIQUE AS LaRegion"
    
    Set db = DBEngine.Workspaces(0).Databases(0)
    Set recEnreg = db.OpenRecordset(sSQL, dbOpenSnapshot)
    
    On Error Resume Next
    
    If StrTable = "Regions" Then
        sSQL = "insert into Region values ('IDF-RN')"
        Call db.Execute(sSQL)
        While Not recEnreg.EOF
            If (recEnreg!LaRegion <> "IDF" And recEnreg!LaRegion <> "RN") Then
                sSQL = "insert into Region values ('" & recEnreg!LaRegion & "')"
                Call db.Execute(sSQL)
            End If
            Call recEnreg.MoveNext
            Me.ProgressBar1.Value = recEnreg.PercentPosition
            Me.LblPercent.Caption = Format(recEnreg.PercentPosition / 100, "0.00 %")
        Wend
        Me.Repaint

'=> La partie qui m'intéresse se situe ici :    
    ElseIf StrTable = "Villes" Then
        Set recEnreg = db.OpenRecordset("reqAlimVille", dbOpenSnapshot)
        While Not recEnreg.EOF
            If (recEnreg!LaRegion <> "IDF" And recEnreg!LaRegion <> "RN") Then
                sSQL = "insert into Ville values ('" & Replace(recEnreg!COMMUNE, "'", "''") & "','" & recEnreg!REGION_EXPLOITATION & "')"
            Else
                sSQL = "insert into Ville values ('" & Replace(recEnreg!COMMUNE, "'", "''") & "','IDF-RN')"
            End If
            Call db.Execute(sSQL)
            Call recEnreg.MoveNext
            Me.ProgressBar1.Value = recEnreg.PercentPosition
            Me.LblPercent.Caption = Format(recEnreg.PercentPosition / 100, "0.00 %")
            Me.Repaint
        Wend
    
    ElseIf StrTable = "Sites" Then
        Set recEnreg = db.OpenRecordset("reqAlimSite", dbOpenSnapshot)
        While Not recEnreg.EOF
            sSQL = "insert into Site values ('" & recEnreg!NUM_SITE_THEORIQUE & "','" & Replace(recEnreg!COMMUNE, "'", "''") & "')"
            Call db.Execute(sSQL)
            Call recEnreg.MoveNext
            Me.ProgressBar1.Value = recEnreg.PercentPosition
            Me.LblPercent.Caption = Format(recEnreg.PercentPosition / 100, "0.00 %")
            Me.Repaint
        Wend
    End If
ExitHandler:
    Me.ProgressBar1.Value = 100
    Me.LblPercent.Caption = 100 & " %"
    Call recEnreg.Close
    Call db.Close
    
End Sub

Si jamsis quelqu'un peut m'aider.

Par avance je vous remercie.

Marco.

**cotmar** · 29/05/2006, 15h58

Pour préciser un peut plus les choses, à un momment donner, la progressBar arrive tout pès de 100 et retombe environ à 97 % (au débug je me rend compte qu'il charge les 50 enregistrements suivants).

Au bout d'un momment j'ai "not responding"...

J'avoue que je ne sais pas trops comment m'en sortir.

**Tofalu** · 29/05/2006, 17h18

Place des DoEvents dans ta boucle. Mais dans tous les cas, l'import risque d'être long puisque tu lances des tas de requêtes là où une seule sans VBA aurait suffit je pense

**cotmar** · 29/05/2006, 17h26

Merci Tofalu,

Est ce que tu pourrais me suggérer une autre méthode s'il te plait ? J'avoue que face à un problème complexe, j'ai essayé de décomposer au maximum... Un autre problème aussi c'est que la barre de progression revient en arrière chaque fois qu'il arrive à la taille du lot des données qu'il prend... Comment résoudre cet autre aspect ?

Est ce que tu pourrais préciser ta réponse s'il te plait ?

Par avance merci.

Marco.

**cotmar** · 29/05/2006, 18h01

Je continue mes rec herches sur le sujet du jour et il semblerait qu'en supprimant les index en début de traitement je devrais pouvoir gagner du temps.
Est ce que quelqu'un pourrait m'aider ou aurait une autre idée ?

Par avance merci.

Marco.

**random** · 29/05/2006, 18h04

il n'y a aucune raison de parcourir tous les enregistrements

tu fais

tant que pas fin fichier

si monchamp=macondition
alors j'ajoute
loop

il faut faire

requête ajout dans table 1 mon recordset where monchamp = ma condition

etc...

**cotmar** · 29/05/2006, 18h25

En fait si. Je veux ajouer tous les enregistrements, mais certaines valeurs (quand site=IDF ou site=RN alors mettre site=IDF-RN) et par ailleur, je risque d'avoir des doublons dans mes enregistrements. D'où le resume next en début... Mais là je sais pas trops comment accélérer tout ça... J'avais fait d'autres essais, mais il semble que dès que j'ai une jointure dns ma requête, Access refuse de faire l'ajout dans la table...

Par avance merci de votre aide.

Marco.

**philben** · 29/05/2006, 20h45

Bonjour,

La syntaxe db.execute(sql) est plus de 45 fois plus lente que de passer par un recordset (rs.addnew,...rs.update)

sur un test, 30000 ajouts avec le recordset : 300 ms et db.execute : 13500 ms !

On peut donc optimiser le temps d'execution et peut être résoudre d'autres problèmes inhérents.

Amicalement,

Philippe

**philben** · 29/05/2006, 21h09

Pour compléter, voici le test réalisé qui n'a aucune valeur scientifique mais la différence de vitesse est significative je pense.

**Tofalu** · 29/05/2006, 21h16

La syntaxe db.execute(sql) est plus de 45 fois plus lente que de passer par un recordset (rs.addnew,...rs.update)

Bien entendu sur des accès multiple mais pour une seule insertion, il vaut mieux utiliser Execute. De plus je suis su qu'ici une seule requete INSERT INTO SELECT FROM serait suffisante

**philben** · 29/05/2006, 21h23

Bonjour Tofalu,

Bien entendu sur des accès multiple mais pour une seule insertion, il vaut mieux utiliser Execute. De plus je suis su qu'ici une seule requete INSERT INTO SELECT FROM serait suffisante

On est je pense ici dans le cas d'insertions multiples :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
 
 
While Not recEnreg.EOF
            sSQL = "insert into Site values ('" & recEnreg!NUM_SITE_THEORIQUE & "','" & Replace(recEnreg!COMMUNE, "'", "''") & "')"
            Call db.Execute(sSQL)
            Call recEnreg.MoveNext
...

me trompe-je ?

[Access2003/VBA]Import de table volumineuse

Access

Discussions similaires

Partager

Partager