Discussion :

[HoB]

Bonjour à tous,

je cherche une fonction qui permet de couper un tableau pour obtenir plusieurs sous tableaux de la meme taille.
j'ai trouvé la fonction Array.copy(sourceArray As Array, sourceIndex As Integer, destinationArray As Array, destinationIndex As Integer, length As Integer) qui prend length elements du tableauSourceArray à partir de l'index SourceIndex et les copie dans le tableau DestinationArray à l'index destinationIndex, mais le problèmem c'est que ca fonctionne en vb.net et pas en vb6.
vous ne connaitriez pas un equivalent ? ou un algo assez optimisé pour le faire ?

je dois faire un programme qui scinde des fichier de donnée en plusieurs partie et comme ces fichiers contiennent des millions d'enregistrements ca m'arrangerais d'avoir une fonction qui soit plus optimisé qu'une boucle de recopie

merci d'avance pour vos reponse

[DarkVader]

Bonjour à tous,
.../...
je dois faire un programme qui scinde des fichier de donnée en plusieurs partie et comme ces fichiers contiennent des millions d'enregistrements ca m'arrangerais d'avoir une fonction qui soit plus optimisé qu'une boucle de recopie
.../..

En tout état de cause pour un résultat véritablement optimisé,
je ne vois pas le faire en VB (... ni même en VB.net)

[ProgElecT]

qui prend length elements du tableauSourceArray à partir de l'index SourceIndex et les copie dans le tableau DestinationArray à l'index destinationIndex

moi j'ai bien une petite idée , mais (ce fameux mais) tout depend de ce que contient ton tableau, peux-tu nous mettre 2 ou 3 elements (pas plus) de ce tableau, ou du fichier de donnée ?
Sans boucle For ... Next, j'ai un bout de source pense-bête qui pourrai eventuellement être utilisé.

[Delbeke]

Peut être l'algo de tronçonnage des séquences ADN?

[zazaraignée]

Code HoB :

Sélectionner tout - Visualiser dans une fenêtre à part

(...) je dois faire un programme qui scinde des fichier de donnée en plusieurs partie (...)

Dans quel format, le fichier de données ? Texte ? Binaire ? Excel ? Table d'une base de données ?

[Delbeke]

Bonjour zaza, il est une coutume en france de monter un canular le premier avril de chaque année. On appelle çà un poisson d'avril. Je pense que c'est le cas ici

[HoB]

Bonjour à tous,

deja merci pour vos reponse.

en fait mon fichier de donnée contient une liste de ROW_ID db2, donc ca donne un truc dans ce genre :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
 
ROW_ID         
---------------
1-2U2DVW       
1-2U2DVY       
1-2U2DW0       
1-2U2DW2       
1-2U2DW4       
1-2U2DW6

cette liste me permettra ensuite d'acceder aux enregistrements correspondants dans la base dans un second traitement : dans ce second traitement je me connecte a notre progiciel pour migrer toutes les données client. c'est pour pouvoir parraleliser le second traitement qui est tres long que j'ai besoin de scinder mon fichier.

j'etais parti sur du VB pour faire ca parce que pour le second traitement je suis obligé de faire un code VB pour me connecter au progiciel, j'ai pas la DLL qu'il faut pour pouvoir me connecter avec un autre langage. mais pour la partie ou je scinde mon fichier de donnée, eventuellement je peux passer par du C, c'est vrai que ca serait peu etre plus rapide. lke probleme est que j'ai pas les droits pour installer un compilo C sur mon poste et que je sais pas quand on pourra venir m'en installer un.

Pour en revenir à mon programme, Pour l'instant ce que je fais c'est que j'ouvre mon fichier en Binaire et que je recupère toutes les données en une fois dans un tableau avec un Get et un split.
ensuite je comptais scinder mon tableau en plusieurs sous partie (c'est ma question) et recréer pour chacun de ces sous tableau un fichier de donnée avec un join et un put.

[Delbeke]

Si tes donnees sont toutes de la même taille (d'après l'exemple 8 octets), il est possible d'ouvrir ton fichier en mode Random avec une longeur d'enregistrement qui serait un multiple de la taille de la donnée

Quelque chosse comme çà

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
Private Sub Command1_Click()
  Dim hFichIn As Integer
  Dim hFichOut As Integer
  Dim TailleDonnée As Integer
  Dim NbDonnées As Integer
  Dim Buffer As String
  Dim NumFichier As Integer
  Dim MonFichier As String
 
  MonFichier = App.Path & "\MesDonnes.txt"
  TailleDonnée = 8
  NbDonnées = 4000
  Buffer = String(TailleDonnée * NbDonnées, 0) 'taille maxi 32767
  NumFichier = 1
  hFichIn = FreeFile
  Open MonFichier For Random As #hFichIn Len = Len(Buffer)
    Do While Not EOF(hFichIn)
      hFichOut = FreeFile
      Get #hFichIn, NumFichier, Buffer
      Open App.Path & "\Split" & NumFichier For Output As #hFichOut
        Print #hFichOut, Buffer
      Close #hFichOut
      NumFichier = NumFichier + 1
    Loop
  Close #hFichIn
End Sub

Ou même avec une ouverture en mode binaire

[HoB]

merci pour ta réponse.
en fait mes données varient entre 6 et 15 caracteres.

je ne suis pas sur de comprendre le Open MonFichier For Random As #hFichIn Len = Len(Buffer) :
ca ouvre le fichier de donnée et permet de récupérer des bloc de la taille du buffer ? et tant que l'on récupére un bloc de cette taille on ecrit un nouveau fichier avec le buffer, c'est bien cela ?

[Delbeke]

c'etait çà l'idée, a jetter à la poublelle puisque tes données n'ont pas de taille fixe.

[ProgElecT]

Je n'aurrai pas proposé autre chose que se qui a ete proposé par Delbeke, c'est pourquoi je demendai des precisions sur les données à traiter.
(en passant, Delbeke, quand on (je) fait des conn.... dans la proposition de reponse a un post, heureusement qu'il y a un autre qui corrige )

[Vld44]

donc tu cherches par exemple, si on dit que dans ton fichier initial tu as 500 entrées, à faire 2 x 250 c'est ça ?

Si c'est le cas,

0/ définir la taille à partir de laquelle un sous-fichier doit être créé
1/ Tout charger en mémoire à partir du fichier d'origin
2/ Repérer les positions des retours de chariot (ou je ne sais quel séparateur) grâce à INSTRB
3/ lorsque INSTRB > la taille définie en 0/, stocker tout ce qui précède le résultat de INSTRB dans un nouveau fichier
4/ loop

C'est certainement optimisable.
A+

[HoB]

merci je vais essayer ca

[Vld44]

fait gaffe à INSTRB
Ca va plus vite que instr, mais faut interpréter la position après.

INSTR(X) = INSTRB(X) * 2 +1 je crois, ou un truc comme ça

Vérifie !

[HoB]

bon j'ai pas eu le termps de poster une réponse avant mais je m'en suis finalement sorti avec une seule boucle grace à INSTRB

Pour ceux à qui ca pourrais servir, voila ce que ca donne (le nombre de sous fichier à créer est passé en parametre) :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
 
 
   Dim sDataTemp As String
   Dim sSubDataTemp As String
   Dim sDataTab() As String
   Dim lNbLines As Long
   Dim lNbFic As Integer
   Dim iIndDep As Integer
   Dim i As Integer
   Dim lTailleMax As Long
   Dim lPosFinSousFichier As Long
   Dim lPosDebSousFichier As Long
   Dim ifile As Integer
   Dim lTailleSubFile As Long
   Dim lTailleSubTemp As Long
   Dim lTailleFicOrig As Long
   Dim lTailleMaxOrNbFic As Long
   Dim sTailleOuNb As String
   Dim sNomObjet As String
   Dim NBOctetMax As Long
   Dim f As Integer
 
'1/lecture du fichier d'origine
 
    ' trappe les erreurs
    On Error GoTo Err_ReadFileToBuffer
 
    ' Ouverture du fichier en Binaire
    f = FreeFile
    Open sFile For Binary Access Read As #f
        ' préallocation d'un buffer à la taille du fichier
        sDataTemp = Space$(LOF(f))
        ' lecture complète du fichier
        'je commence à lire à partir de l'octet iIndDep (calculé avant) pour ne recupérer que les 
        'infos utiles du fichier
        Get #f, iIndDep, sDataTemp
    Close #f
 
'2/comptage du nombre d'enregistrement dans le fichier d'origine
 
    sDataTab() = Split(sDataTemp, vbCrLf)
    lNbLines = UBound(sDataTab()) + IIf(LBound(sDataTab()) = 0, 1, 0)
 
'3/ calcul de la taille d'un sous fichier (en nombre d'enregistrement) et du nombre d'octet à 
'inserer dans un sous fichier
    'lnbfic est le nombre de fichier à créer passé en parametre
    lTailleMax = lNbLines \ lNbFic 'division entière
    If (lTailleMax * lNbFic) < lNbLines Then
       lTailleMax = lTailleMax + 1
    End If
 
    'pour obtenir le nombre d'octet max, on multiplie ce nombre par 15 car il y a 15 caractère 
    'max par ligne
    NBOctetMax = lTailleMax * 15
 
'3/ boucle de création des sous fichier
    lPosFinSousFichier = 0
    For i = 1 To lNbFic
        'j'ajoute 2 caractère à la position de fin pour obtenir la position de debut du fichier 
        'suivant, pour eviter de récupérer une ligne vide (le caractère VbCrLf prend 2 caractères :
        'saut de ligne et retour chariot
        lPosDebSousFichier = lPosFinSousFichier + 2
        'je recherche la dernière occurence de fin de ligne de mon sous fichier
        'pour cela je commence à chercher à partir du debut de la dernière ligne de mon sous fichier, grace à la fonction INSTRB : 
        'j'ajoute à la position du premier enregistrement de mon nouveau sous
        'fichier dans le fichier origine le nombre d'octet max par fichier (moins 15
        'pour etre sur que le fichier n'ai pas plus de NBOctetMax octets) et je recherche
        'l'occurence de fin de ligne suivante
        lPosFinSousFichier = InStrB((lPosDebSousFichier + NBOctetMax - 15), sDataTemp, vbCrLf, 0)
        'je recupere les données de mon sous fichier
        lTailleFicOrig = Len(sDataTemp)
        lTailleSubFile = lPosFinSousFichier - lPosDebSousFichier
        sSubDataTemp = Space$(lTailleSubFile)
        sSubDataTemp = Mid(sDataTemp, lPosDebSousFichier, lTailleSubFile)
        lTailleSubTemp = Len(sSubDataTemp)
 
        'ecriture du sous fichier
        ' Ouverture du fichier en Binaire
        f = FreeFile
        Open sSubFile & "_" & i For Binary Access Write As #f
            ' ecriture complète du fichier
            Put #f, , sSubDataTemp
        Close #f
 
    Next i

voila, ca marche mis à part un petit probleme de compteur qui fait que je commence quand meme mes fichiers par une ligne vide et je vois vraiment pas pourquoi, mais bon je ne desespère pas de trouver. si quelqu'un a une idée la dessus, elle est la bienvenue.