Discussion :

[popek]

Bonjour,

j'ai une appli qui peut génerer jusqu'à 40 millions de ligne avec 40 colones environ. Les données de ces lignes sont booléenes donc composées uniquement de "1" et "0". Sur ces lignes je dois réaliser différents traitements comme des tris, des recherches, des suppressions ... etc... J'ai donc fait plusieurs essais. Mes essais se sont limités à un tableau à une dimension de type booléen. La machine est un PC 2,8GHz avec 1Giga de RAM. Le langage est le VB.NET. Les essais effectués sont les suivants:
- Insertion dans un tableau: A partir d'un million de ligne la RAM est FULL.
- Insertion dans un dataset: A partir d'un million de ligne la RAM est FULL.
- Insertion dans un SGBD MySQL: Rapidité ok jusqu'à un million de ligne
apres c'est trop lent: environ 40 minutes pour 1 million.

Donc mes questions sont: comment gérer ces probables 40 millions de lignes? Dois-je avoir en PC une bete de course? Dois-je créer 40 tables avec un million de ligne par table? Y a t-il un langage et/ou SGBD qui soit plus adapté à cette situation? Y a t-il un autre moyen que les tableaux et Dataset?

Merci d'avance de vos réponses, commentaires, suggestions.

Popek

[Médinoc]

Je conseillerais un test direct sur les bits : En effet, un booléen est généralement stocké dans une variable au minimum 8 fois trop grande (et c'est souvent plus).

Tu peux essayer un tableau de 40000000*5 octets, voire, pour un compromis taille/performance, un tableau de 40 millions de Int64 (ce sera toujours plus petit qu'un tableau de booléens stockés chacun dans un octet).