Discussion :

[bar_79]

Bonjour,

Je voudrais effectuer des DELETE sur une table très volumineuse

Nombre de ligne de la table : 2 Milliards environs
La suppression est faite sur le champ « Mois »
Environ 15 millions de lignes pour chaque mois

Avec les commandes SAS, j'ai deux possibilités

Soit une étape Data

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
DATA bib.table1 ; 
SET bib.table1 ; 
IF mois = 10 Then DELETE ; 
Run ;

Avantages :
temps de traitement acceptable

Inconvénients :
Pour effectuer la suppression sur une table de 100 Go, la suppression nécessite presque 100 Go d'espace disque supplémentaire

Soit une proc SQL :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
Proc sql ; 
DELETE FROM bib.table1 WHERE Mois = 10 ; 
Quit;

Avantages :
Pas de disque supplémentaire pour effectuer l’opération de suppression

Inconvénients :
- temps de traitement catastrophiques
- Après la suppression l'espace disque occupé par le mois=10 n'est pas libéré


Ma question :

Y a-t-il une possibilité de partitionner cette table sur la clé= mois pour effectuer des Truncate ou des Drop Partition ?

Merci d’avance.

[datametric]

bah non c'est pas un SGBD c'est un système propriétaire.

Sache que le IF agit lors de l'écriture de la table alors que le WHERE agit à la lecture. J'estime donc que le IF ne doit pas être utilisé sur une telle volumétrie car pour moi les temps ne sont pas acceptables.

Recherche donc des papiers traitant de ce genre de problèmes d'update.

[bar_79]

Merci bcp pour ta réponse,

Pour le IF et le WHERE, je suis tout à fait d'accord avec toi, je peux réécrire ma requête autrement :

Etape Data

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
DATA bib.table1 ; 
SET bib.table1 ; 
WHERE mois <> 10 ; 
Run ;

Il y a un petit détail que je n'ai pas mentionné au départ, un détail qui change tout, en fait, je travail sur une plateforme SAS SPDS (dédiée à des volumétrie fortes), il y a une possibilité de créer des Cluster dynamiques (équivalent de partitionnement Oracle).

Je ne voudrais pas partir sur cette piste car je n'ai pas assez de recule sur cette solution ? pour cette raison je chercher à contourner le problème.