IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

MS SQL Server Discussion :

DTS : importation volumineuse fait tout planter


Sujet :

MS SQL Server

  1. #1
    Membre habitué Avatar de meufeu
    Profil pro
    Inscrit en
    Septembre 2003
    Messages
    355
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Septembre 2003
    Messages : 355
    Points : 166
    Points
    166
    Par défaut DTS : importation volumineuse fait tout planter
    Bonjour,

    Je fais des importations de données en nombre et chacune d'entre elle est volumineuse .. je rappatrie donc une vingtaine de fois plusieurs millions de lignes ...

    je n'ai jamais lancé tout le lot car il suffit que j'execute une étape et je fais planter sql server : pas de réponse...

    Peux on, dit on importer leslignes par petits blocs ?
    Pourriez vous m'aider s'il vous plait ?

    Merci d'avance !

  2. #2
    Membre du Club
    Inscrit en
    Juin 2005
    Messages
    58
    Détails du profil
    Informations forums :
    Inscription : Juin 2005
    Messages : 58
    Points : 60
    Points
    60
    Par défaut
    je suis pas sur à 100% de ce que je fais te dire, mais je crois que ca va fonctionner.

    J'imagine que tu utilise une tâche de transformation de données dans to DTS
    Si c'est le cas, va voir dans les options de cette tâche
    Tu peux définir la taille du tampon d'extraction et la taille du lot.
    Je ne suis pas sur, mais je crois que ca permettra de limiter
    l'utilisation de la mémoire de ton serveur en gardant moins de données
    en mémoire.

    donne moi en des nouvelles

  3. #3
    Rédacteur/Modérateur

    Avatar de Fabien Celaia
    Homme Profil pro
    Administrateur de base de données
    Inscrit en
    Octobre 2002
    Messages
    4 224
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 54
    Localisation : Suisse

    Informations professionnelles :
    Activité : Administrateur de base de données
    Secteur : Service public

    Informations forums :
    Inscription : Octobre 2002
    Messages : 4 224
    Points : 19 567
    Points
    19 567
    Billets dans le blog
    25
    Par défaut
    bcp sera plus performant. En plus, il permet le traitement par lots (options -b ou -F -L)

  4. #4
    Membre habitué Avatar de meufeu
    Profil pro
    Inscrit en
    Septembre 2003
    Messages
    355
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Septembre 2003
    Messages : 355
    Points : 166
    Points
    166
    Par défaut
    Tout d'abord MERCI de vos réponses



    MoTUmBo
    Effectivement j'utilise pas mal de tache des transformations de données
    a l'heure actuelle dans la taille du tampon d'extraction j'ai 1 ...
    je ne sais pas a quoi cela correspond (1 octet, 1ko etc ??)

    fadace
    Je ne comprends pas ce que tu veux dire, a quoi correspondent les options que tu me citent, ou faut il les rentrer ?

    quelle valeur me conseillez vous de mettre ?
    (mon fichier de log fait 2go)

    en tout cas merci déjà!

  5. #5
    Membre habitué Avatar de meufeu
    Profil pro
    Inscrit en
    Septembre 2003
    Messages
    355
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Septembre 2003
    Messages : 355
    Points : 166
    Points
    166
    Par défaut complément
    Re,

    Comme je vous disais mon fichier de log fait 2go ..
    et bien mon lot DTS fait de plusieurs tache de transformations de données, de requetes UPDATE, ne s'execute pas entièrement car au bout d'un moment le fichier de log est plein !

  6. #6
    Membre habitué Avatar de meufeu
    Profil pro
    Inscrit en
    Septembre 2003
    Messages
    355
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Septembre 2003
    Messages : 355
    Points : 166
    Points
    166
    Par défaut
    ahhhhh

    BCP !!!

    http://msdn.microsoft.com/library/de...mtsk1_2623.asp

    l'utilitaire pour faire une "Bulk Insert Task" !!!

    ou se trouve t il ??

  7. #7
    Membre habitué Avatar de meufeu
    Profil pro
    Inscrit en
    Septembre 2003
    Messages
    355
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Septembre 2003
    Messages : 355
    Points : 166
    Points
    166
    Par défaut
    je ne comprends pas !

    bcp importe a partir de fichier texte mais moi je transfere d'une base de données a une autre !

  8. #8
    Rédacteur/Modérateur

    Avatar de Fabien Celaia
    Homme Profil pro
    Administrateur de base de données
    Inscrit en
    Octobre 2002
    Messages
    4 224
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 54
    Localisation : Suisse

    Informations professionnelles :
    Activité : Administrateur de base de données
    Secteur : Service public

    Informations forums :
    Inscription : Octobre 2002
    Messages : 4 224
    Points : 19 567
    Points
    19 567
    Billets dans le blog
    25
    Par défaut
    Les deux bases se situent-elle sur le même sql serveur ? Enrichissez-vous une table ou la créez-vous from-scratch toutes les fois ?

  9. #9
    Membre habitué Avatar de meufeu
    Profil pro
    Inscrit en
    Septembre 2003
    Messages
    355
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Septembre 2003
    Messages : 355
    Points : 166
    Points
    166
    Par défaut
    il y a 5 bases que je centralise en 1
    j'efface et recréé les tables sur la base de centralisation a chaque import ..

Discussions similaires

  1. [AC-2010] requete qui fait tout planter
    Par alex61 dans le forum Requêtes et SQL.
    Réponses: 2
    Dernier message: 04/01/2012, 14h30
  2. [nouveau .js fait tout planter]
    Par zouzou99 dans le forum jQuery
    Réponses: 2
    Dernier message: 16/08/2010, 14h54
  3. Flash + PHP : La fonction include fait tout planter !
    Par Arsach dans le forum Dynamique
    Réponses: 1
    Dernier message: 19/06/2008, 10h51
  4. [Lomboz][JSP]Le paramètre prefix de taglib fait tout planter
    Par MasterMic dans le forum Eclipse Java
    Réponses: 5
    Dernier message: 20/06/2005, 15h47

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo