IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Outils BI Discussion :

Problème chargement une table Teradata en batch avec fast load


Sujet :

Outils BI

  1. #1
    Membre actif
    Homme Profil pro
    Consultant en Business Intelligence
    Inscrit en
    Juillet 2013
    Messages
    37
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 44
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Consultant en Business Intelligence
    Secteur : Finance

    Informations forums :
    Inscription : Juillet 2013
    Messages : 37
    Points : 206
    Points
    206
    Par défaut Problème chargement une table Teradata en batch avec fast load
    Bonjour à tous, j'epère que je vais être clair.
    J'ai un problème de chargement d'une table de sas vers TERADATA avec l'option de table FASTLOAD.
    Le contexte,
    - Si je charge la table en interactif (à partir de sas Guide) cela fonctionne .
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    	proc sql ; 
    		drop table knbsas.test_load;
    		create table knbsas.test_load (fastload=yes) as 
    					select name ,sex, age 
    						from sashelp.class;
    	quit;
    J'ai un warning pour la suppression puisque la table n'existe pas.(cela ne me pose pas problème)

    - si maintenant je passe ce programme en batch (mode planifié),
    Je reçois un warning pour la suppression et une error de ce genre.


    WARNING: Le fichier KNBSAS.test_load.DATA n'existe pas.
    WARNING: Table KNBSAS.test_load n'a pas été supprimée.
    ERROR: Teradata connection: Could Not Find Message Catalog opermsgs.cat Correct error and restart as an APPEND process with option
    TPT_RESTART=YES. Since no checkpoints were taken, if the previous run used FIRSTOBS=n, use the same value in the restart.
    WARNING: La suppression du fichier KNBSAS.test_load.DATA a échoué.
    Si par contre j'enlève l'option fastload, je n'ai aucune erreur.

    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
     
    proc sql;
            		create table knbsas.test_load /*(fastload=yes)*/ as
            					select name ,sex, age
           						from sashelp.class;
    NOTE: Table KNBSAS.test_load created, with 19 rows and 3 columns.


    En cherchant sur internet, j'obtiens quelque chose de ce genre

    Got it by adding the following to our SAS startup scripts:
    export NLSPATH=/opt/teradata/client/14.10/tbuild/msg64/opermsgs.cat;

    Cependant, moi je travaille en client server et je n'ai aucun contrôle sur les fichiers de config ou autre,*
    Est ce que quelqu'un peut-il m'éclaircir?
    Merci d'avance à tous.

  2. #2
    Membre éprouvé
    Avatar de Stackware
    Homme Profil pro
    ArchiDuc de la Sasserie
    Inscrit en
    Juillet 2013
    Messages
    439
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : ArchiDuc de la Sasserie
    Secteur : Conseil

    Informations forums :
    Inscription : Juillet 2013
    Messages : 439
    Points : 1 017
    Points
    1 017
    Billets dans le blog
    4
    Par défaut
    Bonjour,
    Le paramétrage indiqué s'applique si tu as du SAS base sur ton poste et que tu travailles avec. Si tu travailles sur un compute distant, c'est sur ce serveur que le paramétrage doit être fait.
    En utilisant le fastload, la méthode d'accès à TD n'est plus la même, ce qui explique le comportement différent.
    Y a t-il une possibilité de remplacer "create table" par "create or replace table"?

  3. #3
    Membre actif
    Homme Profil pro
    Consultant en Business Intelligence
    Inscrit en
    Juillet 2013
    Messages
    37
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 44
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Consultant en Business Intelligence
    Secteur : Finance

    Informations forums :
    Inscription : Juillet 2013
    Messages : 37
    Points : 206
    Points
    206
    Par défaut TERADATA et SPDS
    Bonjour Stackware
    le problème est résolu et pour ceux que cela intéresse, c'est l'installation de TERADATA PARALLEL TRANSPORTER qui manquait à installer pour les traitement en batch,
    C'est du coté server que cela est fait.


    J'ai une question sur le SPDS si vous me le permettez,
    dans ma nouvelle mission, je travaille en client server (sas guide, SPDS).
    J'ai une question, quant j'essaye de lire une table qui contient 170 colonne et 55 millions de lignes cela prend environ 15 minutes
    est ce c'est un temps acceptable?, j'ai aussi essayé le passthrough vers SPDS mais j'ai remarqué que je n'obtiens pas de meilleurs performances.
    Est ce qu'il existe une option ou astuce pour obtenir de meilleurs performance?
    Merci

  4. #4
    Modérateur

    Homme Profil pro
    Consultant en Business Intelligence
    Inscrit en
    Février 2011
    Messages
    1 625
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Consultant en Business Intelligence
    Secteur : Conseil

    Informations forums :
    Inscription : Février 2011
    Messages : 1 625
    Points : 3 403
    Points
    3 403
    Par défaut
    Salut,
    Index + Partitionnement et peut être compression ?

  5. #5
    Membre actif
    Homme Profil pro
    Consultant en Business Intelligence
    Inscrit en
    Juillet 2013
    Messages
    37
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 44
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Consultant en Business Intelligence
    Secteur : Finance

    Informations forums :
    Inscription : Juillet 2013
    Messages : 37
    Points : 206
    Points
    206
    Par défaut SAS SPDS
    Bonjour Sam,
    En fait, (index et compress) ok, pour la partition,
    Je mets l'option partsize =1028 ou 4000 mais je ne vois pas de différence, en plus de cela moi je ne sais pas si du niveau server, ils ont crée les fichiers de partitionnement,
    moi ce que je veux savoir, est ce que du côté Client, je peux optimiser quelques chose?
    Merci d'avance.

  6. #6
    Membre éprouvé
    Avatar de Stackware
    Homme Profil pro
    ArchiDuc de la Sasserie
    Inscrit en
    Juillet 2013
    Messages
    439
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : ArchiDuc de la Sasserie
    Secteur : Conseil

    Informations forums :
    Inscription : Juillet 2013
    Messages : 439
    Points : 1 017
    Points
    1 017
    Billets dans le blog
    4
    Par défaut
    Salut,
    Je pense qu'après avoir lu ce white paper, tu seras incollable sur le sujet

  7. #7
    Membre actif
    Homme Profil pro
    Consultant en Business Intelligence
    Inscrit en
    Juillet 2013
    Messages
    37
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 44
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Consultant en Business Intelligence
    Secteur : Finance

    Informations forums :
    Inscription : Juillet 2013
    Messages : 37
    Points : 206
    Points
    206
    Par défaut
    Merci beaucoup,

+ Répondre à la discussion
Cette discussion est résolue.

Discussions similaires

  1. Réponses: 4
    Dernier message: 06/02/2020, 14h52
  2. Changer le nom d'une table sur SQL server avec une requete
    Par Oluha dans le forum MS SQL Server
    Réponses: 6
    Dernier message: 02/02/2014, 00h35
  3. [Conception] Enregistrement d'une table dans un txt avec mise en page
    Par sephirothmana dans le forum PHP & Base de données
    Réponses: 3
    Dernier message: 28/06/2006, 14h55
  4. creation d'une table dans MS Access avec jdbc
    Par dalio2579 dans le forum Langage
    Réponses: 1
    Dernier message: 01/06/2006, 15h55
  5. Ajouter un enregitrement a une table vide en VBA avec access
    Par Mateache dans le forum VBA Access
    Réponses: 4
    Dernier message: 03/01/2006, 16h36

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo