Select from other db

**faamugol** · 27/07/2006, 16h36

Je voudrais mettre des donées qui sont comme suit/

view1 de la base db1
view1 de la base db2
view1 de la base db2

le resulta dans une table(Tb_Result) qui se trouve sur la db4

Bien les views et la table ont la meme structure excepté que la table a un identifiant pour indiquer de quel vieuw il est venu le record

Aide

**rudib** · 27/07/2006, 16h54

Salut,

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
 
INSERT INTO db4.dbo.Tb_Result (source, mes_colonnes)
SELECT 1 as source, mes_colonnes FROM db1.dbo.view1
UNION ALL
SELECT 2 as source, mes_colonnes FROM db2.dbo.view1
...

**faamugol** · 28/07/2006, 07h29

Merci Rudib pour ta reponse,

Mais j'ai un petit souci, la table T_Result a une colone de plus que les vieuws, c'est à dire une colonne qui sert à dire, tel record viens de view 1, donc j'insere v1, pour vieuw 2, j'insere v2, etc..

Alors ya il il une façon de proceder, merci d'avance

**rudib** · 28/07/2006, 08h39

Salut,

En lisant la requête que j'ai posée ci-dessus, tu verras que cela répond à ta question.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

SELECT 1 as source

ou

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

SELECT 'v1' as source

que tu ajoutes dans le SELECT des colonnes de ta vue.

**faamugol** · 28/07/2006, 09h04

Merci pour ta reponse

Et si alors les vues avaient exactement la meme struture que la table T_Result

Comment seraient la requete, ceci est correct ?

INSERT INTO db4.dbo.Tb_Result (source, mes_colonnes)
SELECT v1 as source FROM db1.dbo.view1
UNION ALL
SELECT v2 as sourceFROM db2.dbo.view2

Exccuse moi, je suis un peu nouveau dans tout ca

Merci d'avance

**rudib** · 28/07/2006, 09h17

Salut,

Merci d'utiliser la balise [CODE].

La syntaxe est :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
 
INSERT INTO db4.dbo.Tb_Result (colonne1, colonne2, colonne3)
SELECT colonne1, colonne2, colonne3 FROM db1.dbo.view1
UNION ALL
SELECT colonne1, colonne2, colonne3 FROM db2.dbo.view2

colonne1, colonne2, colonne3 sont des colonnes de tes vues. Dans cette syntaxe, tu indique explicitement les colonnes à insérer dans la table.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

SELECT 'v1' as source

veut dire : SELECT 'une constante de type chaîne de caractères' AS alias
Alias étant l'alias de colonne.
Exeécute simplement

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

SELECT 'v1' as source

dans Query Analyzer pour voir le résultat.
Ca te permet de mélanger dans le SELECT sur ta vue, des valeurs de colonnes et une constante indiquant la source des données.

**faamugol** · 28/07/2006, 16h05

Merci Rudib etb les autres pour votre,

Ca marche bien sauft que les vieuw contiennent chacun 400.000 records et plus et au tottal j'ai 14 vieuws. Ce qui fait touner sql server pendant un temps et il donne le message d'erreur

Server time out

Cela est dû au nombre important de records.

y a il une methose pour outrepasser cette situtaion.

Merci pour vos idées.

**rudib** · 28/07/2006, 16h11

Comment lances-tu ton code ? Quelle est ta méthode d'accès aux données ?
Tu as normalement un paramètre ou une propriété QueryTimeout sur laquelle tu peux jouer.

Mais si cela prend beaucoup de temps, il faut peut-être changer ta stratégie, notamment pour éviter des attentes trop longues de verrous s'il y a beaucoup de concurrence (utilisateurs simultanés) sur ton serveur.

**faamugol** · 29/07/2006, 15h40

Merci pour la réponse,

J'accede les données à partir de la db4 je lance une requete qui recupere
les données des vieuws et puis je mets tout dans la table T-Result

Il n' ya pas de concurrence d'accès je fais tout en local, au fait je fait des analyses pour des clients et je leur communique les reulmtats.

Tous les paramettres sont mis à zero(0), ce qui signifie que le temps est illimité. Mais comme c'est des données enormes, l'attente devient trop long et il s'arrete en me disant server time out.

J'ai lu quelque chose sur les packages mais c'est pas trop cliar pour moi , je n'ai pas pu m'en servir.

Et je compte bien passer par apres par ASP pour visualiser les resulmtats.

Merci d'avance pour vos idées, afin de ma debloquer.

**rudib** · 29/07/2006, 15h50

Envoyé par faamugol

Merci pour la réponse,

Tous les paramettres sont mis à zero(0), ce qui signifie que le temps est illimité. Mais comme c'est des données enormes, l'attente devient trop long et il s'arrete en me disant server time out.

Il n'y a par défaut pas de timeout du côté du serveur, ta requête peut tourner trois semaines, SQL server ne t'arrêtera pas, donc cela vient nécessairement de ta méthode d'accès aux données, c'est pour ça que je te l'ai demandée. Tu ne m'as pas vraiment répondu mais je suppose que tu utilises Query Analyzer ? Donc regarde les options de QA dans l'onglet Connexion.

Ceci dit, tu peux aussi songer à insérer par blocs, en bricolant celà dans un batch ou une procédure stockée, par exemple en segmentant par une colonne date.

**faamugol** · 29/07/2006, 16h07

Merci rudib encore une fois pour ton temps et ta reponse rapide.
Effectivemennt, j'utilise Query Analyzer.

Mais je n'ai pas bien compris, tu dis:
Donc regarde les options de QA dans l'onglet Connexion.

Et tu poursuit:

Ceci dit, tu peux aussi songer à insérer par blocs, en bricolant celà dans un batch ou une procédure stockée, par exemple en segmentant par une colonne date.Il me semble que ca va etre la solution, mais est ce possible de mdonner plus de details sur:" en segmentant par une colonne date" .

Comment on le fait en pratique ??

Je precise bien que je dois utiliser ASP poour visualiser les données sur un navigateur (IE).

Merc d'avance pour vos idées.

**rudib** · 30/07/2006, 09h04

Salut,

Dans Query Analyser, Menu Tools -> Options (ou CTRL+SHIFT+O), tu as un onglet Connections, dans cet onglet une valeur Query Time-out (seconds) qui doit être à zéro.

Aussi, pour optimiser, supprime tous les index de ta table destination et recrée-les après insertion, et disable les triggers éventuels.

L'insertion par blocs est utile en production. Si tu lances la requête chez toi sur un serveur où il n'y a pas d'accès concurrentiels, tu peux peut-être t'en passer.

L'idée est de trouver un moyen de partitionner logiquement tes données. Souvent on dispose d'une colonne de type datetime qui est un bon support de partitionnement, ou ta colonne autoincrémentale. Un exemple avec une colonne identity (macle) :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
 
DECLARE @rowcount int
 
SET @rowcount = 1
 
SET ROWCOUNT 10000
 
WHILE @rowcount > 0 BEGIN
 
	INSERT INTO db4.dbo.Tb_Result (macle, 1, colonne1, colonne2, colonne3)
	SELECT macle, source, colonne1, colonne2, colonne3 FROM db1.dbo.view1
	WHERE macle > (SELECT MAX(macle) FROM db4.dbo.Tb_Result WHERE source = 1)
 
	SET @rowcount = @@ROWCOUNT
 
END -- WHILE
 
SET ROWCOUNT 0

**faamugol** · 31/07/2006, 08h54

Merci Rudib,

Comme tu es decidé de m'aider,

Alors j'ai une colonne datetime, comment dois je proceder ?

J'avoue que je ne comprends pas le role de macle, vue que moi je fais tout simplement

INSERT INTO db4.dbo.Tb_Result
SELECT * FROM db1.dbo.v1
union all
SELECT * FROM db2.dbo.v2
union all
SELECT * FROM db3.dbo.v3

Ca a bien l'air de marcher sauf pour le server time out

Alors comment dois je faire car le views contiennt bien un champs datetime.

Merci d'avance pour tes effforts

**rudib** · 31/07/2006, 10h43

Salut,

t'aider d'accord, peut-être pas faire le travail à ta place

Premièrement : as-tu regardé les options de Query Analyser ? Comme je j'ai dit, il n'y a pas de timeout du côté du serveur, donc ça vient du client.

Je pensais à une clé parce qu'il y en a souvent... Y a-t-il des colonnes numériques autoincrémentales dans les tables sous-jacentes à tes vues ? Si oui, tu peux te baser sur le code déjà posté. Il est plus pratique parce que tu contournes plus facilement les problèmes de doublon en faisant des BETWEEN pour les dates.

**faamugol** · 31/07/2006, 11h59

Merci pour ta reponse,

Je n'ai pas de colonne autoincrement et j'ai verifié les options tout est à zero
Donc le problem ne vient pas de là.

Je sais que je dois faire les insertions en etappes car les tables sont grosses.

Je veux peut etre savoir en me basant sur la date comment faire pour excecuter la requete en etappes.

Merci d'avance

**rudib** · 31/07/2006, 12h30

voici en exemple (et non testé, à vérifier que tout se passe bien), de code pour partitionner l'insert par date (ici par semaine) :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
 
DECLARE @rowcount int, @data datetime
 
SET @rowcount = 1
SELECT @date = MIN(madate) FROM db1.dbo.view1
SET @date = SELECT CAST(FLOOR(CAST(@date AS FLOAT)) AS DATETIME)
 
WHILE @rowcount > 0 BEGIN
 
	INSERT INTO db4.dbo.Tb_Result (macle, 1, colonne1, colonne2, colonne3)
	SELECT macle, source, colonne1, colonne2, colonne3 FROM db1.dbo.view1
	WHERE madate BETWEEN @date AND DATEADD(millisecond, 604799996, @date)
	-- 604799996 = 6 jours + 23:59:59:997
 
	SET @date = DATEADD(day, 7, @date)
	SET @rowcount = @@ROWCOUNT
 
END -- WHILE

**faamugol** · 31/07/2006, 13h06

Merci Rudib et tous ceux qui ont pris le temps de lire mes posts

Merci Rudib encore une fois parce que ca marche tres bien..
J'ai vriament bien appris de toi..

J'attends que lise avant de mettre [Resolu]

Select from other db

MS SQL Server

Discussions similaires

Partager

Partager