[2K8] Large système, multi-source et alimentation de cubes

**Jinroh77** · 11/08/2009, 14h57

Bonjour à tous,
je vais être amené à travailler sur des systèmes,à très forte volumétrie pour lesquels je vais, entre autres, concevoir et alimenter des cubes.
Le volume étant tel que les données ne seront pas dupliquées depuis les systèmes sources mais directement utilisées pour alimenter les cubes.
Il y a donc un fort travail d'homogénéisation des sources (multi-systèmes) à prévoir.
Pour ne pas alimenter systématiquement l'ensemble d'un fait ou d'une dimension et pour optimiser les alimentation, n'existe-t-il pas un moyen pour fournir les données à Annalysis Service depuis SSIS plutôt que lui aille se fournir sur les bases. Utiliser l'AMO via du code pour alimenter le cube plutôt qu'il ne se process classiquement ?

Merci pour vos idées.

**FrancoisJehl** · 12/08/2009, 12h36

Depuis 2005 sous SSIS tu disposes de 2 destinations de DataFlow qui te permettent de faire ça
- Partition Processing http://msdn.microsoft.com/en-us/libr...SQL.90%29.aspx pour les Partitions/TdF/GdM
- Dimension Processing http://msdn.microsoft.com/en-us/libr...SQL.90%29.aspx pour les Dims
qui te permettent de charger ces objets sans disposer de DW relationnel (MS appellait ça à l'époque je crois "Elimination des DataMarts relationnels"

).

Sinon en code tu vas devoir passer par XMLA sauf erreur et ce genre de statement joyeux:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
<Process xmlns="http://schemas.microsoft.com/analysisservices/2003/engine">
  <Object>
    <DatabaseID>Adventure Works DW</DatabaseID>
    <CubeID>Adventure Works DW</CubeID>
    <MeasureGroupID>Fact Internet Sales</MeasureGroupID>
    <PartitionID>Internet_Sales_2004</PartitionID>
  </Object>
  <Type>ProcessAdd</Type>
  <Bindings>
    <Binding>
      <DatabaseID>Adventure Works DW</DatabaseID>
      <CubeID>Adventure Works DW</CubeID>
      <MeasureGroupID>Fact Internet Sales</MeasureGroupID>
      <PartitionID>Internet_Sales_2004</PartitionID>
      <Source xsi:type="QueryBinding">
        <DataSourceID>Adventure Works DW</DataSourceID>
        <QueryDefinition>SELECT * FROM [dbo].[FactInternetSales] WHERE OrderDateKey &gt; '1280'</QueryDefinition>
      </Source>
    </Binding>
  </Bindings>
</Process>

François JEHL
Consultant/Formateur
MCITP/MCT BI & Database Development
http://fjehl.blogspot.com

**Jinroh77** · 12/08/2009, 14h20

Merci pour ces ressources.
je vais aller jeter un oeil dessus et tester ce que ça donne.

Tu as déjà testé ce genre de chose ?
En terme de performance, il n'y a pas trop de surprises à prévoir ?

Si l'on considère qu'un serveur est dédié au SSIS et l'un pour le SSAS, les transformations éventuelles de données utiliseront les ressources du premier avec utilisation du plus de mémoire possible pour travailler les données dans les buffers et des core pour organiser les traitement.
Ensuite c'est le serveur SSAS qui sera utilisé au moment de l'insertion dans les dimension. Il y aura une forte lecture sur le premier serveur en même temps que l'écriture sur le second.

**FrancoisJehl** · 12/08/2009, 14h40

Je ne vais pas te mentir, je ne l'ai jamais utilisé en projet donc aucune expérience sur la durée et de grosses volumétries. Je ne sais même pas si des références intéressantes sont documentées. Je l'ai testé en POC qui n'a jamais déroulé une vraie implémentation derrière.

Pour ce qui est du comportement ton diagnostic me semble bon. Ce qui m'a ceci dit toujours géné dans ce truc c'est la manière de debugger une insertion pourrie sans les données du DW. Mon process pète je fais quoi?

Je demanderai à des collègues des refs si j'en trouve je te les envoie

François JEHL
Consultant/Formateur
MCITP/MCT BI & Database Development
http://fjehl.blogspot.com

**Jinroh77** · 12/08/2009, 14h47

Merci pour ces docs.

La problématique est qu'ils ne veulent pas dupliquer les données, et donc créer un DataWarehouse approprié. On ira donc directement prendre les données sur les différents systèmes sources, les traiter en direct via SSIS puis les envoyer aux cubes.
Une des premières étapes sera de prévoir et créer des outils de Monitoring de tout ce joli process... Il va falloir capter les bon messages d'erreur et permettre de relancer en cas de besoin.

**FrancoisJehl** · 12/08/2009, 14h52

Ca a l'air VRAIMENT sympa techniquement. Hésite pas à préciser - même en MP - quand ça va avancer ça m'intéresse vraiment.

François JEHL
Consultant/Formateur
MCITP/MCT BI & Database Development
http://fjehl.blogspot.com

**Jinroh77** · 12/08/2009, 15h24

Oui, le projet à l'air bien sympa. Je ne manquerai pas de tenir au courant des avancement et découvertes.
Pour le moment je commence sur le monitoring en temps réel de cette alimentation et d'un package en général.
Je vais jeter un œil du côté du LogProvider qui semble retourner pas mal d'infos.

**Alexis.Molteni** · 18/08/2009, 12h30

Bonjour

Pas simple curiosité tu entends quoi par forte volumétrie ?
Et tu disposes de combien de temps pour processer ton (tes) cube(s) ?
Merci.

Alexis Molteni

**Jinroh77** · 18/08/2009, 12h37

On devrait avoir une plage de 2h pour traiter 7 ou 8 sources différentes que je ne connais pas encore.
Celles-ci sont sur différents SGBD, à distance et à travers des vues qui nous serons fournis.
Des dernières informations que j'ai, certains systèmes peuvent génèrer 30Million de lignes jours.
Pour chacun des cubes (à définir encore), il faudra conserver les 20 derniers jours d'historique et 1 date par mois pour les 12 derniers mois.

**Alexis.Molteni** · 18/08/2009, 13h15

Deux heures, ce n’est pas beaucoup ...
D'autant que n'ayant pas de sources relationnelles pour conserver les données tu dois penser au backup de l'UDM et à la charge que cela induis. Partitionne correctement tes cubes et indexes bien (si possible) les bases de données source. J'ai un client chez qui j'ai des UDM très volumineux (400GB et cible à 800Gb) et ce type d'implementation est loin d'être un détail.
Tu dois etre attentif à tout et particulierement au design de tes dimensions et à la l'architecture serveurs.

Alexis Molteni

**Jinroh77** · 18/08/2009, 13h39

La plage est très courte, on essayera de grignoter un peu mais nous sommes très dépendant des sources sur lesquels nous n'avons d'ailleurs pas la main. Pour les indexes c'est donc raté. Il nous faudra se tourner vers les différentes équipes après avoir fait nos premiers tests.

C'est donc côté AS que l'optimisation devra être optimimum. C'est vrai que côté backup il faudra penser, mais je pense déclencher cela pas longtemps avant l'intégration, pendant que le serveur est inutilisé. Par contre le backup du jour ne se fait alors que le soir.
Pour ajouter un petit peu, c'est également sur le SSIS qui va alimenter les dimensions et partition des cubes qu'il va falloir être bien optimisé.
c'est surtout lui qui va tourner pendant ces 2h.

**Alexis.Molteni** · 18/08/2009, 15h15

Lors des alimentations, il y a des évolutions de données pour les faits et les dimensions ?
Si c'est le cas cela ne va pas simplifier la gestion des process (à cause des dimensions). il est important de connaitre la nature de ces évolutions (Ajouts, suppressions, évolutions).

Alexis Molteni

**Jinroh77** · 18/08/2009, 15h23

S'il y a des mises à jour de données à prévoir, je ne sais pas encore comment détecter le delta mais à première vue, ce ne sera que de l'ajout de données.
Ceux qui seront sujet à évolution passeront par une insertion full des données mais dans ce cas là, les volumes risquent d'exploser.

Le problème est que l'on et encore bien dans le flou en ce moment, les vues ne devraient pas être disponibles avant 2 mois

**Alexis.Molteni** · 18/08/2009, 15h34

C'est la suppression de membre qui sera problematique.

**Jinroh77** · 20/08/2009, 17h18

Je ne sais pas encore comment je traiterai les dimensions. Si je agrde tout, elles risquent de devenir trop volumineuses, à ce moment, la question de la suppression se posera. Peut-être en vidant entièrement tout les mois par exemple...

Sinon, premier problème rencontré... La tâche DimensionProcessing de SSIS ne permet pas de traiter les dimensions contenant des relations parent-enfant

**Alexis.Molteni** · 20/08/2009, 17h44

Une commande XMLA par batch peut te permettre de passer cette étape.

Alexis Molteni

**Jinroh77** · 20/08/2009, 17h49

Oui, c'est ce que je suis en train d'essayer, je cherche à le générer pour l'adapter ensuite.

**Jinroh77** · 20/08/2009, 18h43

Je débute en XMLA et j'ai un peu de mal...
Je ne trouve que la possibilité de lui envoyer des données que je lui spécifie exactement, membre par membre

Je cherche plutôt à lui donner nu script SQL en source

Voila ce que j'ai pour le moment :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
<!-- from http://artisconsulting.com/blog/GregGalloway -->
<Execute xmlns="urn:schemas-microsoft-com:xml-analysis">
  <Command>
    <Process xmlns="http://schemas.microsoft.com/analysisservices/2003/engine" xmlns:ddl2="http://schemas.microsoft.com/analysisservices/2003/engine/2" xmlns:ddl2_2="http://schemas.microsoft.com/analysisservices/2003/engine/2/2" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:soap="http://schemas.xmlsoap.org/soap/envelope/">
      <Type>ProcessFull</Type>
      <Object xmlns="http://schemas.microsoft.com/analysisservices/2003/engine">
        <DatabaseID>BaseCube</DatabaseID>
        <DimensionID>Scenario</DimensionID>
      </Object>
      <Bindings xmlns="http://schemas.microsoft.com/analysisservices/2003/engine" xmlns:ddl2="http://schemas.microsoft.com/analysisservices/2003/engine/2" xmlns:ddl2_2="http://schemas.microsoft.com/analysisservices/2003/engine/2/2" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance">
        <Binding xmlns="http://schemas.microsoft.com/analysisservices/2003/engine" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance">
          <DatabaseID>BaseCube</DatabaseID>
          <DimensionID>Scenario</DimensionID>
          <AttributeID>Scenario Key</AttributeID>
          <KeyColumns>
            <KeyColumn>
              <Source xsi:type="ColumnBinding">
                <TableID/>
                <ColumnID>ScenarioKey</ColumnID>
              </Source>
            </KeyColumn>
          </KeyColumns>
          <NameColumn>
            <Source xsi:type="ColumnBinding">
              <TableID/>
              <ColumnID>ScenarioName</ColumnID>
            </Source>
          </NameColumn>
        </Binding>
      </Bindings>
      <DataSource xsi:type="PushedDataSource">
        <root Parameter="InputRowset"/>
        <EndOfData Parameter="EndOfInputRowset"/>
      </DataSource>
    </Process>
  </Command>
  <Properties>
  </Properties>
  <Parameters xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:xsd="http://www.w3.org/2001/XMLSchema" xmlns="urn:schemas-microsoft-com:xml-analysis">
    <Parameter>
      <Name>EndOfInputRowset</Name>
      <Value xsi:type="xsd:boolean">true</Value>
    </Parameter>
    <Parameter>
      <Name>InputRowset</Name>
      <Value xmlns="urn:schemas-microsoft-com:xml-analysis:rowset" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:xsd="http://www.w3.org/2001/XMLSchema">
        <xsd:schema targetNamespace="urn:schemas-microsoft-com:xml-analysis:rowset" xmlns:sql="urn:schemas-microsoft-com:xml-sql" elementFormDefault="qualified">
          <xsd:element name="root">
            <xsd:complexType>
              <xsd:sequence minOccurs="0" maxOccurs="unbounded">
                <xsd:element name="row" type="row" />
              </xsd:sequence>
            </xsd:complexType>
          </xsd:element>
          <xsd:complexType name="row">
            <xsd:sequence>
              <xsd:element sql:field="ScenarioKey" name="ScenarioKey" type="xsd:unsignedInt" minOccurs="0" />
              <xsd:element sql:field="ScenarioName" name="ScenarioName" type="xsd:string" minOccurs="0" />
            </xsd:sequence>
          </xsd:complexType>
        </xsd:schema>
        <row>
          <ScenarioKey>1</ScenarioKey>
          <ScenarioName>Name1</ScenarioName>
        </row>
        <row>
          <ScenarioKey>2</ScenarioKey>
          <ScenarioName>Name2</ScenarioName>
        </row>
      </Value>
    </Parameter>
  </Parameters>
</Execute>

Si je pouvais lui donner à manger autre chose que des rows décrits de la sorte, ça m'arrangerait

**Jinroh77** · 24/08/2009, 12h33

J'ai finalement trouvé comment alimenter une dimension ou une partition en PushMode et en spécifiant les données. Reste maintenant à créer les partition mais je crée un nouveau topic pour plus de clarté.

EDIT : Voila, ça se passe ici.

[2K8] Large système, multi-source et alimentation de cubes

SSAS

Discussions similaires

Partager

Partager