Viabilité projet avec datasnap

**Barbibulle** · 18/03/2014, 14h41

Bonjour,

Je démarre un nouveau projet. Celui-ci sera réalisé avec Delphi (Par facilité, car c'est un langage que je connais).
Jusqu'à présent mes projets étaient du client/serveur Delphi 7/Firebird, je n'ai aucune expérience dans le 3tiers.

Après quelques recherches et lectures, la réponse à mon besoin s'appellerait Datasnap.

Mon projet sera constitué d'une application VCL windows qui devra se connecter sur un serveur pour lire et enregistrer les données. Plus tard il y aura des applications mobiles (Andoid/IOS).

Le serveur sera accessible via internet. Le projet étant un genre de SAAS (mais avec un client de type exe windows / Android/IOS)

Je n'ai aucune expérience avec datasnap, sur le papier, cela à l'air bien, cependant je trouve étrange le peu de littérature sur le sujet les tutos montrent comment faire des choses simples mais n'abordent pas l'aspect accès simultanés, comment dimensionner son serveur, comment gérer la montée en charge etc...

Peut on sécuriser les échanges datasnap ?
J'imagine qu'il faut un serveur windows, faut il une version particulière ?
Doit-on soit même gérer la répartition des charges ?

J'aimerai avoir un retour d'expérience sur ce genre d'architecture (type de projet l'utilisant, nombre de connexion sur le serveur (et type de serveur))

Delphi 7 intègre datasnap, mais j'imagine que ça à du évoluer depuis le temps...

Quelle est la démarche à suivre pour ne pas se planter ...

**Papy214** · 19/03/2014, 11h09

Même si je suis persuadé que tu suis déjà ça, peut-être que Thierry a donné des infos dans le devdujeudi:

http://www.ledevdujeudi.com/le-dev-d...ode-2-matinee/

**Barbibulle** · 21/03/2014, 09h19

Merci Papy214 pour le lien, je ne les avais pas visionnés, mais hélas, on s’arrête à la mise en œuvre, à travers de petits exemples.

C'est parfait pour débuter (et j'y ai appris des choses) mais cela ne répond pas à mes interrogations.

La tenu en charge, comment choisir son serveur (les caractéristiques importantes qui détermineront le nombre de connexion).

Comment gérer la montée en charge ? (est-ce compatible avec un répartiteur de trafic comme : http://www.ovh.com/fr/serveurs_dedie..._balancing.xml )

Plus terre à terre, les tutos et exemples que j'ai pu lire n'abordent jamais la problématique des accès concurrents, que doit'on savoir, à quoi faut'il faire attention ?

**ShaiLeTroll** · 21/03/2014, 10h02

Mon ancien responsable a migré 4 serveurs DCOM en les fusionnant dans un seul serveur DataSnap

C'est un système assez riche gérant du matériel
Pour le rythme lié au matériel, cela peut monter à 20 000 events principaux par jour pouvant entrainés 100 000 events par jour
Ces 20 000 events jour sont regroupés en 4 lots, un le matin d'un heure, deux le midi, un le soir, durant la journée c'est calme et pendant quelques heures cela peut être très instance
Chaque event ou commande va générer sont lot de SQL, facilement 10 et peut-être plus de 100 si l'on considère les clients, et plus il y a d'options, plus cela entraine de SQL

A savoir que le serveur DB et DCOM (futur DataSnap) sont souvent confondus sur le même serveur physique
Un serveur classique pour entreprise suffisait emplement, comme nos programmes étaient 32bit cela tournait mieux sur 2008R1
Donc faut imaginer que ce programme fonctionnait déjà à ce rythme sous Window 2003 avec de machines bien mien puissante que celle d'aujourd'hui !

En Delphi 5, j'ai bossé brièvement sur un autre projet supportant 800 clients en simultané sur un Server Web IIS via un module COM+
Le programme équipé de FastMM supportait mieux les threads,

Pense qu'il y a une limite de 2000 socket sur Windows, on trouve cela souvent sur le forum, et j'évoque cela pour Windows98 et NT4\2K, faut voir ce qui existe maintenant avec Server2012

D'ailleurs la migration sous DataSnap était lié à la volonté de supporter 2008R2 car le DCOM 32bits posait problème sur un serveur 64Bits (un peu comme si chaque serveur était dans un env séparé, je n'ai pas eu l'opportunité de m'occuper de cela)

Ces 20 000 étant diffusés systématiquement à deux autres serveurs et à tous les clients abonnés :
- 20 postes "monitoring simple"
- quelques postes "supervision complète"
parmi les deux serveurs,

l'un deux s'occupent de dispatcher au postes client selon des règles de notifications et cela génère d'autres events (et l'on arrive au 100 000)
Cela change l'affichage de 20 postes de monitoring léger et pour les clients plus aisés aussi vers quelques client des supervision du système
l'autre serveur, lui va lancer des scripts pouvant générer encore d'autres events ou même des commandes matérielles
comme commuter des relais electronique, moteur, caméra... cela pouvait ajouter encore son lot d'event qui serait envoyé à tous les postes

L'un des derniers tavail fut de changer le système de notification de 20 postes clients à un nombre illimité dans la version DCOM
c'était surtout un travail sur la structure relationnelle de la DB au lieu de 20 colonnes dans une série de table,
on l'a plafonné à 50 dans un premier temps que certains codes reste à base de tableau (en c++Builder) et ne change pas trop !
Pour ma part, j'ai utilisé soit vector<> ou map<> dans d'autres parties en prévision de l'augmentation de la limite sans devoir tout recoder

J'ai aidé mon ancien responsable à ajouter mon code dans sa version DataSnap dont je n'ai pas eu la chance de toucher (en gros le boss se gardait les dev fun pour nous filer les trucs qui ne l'intéressait pas)

Depuis, je ne m'occupe plus du projet et je n'ai pas de retour, je n'ai pas pu voir si cela tenait en production

J'ai pour ma part simuler, des journées en quelques heures en envoyant un message par seconde pour tester justement la robustesse des programmes
Dans ce cas, je testais le générateur d'events servant de proxy à du matériel fourni par un tiers,
le programme qui recevait les events puis les dispatchait ne pouvait pas aller aussi vite que le simulateur (d'où un message seconde, si je mettais moins cela accumulait des messages dans la file d'attente)

**Barbibulle** · 21/03/2014, 11h55

Merci ShaiLeTroll pour ce retour d'expérience.

J'imagine que ce projet était en réseau local ?
As tu une idée des caractéristiques du serveur ?

**ShaiLeTroll** · 21/03/2014, 14h19

Oui réseau local d'entreprise
La taille du serveur était selon le client, comme je le disais cela fonctionnait très bien sur des machines anciennes genre PentiumIV sous Win2003
Donc au mieux 4Go de RAM, au mieux 1.33ghz, DD SCSI 80Go RAID 5, ...

Je n'avais pas ce genre de retour, je m'occupais de la vidéo surveillance, le serveur ne gérant que des commandes, peu de puissance était nécessaire puisque pas de traitement d'image sur le serveur
Très différent des postes utilisateurs qui eux affichaient le flux vidéo, et la décompression MPEG4 de 16 voir 32 flux en SD, ça consommait notablement !

Pour te dire, le programme au bureau, puisqu'on était équipé de notre propre système était sous un Win2000 avec un PentiumIII !
2 postes client peut souvent connecté et environ une petite moyenne de 100 events principaux par jour et presque aucune option !
Ce serveur était aussi le serveur de domaine, le serveur DB ...

Le changement DCOM vers DataSnap n'était rien par rapport à la consommation DB !

As-tu déjà une idée en tête pour t'inquiéter de la taille de ton serveur ?
Fais-tu un programme de test, un serveur, un client, et tu lances le client plusieurs fois sur le même (et tu mets plusieurs postes)
entre le client et le serveur tu fais un ping pong permanent pour avoir un flux continue de message

Rien ne vaut ses propres tests surtout si personne ne fourni de retour !

**Barbibulle** · 21/03/2014, 14h48

Mon projet c'est de louer un serveur dans un datacenter. Ce serveur hébergerait la partie serveur Datasnap et la base de données.

Ce serveur serait utilisé par une application delphi pour enregistrer des données saisie par nos clients.

Dans les 2 ans on vise dans les 250 applications se connectant chaque jour puis à terme on souhaite avoir 500 applications connectées.

Peut-être me faudra t il plusieurs serveurs. Je suis bien conscient qu'il y a pas mal de paramètres qui entre en ligne de compte (notamment ce que va réaliser cette partie serveur).

Mais déjà ta réponse me donne une idée des possibilités de datasnap.

**Barbibulle** · 28/10/2014, 11h30

Difficile de trouver du concret. Les tutos, les "promos" pro datasnap, on en trouve mais les retours d'expériences des exemples d'implémentations, c'est plus dur...

Je suis tombé sur ce blog qui compare différent framework et ce n'est pas flatteur pour datasnap

http://robertocschneiders.wordpress....ability-tests/

Il y a deux parties, la première on se dit qu'il essaye de comparer des programmes développés pas des spécialistes à un serveur datasnap brut de démo (sans optimisisation).

La seconde partie il corrige le tir, implémentes des optimisations etc, mais les résultats ne changent pas pour autant (mis à part la consommation en mémoire).

Alors oui ca date de XE3, et oui j'ai bien vu dans les nouveautés des différentes mises à jour de Delphi des optimisations concernant datasnap...

Mais bon 13 fois plus lent que les concurrents, ce ne sont pas des optimisations mais une refonte en profondeur de datasnap qu'il faudrait.

J'ai découvert grace à ce blog le framework mORMot pour Delphi qui est apparemment très rapide.

http://synopse.info/fossil/wiki/Synopse+OpenSource

Alors que penser de tout ça, Embarcadero a t'il amélioré Datasnap au point d'être plus de 10 fois plus rapide ?

Qui a essayé mORMot ? Ca m'a l'air plus long à implémenter que datasnap mais je me trompe peut être ?

**free07** · 28/10/2014, 13h48

Merci Barbibulle pour ce retour de tests trés interessant, je l'ai pour l'instant parcouru rapidement et les résultats sont effectivement très étonnant :

Au niveau performance, les quatres autres solutions ( Java, JS, .net et mORmot ) sont pratiquement équivalentes et Datasnap est complétement dans les choux...

Au niveau robustesse, même combat, seul Datasnap a lamentablement planté alors que les autres solutions s'en sortent honorablement.... bizarre, non ?

En tout cas, cela demande des analyses en profondeur et dès que j'ai le temps, je crois que je vais aussi faire des tests similaires ( j'ai du mal à croire à l'ensemble des tests de ce blog )

**free07** · 29/10/2014, 09h13

Bonjour,

Envoyé par Barbibulle

La seconde partie il corrige le tir, implémentes des optimisations etc, mais les résultats ne changent pas pour autant (mis à part la consommation en mémoire).

J'ai pris un peu plus de temps pour lire ce second test avec les optimisations, bin en fait, il ne fait qu'une optimisation sur toutes celles proposées : l'optimisation de la consommation mémoire ( excepté le fait d'utiliser isapi )
De ce que j'ai compris, on lui a conseillé de faire les optimisation suivantes :

1- Mettre 'Keep-Alive' à true, il a essayé de le faire mais il a rencontré un problème et apparement, il n'a pas cherché à le résoudre, il s'est résigné à remettre Keep-Alive à false ( pourtant c'est une modif très interessante à faire )

2- Utiliser un pool pour les threads : l'a t'il fait ? Apparement et d'aprés ce que j'ai lu, il semblerait que non et pourtant c'est aussi très important car les autres frameworks qu'il a testé utilisent le thread pool.

Envoyé par Barbibulle

Alors oui ca date de XE3, et oui j'ai bien vu dans les nouveautés des différentes mises à jour de Delphi des optimisations concernant datasnap...

J'ai retrouvé un test fait plus récent mais le problème est qu'il est écrit en portugais ? Alors impossible pour moi de voir les conditions des tests...

http://datasnapperformance.wordpress...formance-test/

j'ai retrouvé ce blog à partir de celui-ci ( de Schneiders ) :

https://robertocschneiders.wordpress.com/

Envoyé par Barbibulle

Mais bon 13 fois plus lent que les concurrents, ce ne sont pas des optimisations mais une refonte en profondeur de datasnap qu'il faudrait.

Mon impression me laisse à penser que Roberto Schneider n'a pas pris le temps d'optimiser les tests et de résoudre les problèmes qu'il a pu rencontrer ( on dirait qu'il n'avait aucune experience de Datasnap ), c'est fort dommage et je continue à penser que cela mérite d'autres essais ( peut être plus serieux ).

En tout cas, j'aimerais avoir l'avis d'autres personnes !

**Barbibulle** · 29/10/2014, 12h04

Bonjour,

Envoyé par free07

Mon impression me laisse à penser que Roberto Schneider n'a pas pris le temps d'optimiser les tests et de résoudre les problèmes qu'il a pu rencontrer ( on dirait qu'il n'avait aucune experience de Datasnap ), c'est fort dommage et je continue à penser que cela mérite d'autres essais ( peut être plus serieux ).

Oui c'est tout à fait ça, il a demandé à des spécialistes des autres frameworks de monter un banc de test et coté datasnap c'est lui qui l'a mit en place à partir de la démo "hello the world" (et il est débutant Datasnap) et n'a fait aucune optimisation.

Donc c'est vrai que de ce coté là les résultats sont biaisés. De plus "Hello the world" n'est pas une application très représentative d'une application réelle... Mais d'un autre coté elle est tellement "Basic" que ça ne devrait pas être si compliqué de l'optimiser.

Sa seconde partie (il essaye d'optimiser) mais pas vraiment de changements mis à part la mémoire.

Pour moi ces tests ne remettent pas en cause l’intérêt de DataSnap mais j'aurai bien aimé l'avis un spécialiste.

Que faut'il penser lors du développement du serveur DS, que prévoir pour la monté en charge, à quelle moment etc.

**SergioMaster** · 29/10/2014, 12h13

Envoyé par free07

J'ai retrouvé un test fait plus récent mais le problème est qu'il est écrit en portugais ? Alors impossible pour moi de voir les conditions des tests...

Sympa ce test , je ne lis pas le portugais aussi bien que je le voudrais (en fait c'est mon espagnol qui me sert) . En deux mots il en découle que les versions successives de XE améliorent le datasnap (utilisation mémoire et CPU) même si elle ne sont pas encore au niveau de Sparkle ou MMort .
Bon je n'ai pas tout lu encore , c'est juste une première lecture rapide (encore une lecture pour ce W.E.)

Envoyé par free07

Mon impression me laisse à penser que Roberto Schneider n'a pas pris le temps d'optimiser les tests et de résoudre les problèmes qu'il a pu rencontrer ( on dirait qu'il n'avait aucune experience de Datasnap ), c'est fort dommage et je continue à penser que cela mérite d'autres essais ( peut être plus serieux ).

ça cela parait évident , mais peut être a t-il aussi un parti pris (comme d'ailleurs les auteurs portugais) ?

**Barbibulle** · 29/10/2014, 12h50

Envoyé par SergioMaster

ça cela parait évident , mais peut être a t-il aussi un parti pris (comme d'ailleurs les auteurs portugais) ?

Je ne pense pas, il m'a l'air d'être un Delphiste, et comme beaucoup de Delphiste il nous est difficile de critiquer ou imaginer changer de langage :p

Il a testé mORMot qui est sous Delphi dons j'ai l'impression que ça volonté c'est de trouver une solution sous Delphi.

A moins qu'il ne soit parti pris mORMot.

Mais bon pour moi il n'y a pas que l'aspect performance qui est important, d'autant je ne ne développe pas d'application grand public avec des accès hyper concurrentiels. La facilité de mise en oeuvre, la pérennité de la technologie, sont ancienneté aussi oriente mes choix.

C'est pourquoi ces tests ne remette pas en cause mon choix, mais celà donne à réfléchir tout de même, à savoir comment optimiser datasnap.

**free07** · 29/10/2014, 13h30

Envoyé par SergioMaster

ça cela parait évident , mais peut être a t-il aussi un parti pris (comme d'ailleurs les auteurs portugais) ?

Envoyé par Barbibulle

Je ne pense pas, il m'a l'air d'être un Delphiste, et comme beaucoup de Delphiste il nous est difficile de critiquer ou imaginer changer de langage :p

Il a testé mORMot qui est sous Delphi dons j'ai l'impression que ça volonté c'est de trouver une solution sous Delphi.

A moins qu'il ne soit parti pris mORMot.

Mais bon pour moi il n'y a pas que l'aspect performance qui est important, d'autant je ne ne développe pas d'application grand public avec des accès hyper concurrentiels. La facilité de mise en oeuvre, la pérennité de la technologie, sont ancienneté aussi oriente mes choix.

C'est pourquoi ces tests ne remette pas en cause mon choix, mais celà donne à réfléchir tout de même, à savoir comment optimiser datasnap.

Oui, j'ai pensé aussi au parti pris des autres solutions libres en rapport à Datasnap ( pas par rapport à Delphi ) mais en même temps il sollicite quelques personnes d'Embarcadero ( David I and Marco Cantu ) pour répondre aux problèmes rencontrés lors de ses tests mais il ne fait pas l'effort d'appliquer les remarques qui ont été faites... c'est assez malheureux, même si c'est par manque de temps, il devrait être prudent mais ce n'est pas vraiment le cas... j'ai d'ailleurs vu qu'il faisait la pub des tests qu'il a fait sur plusieurs sites...

Enfin bon, tout cela décrédibilise les résultats de ses tests et c'est fort dommage, des tests publiés de datasnap, on a du mal à en trouver...
Lors de mes recherches, j'ai vu que sur le forum d'EDN, ils ont discuté des résultats des tests de Roberto Schneiders mais impossible de voir la page car la discussion date de 2012 ( je ne peux voir que les fils de discussion des deux dernières années... )

Je n'ai encore malheureusement jamais utilisé Datasnap mais cela m'interesse beaucoup, normalement, je devrais avoir un projet en 3 tiers, je porte beaucoup d'intérêt au serveur d'applications.

Et bien pour parler robustesse et performance, je ne sais pas si chercher à faire des milliers de requêtes en une seconde est un test réaliste, même pour des sites très populaires, est ce vraiment le cas ? Dans une seconde, il peut y avoir des dizaines de milliers de demande ?

Est ce qu'un site comme développez.net qui a un certain succès connait une telle charge ?

Il est vrai aussi que même si c'est en dehors de la réalité, cela permet d'aller aux limites des serveurs