Discussion :

[MichaelREMY]

bonjour,

je pose la question le plus simple possible et naïvement pour laisser à chacun le souhait d'y répondre le plus largement possible , donc comment envoyer des données dans le bigdata ?

Admettons que j'ai un ERP, Opensource ou propriétaire qui contient une masse de données pouvant être utiles au monde, aux collectivités, et pourquoi pas à des investisseurs-statisticiens...soyons fous!

Je souhaite envoyer mes données issues de l'ERP dans le bigdata, comment je fais ?
Par exemple, mon ERP a des infos sur les besoins sociaux de personnes, je souhaite en faire part au big data de la france https://www.data.gouv.fr/fr/ dans l'espoir que cela aide.
Mon ERP est développé opensource, en python par exemple...

des idées en vrac vous viennent-elles ?

[bordi]

Pour moi, La question n'est pas comment, mais qu'est ce que vous voulez obtenir comme résultat et pour quel objectif , et si il n y a pas d'autres solutions qui
pourraient répondre au besoin. Le big data commence là ou toutes les autres solutions sont échec vis à vis de la volumétrie
des données à traiter, de la performance attendue, de la richesse des données, en clair les 3 V, Volume, Vitesse, Variété.

Quand aux données, elles peuvent venir sous n'importe quel forme, texte, pdf, import/export db, flux,etc.. exemple, hadoop est un système
à part entière avec ses langages, ses bases de données, son machine learning, ses logiciels, sa philosophie sur les systèmes distribuées.

si le volume des données sont en dessous du terrabyte, ca n'a pas d'intérêt, par exemple hadoop fonctionne en batching (hive,pig,mapreduce,etc..), même si
il y a des solutions temps reel, hbase,impala,storm, spark,etc, si le volume des données que doivent traiter ces modules le permet.

Quand on a recours au bigdata, c'est coûteux en temps et en ressources pour arriver à mettre en place une plateforme bigdata qui fonctionne.,
c'est un système complexe et long à maîtriser. Il faut que le jeu en vaille la chandelle