Discussion :

[dorian67]

Bonjour,

Je dois trouver une solution pour transférer une base de données X dans une base Y tout en vérifiant les incohérences comme transformer Prs en Paris par exemple.

Cette base est utilisée pour le customer relation management system donc avec un call center. La base doit être corrigée et transférée sans interrruption de service vers le nouveau CRM.

Quelles seraient les solutions ?

- Je pensais à utiliser un ETL comme Talend pour corriger les incohérences pour
modifier les tables ou champs si nécessaire.
- Pour le transfert, un backup de la base ou mettre en place un cluster ....

Merci de faire part de votre expérience !

[nuke_y]

Je dirais qu'un ETL n'est pas nécessaire pour corriger les incohérences. De manière générale un ETL n'est pas souvent nécessaire pour un projet one-shot (sauf éventuellement des problématiques de performances, de volumes ou de format de BDD).

Qu'est-ce qui te fais penser que tu ne peux pas simplement utiliser des scripts SQL ? Du genre, tu exportes tes n tables puis

Table 1 :
import
correction

Table 2 :
import
correction

...

Table n :
import
correction

[ygrim]

Salut !
Nuke_y, tu as raison, faut pas acheter une porsche alors qu'un vélo suffit !
Mais pour la problématique de la détection des incohérences, je ne pense pas qu'un script SQL puisse faire l'affaire. Sauf si la table est petite et que des corrections manuelles sont envisageables.
Si ce sont des millions de lignes par contre, SSIS de Microsoft propose un composant pour la détection de ce genre de boulettes d'entrée de données. Ce sont des méthodes statistiques (donc pas fiables à 100%), mais qui peuvent, dans le pire des cas, rediriger tes données qui ne sont pas bonnes dans une table de rejets que tu pourras traiter manuellement...

je rejoins nuke_y : ne surtout pas en faire trop pour pas grand chose...