Discussion :

[erictomcat]

bon mon projet commence à ressembler a quelque chose, sauf que pour tester tout ça j'ai besoin de recuperer pas mal de données de mon ancienne application.

Du coté de l'ancien, j'ai créer des pages qui me génère mes fichiers fixtures.

Le probleme c'est quand je les charge, a partir d'un moment il ne me prend pas tout les champs, du style, je prend le first_name, le last_name mais pas le matricule et la section.

Déja, j'ai du modifier le database.yml pour ne plus avoir des fatal error pour dépassement de mémoire:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
 
all:
  doctrine:
    class: sfDoctrineDatabase
    param:
      dsn:      mysql:host=localhost;dbname=it_toolbox
      username: root
      password: xxxx
      profiler: false

y a t il un autre moyen de charger des données avec symfony ?

EDIT: pour info ma table sfGuardUser fait déja 700 lignes.

[bilbonec]

Le fait que tu génères tes fixtures t'assure de rester dans l'environnement classique de Symfony.

Le probleme c'est quand je les charge, a partir d'un moment il ne me prend pas tout les champs, du style, je prend le first_name, le last_name mais pas le matricule et la section.

J'avoue que ça me paraît très bizarre ça.

Déja, j'ai du modifier le database.yml pour ne plus avoir des fatal error pour dépassement de mémoire:

Je ne comprends pas pourquoi toucher au databases.yml dans ce cas : n'est-ce-pas plutôt d'allouer plus de mémoire à PHP qu'il faudrait ?
(je ne sais plus exactement où est la modif à faire, peut-être le php.ini)

Mais si tu penses que le problème est dans le dépassement de mémoire, je te conseillerais dans un premier temps d'essayer de tronquer tes fixtures et de laisser peu de données dedans : si le problème persiste, c'est que ce n'est pas un problème de dépassement de mémoire.

[erictomcat]

en faites le dépassement de mémoire est lié à la mise en cache de toute les requêtes exécutés par doctrine. Sur un PC un peu poussif, ça le met vite a genoux.
J'ai trouvé cette parade sur le net:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

 profiler: false

qui fonctionne (je la remet à true quand je veut tracé mes requêtes).

par contre, le fait qu'il oublie certains data par enregistrement la je suis coincé.

Comme mon appli à beaucoup de relations croisé, il est difficile de réduire le nombre d'enregistrement (si j'enlève un user, il peut être nécessaire comme responsable d'un site ou d'un pays, ou bien gérer une section ou ...).

[Michel Rotta]

Le fixature n'est pas conçu, à l'origine pour faire de l'importation de données en masse. Il permet de peupler et repeupler la base de donnée, à l'identique, pour simplifier les tests développeurs et les tests automatique.

Le mieux serait de passer par de bête (mais efficaces) fonction export importe.

Et plutôt que de générer su yaml, génère du sql.

[erictomcat]

je croit que je n'aurait pas trop le choix malheureusement :/

[Michel Rotta]

Alors il faudra couper en petits paquets

[erictomcat]

je croyait que l'append de doctrine ne fonctionnait pas sous symfony ?

[Michel Rotta]

Il fonctionne mal...

Il serait largement plus simple de passer, pour un gros volume, par des injections SQL.

Quitte à passer par une base local pour triturer les données et les formater correctement (ce que je ferrais).

[erictomcat]

ça va faire du boulot ça.
bon je vais essayer de me faire des fixtures de test pas trop long mais qui fonctionne. ce qui me permettra de tester mon appli.
Et en paralléle me créer des request SQL basé sur ma BD actuelle pour charger tout ça dans la base de prod finale.

[Michel Rotta]

Si tu as la possibilité de créer du code capable de créer, pour tes données, un fichier YAML, modifier ce code pour faire des ajouts en SQL ne devrait pas poser beaucoup de problème il me semble.

[erictomcat]

bein la difference se sont les relations non ?
un user appartient a une section, mais une section a un superviseur, en YAML, pas de probléme j'utilisait le nom de la relation. mais en SQL, ça devient chaud,
je doit d'abord créer tout les user, ensuite creer les section et leur affecter l'id generer pour le champ superviseur et ensuite mettre a jour le champ section de la table user avec l'id generer de la table section

en yaml:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
 
User:
  User1:
    last_name: Dupont
    first_name: bruno
    Section: Section1
  User2:
    last_name: Durand
    first_name: Antoine
 
Section:
  Section1:
    name: IT&Co
    manager: User2

en SQL j'ose même y penser !!

[Michel Rotta]

Mais ta base existe déjà non ?

[erictomcat]

mes données sont bien dans une base de données mais son schéma ne correspond absolument pas à la base de données que j'utiliserai sous symfony.
Exemple tout bête les infos user se trouvent dans 4 tables alors que dans la version symfony tout se trouve dans sfGuardUser.

[Michel Rotta]

Si tu arrives à faire des "petit" yaml de fixature, cela devrait passer.

Mais il faut couper par X users et toutes leurs relations, ce qui risque de ne pas être possible pour les responsables de groupes... qui peuvent être dans un autre groupe !.

Si non, il faut en passer par une série à la mano de procédure de m...

Il y a bien des programmes qui font cela tous seul, mais je ne pense pas que tu aies le budget pour (plus de 10k€). Et encore, même là, il faut écrire un programme, simple, de translation.

[erictomcat]

je ferai des test.
si je peut effectivement creer des fixatures de petite taille et les integrer en append, ça devrait le faire:

en important dans un premier temps les table de groupe sections et leur gestionnaire, je pourrait ensuite importer le reste des users et ensuite les infos les concernants.
si:

si par exemple dans un premier jet j'ai:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
User:
  User01:
    firstname: bruno
    lastname: Dupont
Section:
  Section01:
     name: WA251
    description:  gtyhh
    manager_id: User01

est ce que dans un append je pourrait saisir ça:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
 
user10:
  firstname: eric
  lastname: duclos
  section: Section01

et dans un 3eme append

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
 
ChqDej:
  user: user10
  date: "05-11-2010"
  nb: 21

?

[Michel Rotta]

En fait, non.

Il faut que les noms utilisés soient définit dans le même fichier. Enfin presque, tu peux utiliser plusieurs fichiers (un par table par exemple) mais les charger d'un coup, ce qui ici ne nous intéresse pas.

Donc avec tes trois fichiers, chargés en trois fois, le deuxième et le troisièmes ne passeront pas.

Ce qui était ma principale inquiétude.

[erictomcat]

je pense que je vais pas échapper à la création d'une base intermédiaire via Access, pour son interface graphique

[Michel Rotta]

Quel est la base d'origine ? Quel est l'encodage de la base d'origine ? Quel est l'encodage de la base MySql de destination ?

Access peut travailler sur une base MySql en ODBC...

[erictomcat]

base d'origine MySQL.
je travaille déja en ODBC MySQL->Access, pour des request rapides à faire et temporaire

[Michel Rotta]

C'est pas simple, vu que si j'ai bien compris, tu as beaucoup de données et tu doit maintenir une intégrité structurel alors que tu changes les clés primaires.

Il n'y a pas de solution miracle.

Il faut faire très attention au charset entre les transferts pour ne pas perdre les accentuées.

Il faudra probablement faire une table intermédiaire avec les deux numérotation, ancienne et nouvelle pour pouvoir faire les nouvelles jointures sur les bonnes tables.

A priori, je travaillerais le tous en SQL directement (mais il faut être à l'aise). Access est un con pis aller. Une autre possibilité, si les données son nombreuses mais raisonnablement, une feuille de calcul...