Discussion :

[borower]

Bonjour,

Je suis en train de me poser quelques questions sur la réalisation d'une base de donnée et sur l'optimisation de celle ci.
Voila mon soucis :
J'aimerai suivant la recherche de l'utilisateur sur des tag, retourner le topic le plus pertinent.

Exemple concret :
J'ai 4 topics avec un ou plusieurs tag avec une ou pas de note.

Topic A
--> Tag A
--> Note 5

Topic B
--> Tag A
--> Pas de note

Topic C
--> Tag A
--> Tag B
--> Tag C
--> Tag D

Topic D
--> Tag A
--> Tag D

J'aimerai qu'avec une recherche sur le Tag A, le résultat soit :
Topic A
Topic B
Topic D
Topic C

Sur une recherche avec le Tag D :
Topic D
Topic C


Explication des pondérations :
Moins le topic est affecté à des tag plus il est pertinent sur celui affecté.
Un topic ayant une note supérieur à la moyenne sera plus pertinent qu'un topic sans note.

Comment dois je réaliser mes tables avec une base de données de millier de tag et d'une dizaine de milliers de topics ?

Faut il créer une tables temporaire pour chaque Tag, et faire un select bidon dessus (Cela me parrait fous de créer des milliers de table )
Faire une table avec tous les tags, mais ça veut dire qu'il y aurait des millions de ligne dans cette table.
Faut il faire plusieurs requetes pour retourner le resultat voulu (risque de surcharge du serveur)

Que me conseillez vous ?

Merci de votre réponse.

Cordialement.
Romain


PS: Si vous avez des sujets interressant sur Facebook, sur la pertinence des résultats proposés, je suis preneur.
Je me demande toujours comment il fond pour nous proposer une liste d'amis que nous pouvons connaitre.

[Waldar]

Définitivement, il vous faut une table Tag, une table Topic, et une table de correspondance.

Dix millions de lignes, ce n'est pas un problème pour les SGBD / machines d'aujourd'hui.

Des optimisations existent mais elles sont propres à chaque SGBD.

[borower]

Définitivement, il vous faut une table Tag, une table Topic, et une table de correspondance.

Dix millions de lignes, ce n'est pas un problème pour les SGBD / machines d'aujourd'hui.

Des optimisations existent mais elles sont propres à chaque SGBD.

Oui je suis d'accord sur le principe de base et je fais déjà comme ça.
Mais comment afficher les résultats pertinemment.
Si je fais un select avec jointure je ne vais pas avoir le résultat souhaité.

Je ne veux pas que l'affichage des résultats se face sur le nom du post ou sur la date,
j'aimerai qu'il soit suivant la pertinence de plusieurs critères tel que le nombre de tag associé et la note des topics.

[Waldar]

J'ai du mal à cerner le fond de votre problème.
Qu'est-ce qui ne fonctionne pas pour le moment ?

Est-ce la modélisation de votre schéma, l'écriture de la requête, l'affichage de celle-ci via votre application ?

A chaque question la réponse est différente.

[borower]

Je parts sur le principe qu'il y a une table Topic, une table Tag et une table de liaison, ça c'est normal

Là viens le souci de retourner les résultats pertinemment
Je ne vois pas comment faire.
Je me demande s'il n'ai pas préférable de faire des tables temporaires actualisée genre trois fois par semaine, pour éviter les surcharges.
L'utilisateur est pratiquement obligé de passer par une recherche par Tag pour trouver les Topics.

Mon problème viendrait plutot du temps d'exécution d'une tel requete par rapport à une requête simple sur une table temporaire qui aurait déjà eu des traitements pour des résultats pret à l'affichage.

[Jester]

Je viens de lire Collective Intelligence in action, très bon livre sur le sujet. À la fin il aborde les solutions de amazon, de google news et de netflix. Mais le reste parle aussi des tag et tout ce qu'il faut pour faire entre autre un système de recommandation. Très axé Java.

Pour la pondération des tags, il faut normaliser.

[borower]

Pour la pondération des tags, il faut normaliser.

Qu'est ce que tu entends par normalisé ?

[Jester]

pour tout topic, somme(tags) = 1

mais il me semble qu'il te manque beaucoup d'éléments que je n'ai pas envie d'écrire d'où te conseiller un bouquin assez complet et bien fait sur le sujet.

[borower]

Merci de tes réponses Jester.

Je vais bien sur prendre connaissance de ce livre dès que je pourrais.
En attendant je suis tombé sur ce lien http://www.1ere-position.fr/blog/alg...google-devoile
Il explique le système de pondération, mais ce n'est pas trop mon problème.

Bon nous ne sommes pas sur la même grandeur qu'avec Google, mais j'aimerai savoir si tout ces traitements sont a faire au préalable dans une table temporaire ou alors à la volé pour chaque requete utilisateur.

[Jester]

Dans un processus séparé qui crée une table de lookup.