Moi je suis en Italie, et j'ai pas de vacances.
Moi je suis en Italie, et j'ai pas de vacances.
T'as raison, la prochaine fois qu'un grand chef étoilé invente une nouvelle recette et invite des gens pour goûter, pas d'assiettes et pas de couverts, hop !, tout balancé en vrac sur la table et démerdez-vous.
Espérons seulement que ce ne sera pas un potage...
Ouais mais on peut faire des petits HS, on n'est pas des robots avec des œillères, quand même !
Rhôôô, mais je fais profiter la communauté de ces informations bien méconnues, c'est dans l'intérêt de tous, c'est bien, non ? Tu vas pas faire ta boudeuse coincée, souris c'est week-end
C'est normal, tu n'es pas au courant, tu ne sais pas (ce n'est pas un reproche, juste une constatation) que les polices sont des outils de lecture au même titre que les forets (sans accent circonflexe !) sont des outils pour faire des trous : mais selon le trou à faire et le matériau à trouer, tu vas monter tel ou tel foret sur ta perceuse.
Ça, tu peux le comprendre ? Hé bien les polices c'est pareil, même si tu ne t'en rends pas compte : certains textes sont plus lisibles avec certaines polices qu'avec d'autres et j'abrège, ce n'est pas le sujet.
Juste un dernier mot : il y a eu des tests et autres études scientifiques (et oui !) menées sur le sujet qui prouvent que...
Tu crois vraiment que Microsoft aurait investi du pognon là-dedans si l'entreprise n'y avait trouvé un retour sur investissement ?
Allez, fais pas ton deuche, please
Au fait, si t'as une petite amie, quand tu lui fais un cadeau, tu soignes l'emballage, non ? CQFD...
Mais t'es plus dans le 34, toi ?
J'ai rien contre un petit HS de temps en temps, mais dès le début ça tend plutôt à empêcher le sujet d'être constructif, car y'a encore tout à poser. {'^_^}
En plus c'est mon article, donc je suis a parti pris, donc dur de dire ce qui est à prendre ou à jeter sans me faire taxer d'orienter la discussion à mon avantage. Mais justement ton analogie du chef étoilé qui ne donne même pas une assiette, j'aurais compris si j'avais donner de simples notes gribouillées sur un coin de table. Là j'ai donné un article rédigé, sur lequel j'ai passé un certain temps pour le structurer et raffiner son rendu pour le rendre compréhensible par un max de gens. C'est peut-être pas de l'argenterie de première qualité, mais c'est un service à vaisselle tout à fait raisonnable. Et c'est en cela que les questions de formes sont pour moi hors sujet, car à ce niveau là ce n'est plus ça qui fait la qualité du plat qui est servi dedans. D'ailleurs il aurait certainement été refusé si j'avais pas fait ce travail de rendu.
J'aimerais vraiment que le jugement soit porté sur le contenu, et non la forme, cette dernière incluant les simples visions d'ensemble. Après, si vraiment vous vous refusez à lire l'article du début à la fin pour donner une analyse détaillée de ce qui vous semble donner ou retirer de la valeur scientifique, je vois plus trop l'intérêt du sujet vu qu'on reste sur des généralités plutôt que de s'attaquer à ce qui fais le cas concret. Je peux pas vous obliger, mais le sujet me semble tomber à l'eau. Après cette publication, j'en ai encore 2 qui suivent, et j'aurai aimé voir la progression des raisonnements et arguments, mais si le départ est foireux y'a pas grand intérêt de continuer. {'^_^}
Je viens de relire de manière détaillée, et je ré-itère mes premières observations...
Ce qui retire de la valeur :
- Pas de références de travaux similaires
- Pas de références tout court
- Echantillon très faible (en sujets et en nombre de personnes impliquées, milieu très (trop ?) ciblé et homogène)
- Réjection de cet argument dans le paragraphe avant la conclusion, en l'auto-justifiant, sans que le lecteur comprenne comment le titre global puisse se justifier avec une telle restriction.
- Pas de "positionnement" : à part vous, qui s'intéresse à ce problème ?
- Du coup, pas de comparaison avec des résultats / méthodes déjà existant(e)s...
- Objectif très ambitieux (renforcé par le titre), diminué par l'étroitesse du champ exploré : système pour trouver des experts, très vaste, surtout dans les Requirements (et là c'est en tant que spécialiste de l'approche centrée-utilisateur dans le développement logiciel que je parle), alors que application et "test" très étroit et pas du tout représentatif de la réalité de développement (j'ai eu à faire des Requirements pour des releveurs de compteur EDF, pour des guichetiers de banque, pour des répondants téléphoniques à des standards 112, des médecins, des infirmières, des météorologues,.. etc)
- Comme mentionné, introduction d'une "méthode" en intro (a priori généralisation, modèle), et pas d'exposé de "méthode" mais une explication coup-par-coup, "trucs"..
- Fautes d'anglais, autant de vocabulaire que de grammaire ou de syntaxe, rendant l'article "amateur"..
Ce qui ajoute de la valeur :
- Exposé d'une expérience
- Rigueur de l'exploitation
- Trouvaille intéressante à la fin, mais pas d'explications.. ou tentatives.. ou tests... ou prévisions de tests... alors que c'est sans doute la chose la plus fondamentale...
Malheureusement tes citations des autres travaux n'apparaissent que dans la conclusion (ça devrait être en introduction) et n'ont que 2 références (quid de Kendall & Spearman, quid de Cohen & Fleiss ??)..Même 4 ça fait très très peu....
Si le but est uniquement pour des choses participatives style Wiki, ce serait bien de le préciser dans le titre... pas juste dans le sous-titre "Survey", mais "Expert Ranking in collaborative works" et pas "Expert Ranking" qui laisse à penser quelque chose de beaucoup plus général, de même que dès le départ la référence à Requirements Engineering... à moins que vous n'ayez qu'une défintion extrêmement limitée de Requirements... Moi quand je lis ça je m'attend à quelque chose qui s'occupe de trouver des experts pour des Requirements dans tous les domaines ...
Note : au vu de la trouvaille citée, j'aurais plutôt axé l'article sur ce sujet, et en particulier le titre... Eventuellement avec un point d'interrogation, mais plutôt comme "remise en cause des a-priori utilisés d'habitude" ou "le comportement étrange/inattendu des experts" dans le domaine xxx.. Mais ça n'est sans doute pas ce que tu voulais exposer...
Disons que je maintiens qu'en l'état c'est de l'ordre de la communication à "la journée des thésards de l'Université TrucMuche" ou celle des "thésards en ingéniérie de logiciel de France" ou à la réunion du "groupe de travail sur les Wiki du Nord de l'Italie", et pas digne de prendre de la bande passante sur des choses comme ArXiV ou tout journal international un tantinet sérieux... Pour moi ce n'est pas un article scientifique...
Mais tu n'es pas le seul dans ton cas, c'est bien ce dont je me plains, et ici et dans la vidéo...
[EDIT]
En résumé, en terme de démarche scientifique :
- Etat de l'art : inexistant
- Délimitation du problème : peu claire (confusion expert/expert projet particpatif ET requirements / requirements spécifiques)
- Exposé de la méthode : peu clair (il faut tout lire). Pas d'exposé théorique sur ce qui amène cette approche pratique (il manque le résumé du raisonnement)
- Echantillon : totalement non significatif
- Aucune explication ou poursuite de la "trouvaille" de ce travail
- Aucune comparaison avec d'autres
- Bibliographie inexistante, donc aucun moyen de placer ce travail dans un quelconque contexte (point ci-dessus)
Si j'étais reviewer, je rejette en donnant ces motifs...
[/EDIT]
Matthieu, connais-tu ceci ?
http://parc-org.com/a-propos/pourquoi-parc/
PS: j'espère que tu n'as pas mal pris mes remarques... Tu as demandé une critique du scientifique de la démarche par rapport à l'article mentionné, je me suis cantonné à ça, sans aucun jugement personnel, hein ?
Merci beaucoup pour tes efforts. {^_^}b
Pour le coup, tu soulignes exactement ce que je voulais. C'est effectivement ni plus ni moins qu'un rapport technique (*) : on fait l'état de ce qui a été fait et des résultats obtenus, sans plus de rigueur d'un point de vue scientifique. C'est bien pour ça que ça n'a pas été ne serait-ce que soumis à une conférence. L'expérience date de 2014 et a été rédigée initialement dans mon brouillon de thèse. Comme j'utilise ces rankings dans ma thèse (mais je te rassure, en plus des remises en cause nécessaires j'en utilise d'autres) il était important d'en décrire la construction quelque part, sinon impossible de discuter ces rankings (ça sort d'où ?). C'est là que tes deux premiers "bons points" (Exposé d'une expérience + Rigueur de l'exploitation) sont importants. Mais vu que le garder dans ma thèse semblait inconcevable pour mon directeur de thèse, on s'est mis d'accord pour en faire un rapport technique, sinon ça aurait probablement fini en appendice (et au final, j'ai encore pas mal de choses en appendice, notamment une mention à Kendall).
(*) Pour le coup, je ne mentionne nulle part que c'est un rapport technique sauf dans la licence en première page et un unique "report" (en anglais) en page 10. Là j'avoue que j'aurais pu être plus explicite sur ce point là pour une raison d'intégrité.
De souvenir, on avait pensé à faire une kappa (Cohen & Fleiss) mais c'est tombé à l'eau car ça ne se prêtait pas bien à ce qu'on voulait mesurer : pour les kappa, on doit avoir des catégories (valeurs nominales) et non des rangs (valeurs ordinales). Tu peux considérer chaque rang comme une catégorie, mais d'une part c'est négliger la notion d'ordre qui justifie le rang (on peut être rang 3 ici et 4 là sans que ce soit conflictuel), et d'autre part les ordres partiels fournis donnent de très mauvaises valeurs de rang, vu que ce sont des catégories correspondant à des ensembles de rangs qu'il faudrait alors considérer, chaque ranking ayant les siens... J'ai pas l'impression que ce soit faisable dans ces conditions. Tout du moins, chaque application de ces mesures devraient être adaptées au cas par cas, ce qui rendrait la chose vachement compliquée. On n'est pas allé assez en détails pour s'assurer que ce soit infaisable, donc on laisse le point en suspend dans le rapport, mais on y a pensé sans être capable d'aller jusqu'au bout (c'était bonus vu qu'on a déjà une mesure, qui est d'ailleurs très similaire à Kendall, mais ça je le détaille dans ma thèse).
Donc je te rejoins tout à fait sur ton analyse. Les seuls intérêts scientifiques que je vois dans ce rapport sont effectivement le compte rendu d'une expérience, qui rajoute une donnée empirique, et la "trouvaille intéressante à la fin", motivant à plus de réflexion vis-à-vis de la formalisation des rankings.
J'ai pas pensé à développer dans ce rapport car c'était pas le but. Pour le fait que ce sont ceux offrant apparemment la meilleure confiance qui sont les moins ordonnés, ça demanderait une reproduction pour voir si c'est effectivement une tendance générale. Mais ça, on n'a pas fait et je ne l'exploite pas.
Pour moi c'est surtout le fait que le manque d'ordre soit conséquent qui m'a poussé à travailler sur le second rapport, que je donne donc en fin de post {^_^}. Par contre il est vrai que je n'ai pas non plus de série d'expériences montrant l'importance de la chose, mais ça me semble difficile à faire de manière fiable car on pourrait toujours remettre en cause en disant que les sujets n'avaient juste pas assez d'information... ce qui ne serait pas faux, mais pas forcément corrigeable. Je m'appuie d'une part sur cette observation unique, qui montre de manière flagrante que c'est le cas ici mais peut être remise en cause ailleurs, et d'autres part sur un certain sens commun : il me semble évident que si on manque d'information, on sera incapable d'ordonner totalement (et honnêtement) un ensemble de personnes par niveau d'expertise. Or c'est précisément ce point qui me turlupine : si c'est naturel, soit on met de gros efforts pour tenter de le corriger d'une manière ou d'une autre, soit on utilise des mesures adaptées. Et en ce sens, ça me semble davantage être un contre exemple déjà solide à une hypothèse fondamentale en Information Retrieval, d'où le second rapport en fin de post que je t'invite à lire avec la même rigueur.
Non effectivement, c'est un point qui ne couvre qu'une partie minime de l'expérience, et l'objectif principal était de fournir les rankings et leur processus de construction de manière détaillée, en donnant et justifiant les décisions prises.
Comme j'ai obtenu ce que je voulais (premier rapport à l'intérêt franchement limité, et c'est pourquoi je m'attendais à des critiques incendiaires {^_°}) on peut passer au second rapport :
http://arxiv.org/abs/1603.04953
Cette fois-ci, pas de surprise : c'est encore un rapport technique car j'estime le contenu comme étant trop pauvre pour faire l'objet d'une publication décente. Cependant, j'estime que d'un point de vue scientifique il est plus riche que ce premier rapport. Je vous laisse juger pour voir ce que vous en pensez avant de donner un avis plus détaillé. Si les autres on des commentaires sur le premier article en dehors de ce qui a déjà été dit (ou des contre-arguments), ces commentaires sont aussi les bienvenus.
Non c'est exactement ce que je voulais : un topo montrant que ça a une valeur extrêmement réduite. Si c'est moi qui l'avait fais, ça aurait été à parti pris (j'aurais pas eu une liste de problèmes aussi exhaustive que la tienne, je dois bien l'admettre), donc fallait bien que ce soit quelqu'un d'autre qui s'y colle.
Je pense qu'il est important d'avoir des cas concrets de publications ayant différents intérêts pour discuter de manière plus précise dans la discussion sur la démarche scientifique en générale. Comme j'ai trois publications à proposer avec, selon mon estime, trois niveaux croissants de valeurs (très pauvre à... riche, enfin j'espère {'^_^}) et que c'est trois publications sont liées, ça peut faire un cas d'étude assez intéressant pour une illustration.
Non pas du tout, et je dois avouer que je ne vois pas le rapport avec ce sujet. En l'occurrence, je vois qu'on parle de système expert, ce qui est très différent de la recommandation d'experts. Mais l'idée me plaît bien... une tentative en France peut-être ?
[Edit]
À si, ça parle à certains endroits de réallouer les gens en fonction de leur expertise, mais là on est davantage sur un processus d'embauche de gens qui cherchent un boulot, c'est pas vraiment le cas d'utilisation des systèmes de recherche d'experts (où les gens ne cherchent pas). C'est plutôt du profiling qu'il faut (le sens inverse, étant donné une personne, quels sont ses domaines d'expertise) et de voir si on peut exploiter ça in situ. Alors oui dans l'absolu on peut imaginer utiliser ce genre de systèmes, mais encore une fois c'est pas le sujet (je fais pas ma pub et j'ai déjà des projets de post doc au Japon {^_^}). À moins que tu le mentionnes pour une toute autre raison ?
Du coup j'ai séché tout le monde avec mon rapport technique "de merde" ? {'^_^}
Lol...
Je crois simplement que ça prouve un peu ce que je disais plus haut : nous ne sommes pas spécialistes, et pour critiquer faut un minimum se pencher sur le coeur du sujet... (ce qui participe à la pondération des affirmations posées dans le fil d'à côté : les "grands avis" de conformité et de validité des sources , ben....)
Et comme je ne veux pas être le seul, je m'abstiens, ayant déjà fait le boulot pour le premier
Question annexe mais qui m'intéresse et rentre d'ailleurs dans le cadre "consensus etc" :
As-tu ou avez-vous justement trouvé des "mesures" ou "éléments" absolus qui font d'une personne "un expert" (je pense en particulier à ta remarque sur le gars "hors cadre") ???
Parce que il me semble que justement, dans mon expérience, ce qui fait un vrai expert, c'est toute la connaissance non-scientifique, connexe, et "hands-on", qu'il a accumulée, et qu'on ne retrouvera jamais ni dans un bouquin ni dans un manuel, voire dans des dizaines... Sa partie "humaine" et son chemin de vie.... A mon avis impossible à quantifier... ni à décrire telle quelle... (avec comme corrollaire que, dans le débat d'à côté, un expert tout seul peut avoir plus raison que le consensus, même si il n'a pas forcément d'arguments "scientifiques" pour le prouver)
Je voulais le lire correctement pour donner un retour qui aurait valu ce qu'il aurait valu, mais avec le temps passé sur les autres sujets, je n'ai pas vraiment pu me le permettre.
@souviron34 : essayons de ne pas faire déborder les discussions des autres sujets, ou d'essayer d'en rajouter une couche, ici, sinon cela n'a plus grand intérêt d'avoir des sujets distincts.
C'est de bonne guerre. T'as fait le plus dur en même temps : le rapport au scope le plus limité et ayant le moins de références. L'autre cite davantage, vu qu'il remet des choses en causes vis à vis de l'état de l'art. Et puis on touche à de la formalisation (quasiment) pure et dure, donc c'est plus accessible même pour des non experts vu qu'il n'y a pas besoin de bagage d'un domaine particulier. C'est surtout des maths et stats de base.
La première question j'ai du mal à la saisir. Qu'entends-tu par absolu ?
Un expert effectivement dispose d'une connaissance tacite très importante en général, mais ce n'est pas dû au niveau d'expertise, mais à un phénomène de stagnation. On apprend continuellement des choses (connaissances explicites, qu'on est capable de formuler car fraîchement conceptualisée ou continuellement remises en causes, donc continuellement traitées de manière consciente), et au bout d'un moment on se dit qu'on a atteint un niveau "suffisant" (quel que soit le critère). De là, on ne cherche plus à s'améliorer, on se conforte dans son "bon niveau" en se contentant de plus ou moins répéter ce qu'on sait déjà. C'est cela qui entraîne la stagnation : les comportements fraîchement appris s'automatisent, ce qui fait donc de moins en moins appel à des décisions conscientes (à force, ça semble naturel, pas besoin de chercher à le justifier), et ce qui rend donc les connaissances de plus en plus tacites (les effets pratiques se renforcent, mais les connaissances s'oublient). C'est ce côté tacite qui rend d'ailleurs la tâche difficile au design de systèmes experts. Mais ce n'est pas parce qu'on a des connaissances tacites qu'on a un haut niveau : ça montre uniquement que ça fait un certain moment qu'on a arrêté "d'y penser", et donc qu'on stagne.
Ce qui permet de monter le niveau, c'est en premier lieu l'apprentissage au moyen d'un prof/mentor/you name it. Puis, une fois qu'on a atteint un niveau suffisant pour être autonome, ça va être davantage la remise en cause constante des acquis dans le but de faire toujours mieux. C'est donc avant tout une question de motivation personnelle, mais aussi d'opportunité : si tu n'es pas dans un environnement qui te permet de remettre tes connaissances en question, tu n'auras pas les ressources pour améliorer ton bagage. Dans la littérature sur l'expertise on associe donc le haut niveau à 2 facteurs : la motivation personnelle et la présence d'un "coach" pour te fournir les ressources suffisantes, ce coach pouvant devenir toi-même quand tu atteins un degré d'autonomie élevé (où tu es capable de te mettre toi-même dans tes situations adaptées pour continuer à t'améliorer). Mais le jour où tu décide que c'est bon, ça va comme ça, tu démarres la phase de stagnation et d'automatisation, dont il est assez difficile de se sortir.
Cependant, il n'y a pas de mesure générique du "niveau" d'expertise : tout dépend du domaine. Il y a des indicateurs génériques, tels que la quantité de connaissance, le temps passé dans le domaine, la réputation, mais ce sont des indicateurs peu fiables (resp. : quantité ne veut pas dire qualité, la stagnation peut arriver tôt, et la réputation est avant tout un indicateur social et non de performance). Les indicateurs les plus fiables, ce sont les performances obtenues dans des tâches "représentatives et authentiques" du domaine. Représentatives au sens que ce doit être relativement commun dans le domaine, et non pas des tâches super rares, et authentiques dans le sens où ça ne doit pas être une tâche "expérimentale", ça doit être au plus proche d'un environnement réel, que ce soit en matière de contrainte, d'importance, etc. Ceux qui obtiennent les meilleures performances (qualité/quantité) sont les plus experts.
Tout cela, c'est quelque chose qu'on connaît déjà de par les études psychologiques dans le domaine de l'expertise. Pour cela je te renvoie à ma signature qui cite un bouquin de référence (et que j'ai déjà du citer plusieurs fois sur DVP, d'où sa place dans ma signature {'^_^}).
Ben dès que t'as un moment, hésites pas. {^_^}
Après, d'autres peuvent discuter ton analyse, pas de soucis. Tant que tu mets en évidence ce qui te semble ajouter et retirer de l'intérêt scientifique à l'article, je t'en demande pas plus (pas de valider les analyses ou quoi que ce soit).
Je me permet de relancer vu que ça va faire un mois.
J'en profite pour signaler que ma soutenance de thèse s'est très bien passée. Là je suis en train d'intégrer les commentaires de mon comité de lecture et je devrais remettre la version finale au plus tard le 28 pour obtenir mon diplôme. {^_^}v
Alors Neckara, toujours pas le temps ? Moi le troisième cas est prêt, mais il est beaucoup plus gros, donc je doute que ça serve à quoi que ce soit de le mettre si le rapport de 16p a du mal à passer.
Comme tout le monde. Le tout étant de savoir si tu inclus ça dans ta liste ou pas. On a 24h dans une journée, le tout étant de savoir comment on les consomme. Après moi j'ai le temps, mais si on attend 2 ans je serais moins apte à répondre aux questions relatives au contexte de l'article. Mais bon, il est censé être self-contained en même temps. {^_^}
Zut. {'^_^}
Vous avez un bloqueur de publicités installé.
Le Club Developpez.com n'affiche que des publicités IT, discrètes et non intrusives.
Afin que nous puissions continuer à vous fournir gratuitement du contenu de qualité, merci de nous soutenir en désactivant votre bloqueur de publicités sur Developpez.com.
Partager