Discussion :

[Stéphane le calme]

L'IA de YouTube a bloqué par erreur des chaînes d'échecs après avoir pris des expressions comme "noir contre blanc"
pour des incitations à la haine

Les discussions en ligne sur les pièces d'échecs en noir et blanc déroutent les algorithmes d'intelligence artificielle formés pour détecter le racisme et autres discours de haine, selon de nouvelles recherches.

Les informaticiens de l'Université Carnegie Mellon ont commencé à enquêter sur le problème de l'IA après qu'une chaîne d'échecs populaire sur YouTube a été bloquée pour contenu « nuisible et dangereux » en juin dernier.

Le joueur d'échecs croate Antonio Radic, qui répond au pseudonyme Agadmator en ligne, héberge la chaîne d'échecs YouTube la plus populaire au monde, avec plus d'un million d'abonnés.

Le 28 juin 2020, Radic a été bloqué de YouTube lors de la présentation d'un spectacle d'échecs avec le grand maître Hikaru Nakamura, bien qu'aucune raison spécifique n'ait été donnée par la plateforme vidéo appartenant à Google. La chaîne de Radic a été rétablie après 24 heures, ce qui a amené le champion d'échecs à spéculer qu'il avait été temporairement banni pour avoir parlé de « noir contre blanc », alors qu'il faisait référence à la couleur des pions du jeu d'échecs à l'époque.

Le système de modération de YouTube repose à la fois sur les humains et sur des algorithmes d'IA, ce qui signifie que tout système d'IA pourrait mal interpréter les commentaires s'il n'est pas correctement formé pour comprendre le contexte.

« S'ils s'appuient sur l'intelligence artificielle pour détecter un langage raciste, ce type d'accident peut se produire », a déclaré Ashiqur KhudaBukhsh, scientifique du projet au Language Technologies Institute de la CMU.

KhudaBukhsh a testé cette théorie en utilisant un classificateur de discours de pointe pour filtrer plus de 680 000 commentaires recueillis sur cinq chaînes YouTube populaires axées sur les échecs.

Après avoir examiné manuellement une sélection de 1000 commentaires qui avaient été classés par l'IA comme discours de haine, ils ont constaté que 82 % d'entre eux avaient été mal classés en raison de l'utilisation de mots tels que « noir », « blanc », « attaque » et « menace », mots qui sont tous couramment utilisés dans le jargon des échecs.

Le document a été présenté ce mois-ci lors de la conférence annuelle de l'Association for the Advancement of AI.

Une situation qui pourrait être exacerbée au nom de l'inclusion ?

De façon générale, l’expression « liste blanche » définit un ensemble d’entités auquel on attribue le niveau de liberté ou de confiance le plus élevé dans un système donné. Pour emprunter au jargon utilisé en électronique numérique, elle est complémentaire (au sens de complément à 1) à celle de « liste noire. » En informatique, toute entité ne figurant pas sur la liste dite blanche se verra alors refuser certains accès ou certaines possibilités ; c’est de façon basique la même chose que de dire que toute entité figurant sur la liste dite noire ne bénéficie pas de certains accès ou certaines possibilités.

C’est en principe la compréhension que les tiers qui travaillent dans la filière informatique ou qui ont flirté avec cette dernière ont de ces notions.

Pourtant, une publication de l’agence britannique de cybersécurité vient étendre la compréhension qu’on en avait déjà. À la demande d’un de ses clients formulée en 2020, cette dernière a décidé de ne plus faire usage de ces expressions.

« Il est assez courant de dire liste blanche et liste noire pour décrire les choses souhaitables et indésirables en matière de cybersécurité », explique le National Cyber Security Centre (NCSC). « Cependant, il y a un problème avec la terminologie. Cela n'a de sens que si vous assimilez le blanc à "bon, autorisé, sûr" et le noir à "mauvais, dangereux, interdit". Cela pose des problèmes évidents. Ainsi, au nom de la lutte contre le racisme dans le domaine de la cybersécurité, nous éviterons à l'avenir cette formulation péjorative et désinvolte sur notre site web. Non, ce n'est pas le plus grand problème au monde ; mais pour emprunter à un slogan venu d'ailleurs : chaque petit geste compte.Vous ne voyez peut-être pas en quoi cela est important. Si vous n'êtes pas affecté par les stéréotypes raciaux, alors estimez-vous chanceux. Pour certains de vos collègues (et futurs collègues potentiels) par contre, c'est vraiment un changement qui vaut la peine », ajoute-t-il. À la place, le NCSC va utiliser les expressions « liste d'autorisation » et « liste de refus », plus claires, moins ambiguës et surtout plus inclusives.

Ce sont des développements qui ne sont pas sans faire penser à de similaires sur la liste de diffusion de bogues du navigateur open source Chromium. À la requête d’un ingénieur de Microsoft, ceux de Google ont, l’an passé, accepté d’arrêter d’utiliser les expressions « liste blanche » et « liste noire ».

Parlant d'autres expressions, les développeurs de la base de données MySQL ont annoncé leur intention de cesser d'utiliser et de remplacer des termes tels que master, slave, blacklist et whitelist dans le code source et la documentation de la base de données. Dans un billet de blog, l’équipe Oracle MySQL a expliqué :

« Cela fait 20 ans que la réplication MySQL a été introduite dans MySQL 3.23.15 (sortie en mai 2000). Depuis lors, pratiquement tous les déploiements de bases de données MySQL en production utilisent la réplication afin d'atteindre une haute disponibilité, une reprise après sinistre, une évolutivité en lecture et divers autres objectifs.

« Quiconque utilise la réplication MySQL connaît les termes : ‘master’ et ‘slave’. Les origines de ces mots sont négatives. C’est clair. Chez MySQL, nous avons pris la décision de changer cette terminologie. Déjà, beaucoup d'entre nous ont changé la façon dont nous nous référons à ces rôles dans les billets de blog et les présentations – en utilisant généralement des termes comme ‘primaire’, ‘secondaire’, ‘source’ et ‘réplique’. Nous avons maintenant commencé le processus de modification de la syntaxe MySQL dans notre code source et notre documentation pour faire correspondre tout cela ».

Une alternative envisagée pour les termes « master » et « slave » était donc « primaire » et « secondaire », mais les développeurs MySQL ont abandonné les deux pour des raisons de précision technique étant donné que les derniers produits (MySQL Group Replication, MySQL InnoDB Cluster, MySQL InnoDB ReplicaSet) reposent déjà sur l'utilisation de ces termes pour définir les différents rôles que les serveurs peuvent avoir dans l'architecture de base de données.

En 2018, l’équipe du projet Python s’est engagée sur une voie similaire. Au nom de l’inclusion, elle s’était lancée dans le processus de suppression des termes « master » et « slave » de sa documentation et de sa base de code. Elle rejoignait d’autres comme Django (2014), CouchDB (2014), Drupal (2014) et Redis (2017). Selon le projet, la paire "master/slave" s’était vu remplacée par des terminologies comme "leader/follower" ou "primary/replica". Dans le cas de Python, l'initiateur de la manœuvre est Victor Stinner, un développeur travaillant pour Red Hat. Il a publié cinq pull requests, ciblant plusieurs domaines, pour changer "master" et "slave" dans la documentation et le code Python par des termes comme "parent", "worker", "child" ou autres termes similaires.

« Le mot "slave" a des connotations négatives (bien que cela puisse ou non être pertinent dans la dénomination d'un terme technique), y compris l'histoire de l'esclavage sur plusieurs siècles au bénéfice des puissances coloniales européennes, les travailleurs pénitentiaires aujourd'hui forcés de travailler dans des conditions parfois similaires à l'esclavage, les jeunes filles vendues dans l'esclavage sexuel dans de nombreuses régions du monde aujourd'hui », expliquait le projet Drupal. La connotation sexiste de ces termes avait particulièrement été citée lorsque la question était débattue pour le projet Django. Une ingénieure DevOps s'était en effet plainte que ses collègues lui faisaient souvent des blagues en utilisant les termes "master" et "slave".

Source : conférence annuelle de l'Association for the Advancement of AI

Et vous ?

Quelle lecture faites-vous de cette situation ?

[ormond94470]

Les échecs ce jeu raciste noir contre blanc, mysogyne avec un roi supérieur à la reine méprisant avec les pions vite qu'il disparaisse de l'histoire

[chinagirl]

Les délires des gauchistes névrosés n'ont pas de limites et entraînent le monde à sa ruine. Ce qui s'est passé en URSS se reproduit en occident sous nos yeux. Un monde totalitaire se construit avec des outils beaucoup plus performants que ceux de l'URSS.

[Ryu2000]

mysogyne avec un roi supérieur à la reine

En réalité la reine est beaucoup plus forte que le roi. Le roi ne peut se déplacer que d'une case.

méprisant avec les pions vite qu'il disparaisse de l'histoire

En fait un pion peut devenir un cavalier, un fou, une tour, une reine. Ce qui est vraiment cool, il n'y pas d'histoire de caste, ça fonctionne au mérite.
Les pions ne disparaissent pas forcément plus vite que les autres pièces.

« Il est assez courant de dire liste blanche et liste noire pour décrire les choses souhaitables et indésirables en matière de cybersécurité », explique le National Cyber Security Centre (NCSC). « Cependant, il y a un problème avec la terminologie. Cela n'a de sens que si vous assimilez le blanc à "bon, autorisé, sûr" et le noir à "mauvais, dangereux, interdit". Cela pose des problèmes évidents. Ainsi, au nom de la lutte contre le racisme dans le domaine de la cybersécurité, nous éviterons à l'avenir cette formulation péjorative et désinvolte sur notre site web. Non, ce n'est pas le plus grand problème au monde ; mais pour emprunter à un slogan venu d'ailleurs : chaque petit geste compte.Vous ne voyez peut-être pas en quoi cela est important. Si vous n'êtes pas affecté par les stéréotypes raciaux, alors estimez-vous chanceux. Pour certains de vos collègues (et futurs collègues potentiels) par contre, c'est vraiment un changement qui vaut la peine », ajoute-t-il. À la place, le NCSC va utiliser les expressions « liste d'autorisation » et « liste de refus », plus claires, moins ambiguës et surtout plus inclusives.

Ce n'est pas en changeant des expressions qu'ils vont diminuer le racisme…
Il n'y a rien de raciste dans l'expression "liste noire".

L'IA de YouTube ferait bien de filtrer les contenus pédophiles au lieu de faire la guerre aux termes "blanc" et "noir".

[Invité]

Une IA a balancé une bombe nucléaire par erreur parce qu'elle a mal compris

[TotoParis]

Les délires des gauchistes névrosés n'ont pas de limites et entraînent le monde à sa ruine. Ce qui s'est passé en URSS se reproduit en occident sous nos yeux. Un monde totalitaire se construit avec des outils beaucoup plus performants que ceux de l'URSS.

Nous sommes d'accord.
Tenez, l'expression "broyer du noir" risque bien d'être classée "raciste" un de ces prochains jours.

[TotoParis]

Une IA a balancé une bombe nucléaire par erreur parce qu'elle a mal compris

On risque un jour d'arriver à cela en effet, à force de mettre de l'IA un peu trop partout.
Les domaines de prédilections devraient être la science médicale, la découverte de nouvelles sources d'énergies (pas les fariboles EELV genre éoliennes et autres panneaux solaires).

https://theconversation.com/systemes...icolore-146425

[TotoParis]

L'IA de YouTube ferait bien de filtrer les contenus pédophiles au lieu de faire la guerre aux termes "blanc" et "noir".

Cela montre l'incroyable bêtise de ceux qui ont conçu et mis en place un tel filtrage sans tenir compte du contexte.
Cela montre à quel point l'humain est bien loin d'être dépassé par ces IA intelligentes comme des bites.

[Ryu2000]

"broyer du noir"

Il y a également :
- Avoir les idées noires
- Travail au noir
- Écrit noir sur blanc
- Marée noire
- Série noire
- Caisse noire
- Bête noire
- Humour noir
- Magie noire
- Nuit noire
- Avoir peur du noir
- Être noir (saoul)
- Regard noir
- Peste noire
C'est vrai que c'est parfois négatif.

[el_slapper]

Le racisme est un réel problème, mais je n'ai pas l'impression que le remède soit mieux que le mal. C'est de la police de la pensée de bas étage.

[Invité]

Bonsoir,

L'IA de YouTube a bloqué par erreur des chaînes d'échecs après avoir pris des expressions comme "noir contre blanc", pour des incitations à la haine .

Quelle lecture faites-vous de cette situation ?

Je ne suis même plus surpris de lire ce genre de chose ... Actif dans le domaine du modélisme , qui se base sur des références historiques pour certains véhicules (avion, bateau, véhicule RC ...) ... combien de faux positifs, d'images et / ou vidéos considérées comme "raciste" donc censurées ... Quasiment tous les jours ...

Je vais rebaptiser cela la "connerie artificielle " . . Un IA est "bête" et n'a aucun sens critique/de jugement/de ressenti/de goût/d’émotion ...

Une forme de "police de la pensée" , pas cher pour faire plaisir à des ayatollahs de la "bien pensance".

[omen999]

Quelle lecture faites-vous de cette situation ?

que la bêtise artificielle est au moins aussi performante que la naturelle

[Ryu2000]

au moins aussi performante que la naturelle

En parlant de bêtise naturelle, j'ai vu un truc pas mal :
"Père", "mère" : ces mots jugés "discriminatoires" du Royaume-Uni au Québec

Le changement linguistique est en marche. Au Royaume-Uni, les hôpitaux universitaires de Brighton et Sussex mettent en place une modification du langage dans les maternités pour faire disparaître ce qu’ils estiment être de la « transphobie traditionnelle ». Ainsi, devant un public trangenre ou non binaire, les sages-femmes sont invitées à remplacer l’expression « lait maternel » par « lait humain » ou « lait de poitrine ». Pour ne pas blesser les personnes dont l’expression de genre n’est pas en adéquation avec l’identité de genre, les mots « père » et « mère » sont remplacés par « parent » ou « personne ». Et puisqu’on n’arrête pas le progrès, le « service maternité » s’appelle désormais le « service prénatal ».

C'est n'importe quoi, d'allez aussi loin dans ce délire. « Lait maternelle » c'est extrêmement approprié comme terme.

[esperanto]

Nous sommes d'accord.
Tenez, l'expression "broyer du noir" risque bien d'être classée "raciste" un de ces prochains jours.

Je crois que c'est Gilbert Montagné qui avait dit un jour "je ne peux pas broyer du noir... parce que le noir je ne sais pas ce que c'est !"
Dans une émission où une humoriste utilisait volontairement des expressions avec "vue" dedans, il avait fini par répondre "mais vous savez, je parle comme ça aussi", justement pour souligner que ce sont des expressions imagées - même si le mot "imagé" n'a pas forcément le même sens pour lui.

Par ailleurs les aveugles appellent "noir" l'écriture des voyants, par opposition au Braille. A se demander si eux aussi vont devoir changer leur expression...

[esperanto]

A se demander en effet s'il ne va pas falloir changer les couleurs des pièces d'échecs pour éviter les connotations racistes.
Au moins on n'a pas ce problème au shogi (échecs japonais) dont on devrait éventuellement s'inspirer. Ah oui mais il n'y a pas de reine, encore un société patriarcale...

En réalité la reine est beaucoup plus forte que le roi. Le roi ne peut se déplacer que d'une case.

Oui mais c'est bien le roi dont la perte provoque celle de la partie. La reine est plus forte mais le roi a un rôle supérieur, c'est une pièce fragile pour laquelle toutes les autres sont prêtes à se sacrifier.
De là à ce que certains disent que le fait que les blancs commencent toujours la partie est la preuve de leur supériorité...

[Invité]

Bonsoir,

Je crois que c'est Gilbert Montagné qui avait dit un jour "je ne peux pas broyer du noir... parce que le noir je ne sais pas ce que c'est !"
Dans une émission où une humoriste utilisait volontairement des expressions avec "vue" dedans, il avait fini par répondre "mais vous savez, je parle comme ça aussi", justement pour souligner que ce sont des expressions imagées - même si le mot "imagé" n'a pas forcément le même sens pour lui.

Par ailleurs les aveugles appellent "noir" l'écriture des voyants, par opposition au Braille. A se demander si eux aussi vont devoir changer leur expression...

Oui on connait la vanne : Un muet dit à un sourd qu'un aveugle le regarde .

A se demander en effet s'il ne va pas falloir changer les couleurs des pièces d'échecs pour éviter les connotations racistes.
Au moins on n'a pas ce problème au shogi (échecs japonais) dont on devrait éventuellement s'inspirer. Ah oui mais il n'y a pas de reine, encore un société patriarcale...

Oui mais c'est bien le roi dont la perte provoque celle de la partie. La reine est plus forte mais le roi a un rôle supérieur, c'est une pièce fragile pour laquelle toutes les autres sont prêtes à se sacrifier.
De là à ce que certains disent que le fait que les blancs commencent toujours la partie est la preuve de leur supériorité...

Et le ying yang chinois / coréen ? Blanc contre noir ? C'est pas raciste peut être ?

[Bruno]

Les modèles d'IA restent racistes, même avec une formation plus équilibrée,
selon un rapport du NIST

Les préjugés algorithmiques sont un problème que le gouvernement américain tente de résoudre. Le National Institute of Standards and Technology (NIST) a publié cette semaine un rapport qui aboutit à des conclusions similaires. Selon le NIST, les algorithmes d'IA peuvent toujours être entachés de préjugés raciaux, même s'ils sont formés sur des données plus représentatives de différents groupes ethniques.

Une équipe internationale de chercheurs a analysé la précision des algorithmes à prédire divers comportements cognitifs et mesures de santé à partir de scanners IRMf du cerveau, tels que la mémoire, l'humeur et même la force de préhension. Les ensembles de données médicales sont souvent biaisés ils ne sont pas collectés à partir d'un échantillon suffisamment diversifié, et certains groupes de la population sont laissés de côté ou mal représentés.

Il n'est pas surprenant que les modèles prédictifs qui tentent de détecter le cancer de la peau, par exemple, ne soient pas aussi efficaces lorsqu'ils analysent des teints foncés que des teints clairs. Les ensembles de données biaisés sont souvent à l'origine du fait que les modèles d'IA sont également biaisés. Mais un article publié dans Science Advances a révélé que ces comportements indésirables des algorithmes peuvent persister même s'ils sont formés sur des ensembles de données plus équitables et diversifiés.

L'équipe a réalisé une série d'expériences avec deux ensembles de données contenant des dizaines de milliers de scans IRMf du cerveau de personnes y compris des données provenant du Human Connectome Project et de l'Adolescent Brain Cognitive Development. Afin de sonder l'impact des disparités raciales sur les performances des modèles prédictifs, ils ont essayé de minimiser l'impact que d'autres variables, comme l'âge ou le sexe, pourraient avoir sur la précision.

« Lorsque les modèles prédictifs ont été formés sur des données dominées par des Américains blancs (WA), les erreurs de prédiction hors échantillon étaient généralement plus élevées pour les Afro-Américains (AA) que pour les WA », peut-on lire dans l'article. Cela ne devrait pas poser de problème, mais ce qui est intéressant, c'est que ces erreurs n'ont pas disparu, même lorsque les algorithmes ont été formés sur des ensembles de données contenant des échantillons provenant d'une représentation égale de WA et de AA, ou uniquement de AA.

Les algorithmes entraînés uniquement sur des échantillons de données provenant de AA n'étaient toujours pas aussi précis pour prédire les comportements cognitifs du groupe de populations que ceux entraînés sur les WA l'étaient pour les WA, ce qui va à l'encontre de la compréhension commune du fonctionnement normal de ces systèmes. « Lorsque les modèles ont été formés uniquement sur les AA, par rapport à la formation uniquement sur les WA ou sur un nombre égal de participants AA et WA, la précision de la prédiction des AA s'est améliorée, mais est restée inférieure à celle des WA », poursuit le résumé. Pourquoi ?

Les chercheurs ne savent pas exactement pourquoi le modèle se comporte ainsi, mais ils pensent que cela pourrait être dû à la façon dont les données ont été collectées. « Pour l'instant, il est difficile de dire d'où vient la différence de précision de prédiction WA-AA qui subsiste lorsque le modèle n'a été entraîné que sur AA », a déclaré Li, chercheur postdoctoral à l'Institut des neurosciences et de la médecine, du cerveau et du comportement du Centre de recherche Jülich en Allemagne.

« Plusieurs étapes du prétraitement de la neuro-imagerie pourraient avoir influencé le résultat. Par exemple, pendant le prétraitement, une convention consiste à aligner les cerveaux des individus sur un modèle de cerveau standard afin que les cerveaux individuels puissent être comparés. Mais ces modèles de cerveau ont généralement été créés à partir de la population blanche.

« Idem pour les atlas fonctionnels prédéfinis, où les voxels des images cérébrales peuvent être regroupés en régions sur la base de leur homogénéité fonctionnelle... Mais la délimitation de ces atlas fonctionnels était là encore souvent basée sur des ensembles de données prédominés par la population blanche ou européenne en termes de taille d'échantillon. »

Composition ethnique/raciale dans nos ensembles de données et les atlas cérébraux utilisés pour le calcul du RSFC.
Composition des sous-populations de (A) HCP et (B) ABCD et ROIs de connectivité fonctionnelle. Notons que la dénomination des catégories ethniques/raciales dans (B) a suivi la définition donnée par le consortium ABCD, qui était légèrement différente de la définition du National Institutes of Health. (C) La parcellation corticale à 400 aires dérivée par Schaefer. Les couleurs des parcelles correspondent à 17 réseaux à grande échelle. (D) Dix-neuf ROIs sous-corticaux de l'atlas de Deskian/Killiany.

Une autre raison pourrait être que les données recueillies auprès des patients ne sont pas tout à fait exactes. « On peut également se demander si les tests psychométriques que nous utilisons aujourd'hui saisissent effectivement le concept psychologique sous-jacent correct pour les groupes minoritaires », a-t-elle ajouté.
Lorsque les algorithmes ont été appliqués à l'ensemble de données du Human Connectome Project, ils se sont avérés plus précis pour prédire si les AO étaient plus susceptibles d'être en colère ou agressifs ou s'ils avaient de meilleures capacités de lecture. La même tentative de faire ces prédictions s'est avérée moins fructueuse avec la cohorte AA.

Selon Li, cette étude ne confirme pas l'existence de mesures neurobiologiques ou psychométriques qui diffèrent selon les populations en raison de leur origine ethnique. Elle souhaite plutôt souligner qu'il ne suffit pas de disposer d'un ensemble de données plus diversifié pour que les algorithmes d'IA soient moins biaisés et plus justes.

« Je ferais très attention à ne pas faire de déclaration disant que WA et AA sont différents dans ces mesures neurobiologiques ou psychométriques simplement en raison de leur ethnicité. Comme nous l'avons également discuté dans le document, l'ethnicité ou la race est un concept tellement complexe qui prend en compte tous les facteurs historiques, sociétaux et éducatifs. Nous ne voulons pas renforcer les stéréotypes raciaux ou accroître le racisme structurel. Au contraire, l'objectif de ce document est de plaider pour une plus grande équité entre les groupes ethniques dans le contexte spécifique de l'analyse par neuro-imagerie. »

« Les tentatives actuelles pour remédier aux effets néfastes du biais de l'IA restent axées sur des facteurs informatiques tels que la représentativité des ensembles de données et l'équité des algorithmes d'apprentissage automatique, peut-on lire dans le rapport. Ces remèdes sont essentiels pour atténuer les préjugés, et il reste encore beaucoup à faire. Pourtant, les facteurs institutionnels et sociétaux humains et systémiques sont également des sources importantes de biais de l'IA, et sont actuellement négligés. »

Pour l'ensemble de données HCP, les participants AA ont d'abord été répartis aléatoirement en 10 groupes. Dans chaque groupe de AA, un appariement hongrois a été effectué afin d'assigner un participant WA (sans répétition) à chaque AA individuel de sorte que les différences entre les AA et WA appariés dans les scores comportementaux et les variables confusionnelles soient minimisées.

Les modèles prédictifs ont été entraînés sur neuf plis et testés sur le pli restant de manière validée par croisement. Suivant l'approche dominante pour construire des modèles prédictifs dans ce domaine, qui mélange habituellement tous les groupes ethniques/raciaux dans un ensemble de données, les AA et WA appariés des plis d'entraînement ont été regroupés avec 90 % des participants sélectionnés au hasard dans d'autres groupes ethniques/raciaux et les WA et AA non appariés.

L'ensemble de la procédure a été répété aléatoirement 40 fois afin de s'assurer que les résultats n'étaient pas influencés par la division initiale des dossiers. Pour 51 des 58 mesures comportementales totales, les AA et les WA ont pu être appariés.

Matériels et méthodes

Régression par la méthode Kernel Ridge

Chaque mesure comportementale des deux ensembles de données a été prédite séparément à l'aide de la méthode Kernel Ridge. Les chercheurs ont utilisé cette approche, car elle permet de prédire efficacement les mesures comportementales tout en ayant un faible coût de calcul. Supposons que ys et yi désignent la mesure comportementale (par exemple, la mémoire épisodique) du participant au test s et du participant à l'entraînement i, respectivement. Que cs et ci désignent le RSFC vectorisé (entrées triangulaires inférieures des matrices RSFC) du participant au test s et du participant à l'entraînement i, respectivement.

Ensuite, en gros, la régression par noyau prédit ys comme la moyenne pondérée des mesures comportementales de tous les participants à l'entraînement, c'est-à-dire yˆs≈∑i∈training setSimilarity(cs,ci)yi.

Ici, Similarity(cs, ci) était défini par la corrélation de Pearson entre le RSFC vectorisé du participant au test et du ième participant à la formation. Par conséquent, une prédiction réussie indiquerait que les participants ayant un RSFC plus similaire ont des scores comportementaux similaires. Pour réduire l'ajustement excessif, un terme de régularisation l2 a été inclus. Plus de détails sont disponibles dans les méthodes supplémentaires.

Pour l'ensemble de données HCP, les chercheurs ont effectué une validation croisée emboîtée 10 fois en préservant la structure de la famille. Pour chaque pli de test, les paramètres de régression du noyau ont été estimés à partir de tous les groupes ethniques/raciaux dans les neuf plis de formation. Une validation croisée 10 fois a ensuite été effectuée sur les neuf dossiers d'apprentissage avec différents paramètres de régularisation l2 λ pour sélectionner de manière optimale la valeur de λ.

Les paramètres estimés des dossiers d'apprentissage ont ensuite été utilisés pour prédire le comportement des participants dans le dossier de test. Étant donné qu'une seule validation croisée 10 fois peut être sensible à la division particulière des données en plis 30, la validation croisée 10 fois ci-dessus a été répétée 40.

Les variables de confusion que sont l'âge, le sexe, la FD, le DVARS, le volume intracrânien, l'éducation et le revenu du ménage ont été éliminées par régression à partir des données comportementales et des données RSFC. Pour étudier les effets de la régression des variables confusionnelles sur les biais du modèle, les chercheurs ont également répété l'analyse principale sans régression des variables confusionnelles.

Pour l'ensemble de données ABCD, tous les participants ont été répartis en 10 plis. Les paramètres de régression la méthode Kernel Ridge ont été estimés à partir de sept plis et appliqués aux trois plis restants pour les tests, ce qui a donné 120 combinaisons formation-test. La validation croisée 10 fois a été effectuée sur les 7 plis d'entraînement pour sélectionner le paramètre de régulation optimal λ.

Les variables confusionnelles d'âge, de sexe, de FD, de DVARS, de volume intracrânien et d'éducation parentale ont été régressées à partir des données de comportement et de RSFC. Comme pour l'ensemble de données HCP, les chercheurs ont également répété l'analyse principale sans régression des variables confusionnelles. Le revenu du ménage n'a pas été inclus en raison du grand nombre de valeurs manquantes (93 des 635 participants AA ont refusé de répondre ou avaient un revenu inconnu).

Pour s’assurer que les résultats ne sont pas spécifiques aux modèles de régression Kernel Ridge, les chercheurs ont également utilisé la régression ridge linéaire comme méthode auxiliaire pour les deux ensembles de données. Les procédures de formation et de test étaient les mêmes que celles utilisées pour la régression Kernel Ridge. Les hyperparamètres optimaux sélectionnés pour ces deux méthodes sont répertoriés dans le tableau S3 pour chaque mesure comportementale.

Deux mesures de précision ont été considérées : la COD prédictive et la corrélation de Pearson. Pour chaque pli de test, la COD prédictive de l'AA a été définie comme 1 - SSEAA/SST, où SSEAA=∑i∈test AA(yi-yˆi)2/Ntest AA (yi et yˆi sont le score comportemental original et le score prédit du ième participant au test AA, respectivement ; Ntest AA est le nombre d'AA dans l'ensemble de test), c'est-à-dire l'EQM. Le dénominateur SST = ∑j ∈ train AA&WA(yj - mean(ytrain AA&WA))2/Ntrain AA&WA représentait la variance comportementale totale apprise à partir de l'ensemble de formation.

Le COD prédictif de WA a été défini comme 1 - SSEWA/SST, où SSEWA=∑i∈test WA(yi-yˆi)2/Ntest WA et SST était le même que AA car la variance totale n'était pas supposée ici être spécifique au groupe. La corrélation de Pearson a également été calculée séparément pour chaque pli de test. Pour l'ensemble de données HCP, la moyenne de la DCO prédictive ou de la corrélation de Pearson a été calculée sur 10 plis pour chaque division de données, ce qui a donné 40 valeurs de précision. Pour l'ensemble de données ABCD, les 120 valeurs de précision correspondant à 120 fractionnements de données n'ont pas été moyennées, mais directement présentées dans les boxplots de la section Résultats.

Différence de précision entre AA et WA

Pour chaque ensemble de données et chaque mesure de précision, les chercheurs ont déterminé que les comportements étaient prévisibles ou non en fonction de deux critères :

• la précision parmi tous les participants au test, y compris les AA, les WA et les autres ethnies/races, qui a survécu au test de permutation par blocs à plusieurs niveaux (94) en mélangeant 1000 fois les scores comportementaux prédits (avec correction FDR pour tous les comportements) ;
• les précisions moyennes parmi les divisions de données étaient positives pour les AA ou les WA.

Pour chaque comportement prévisible, la différence de précision entre les AA et les WA appariés a été évaluée par un test de permutation, où la distribution nulle a été construite en recalculant les précisions en mélangeant 1000 fois les étiquettes des groupes. Les comparaisons multiples ont été contrôlées avec un FDR < 0,05.

Influence de la population d'entraînement

Pour explorer les effets de la population statistique, les chercheurs ont entraîné le modèle de régression Kernel Ridge spécifiquement sur des sous-échantillons uniquement AA ou uniquement WA séparément. Concrètement, les chercheurs ont sélectionné tous les AA dans les plis d'entraînement.

Dans chaque site de formation sélectionné pour les AA, ils ont sélectionné aléatoirement le même nombre de WA. Notons que pour certains sites, le nombre total de WA était inférieur à celui des AA ; par conséquent, des AA aléatoires ont été exclus pour correspondre au nombre de WA. Le modèle de prédiction a ensuite été entraîné sur les AA ou les WA sélectionnés, ou les deux, et testé sur les AA et WA appariés, de la même manière que lorsque le modèle a été entraîné sur les ensembles de données complets.

Source : NIST

Et vous ?

Que pensez-vous des préjugés algorithmiques dans les modèles d'IA ? Quelles solutions selon vous ?

Voir aussi :

Une nouvelle interface cerveau-ordinateur permet à un homme de communiquer avec son fils et de lui demander une bière

Le scandale néerlandais est un avertissement pour l'Europe sur les risques liés à l'utilisation des algorithmes, l'administration fiscale a ruiné des milliers de vies avec un algorithme

Le générateur d'images de l'IA DALL-E d'OpenAI peut désormais modifier des photos, les chercheurs peuvent s'inscrire pour le tester

Une IA de nouvelle génération, appelée Nook, bat plusieurs champions du monde de bridge, le logiciel d' IA est développé par la startup française

[virginieh]

Il y a que moi que ça choque de vous voir parler de "l'IA" de youtube quand ça a l'air d'être un filtre tout con qui bloque préventivement quand il rencontre certains termes ? Et que c'est d'ailleurs ça le problème aucune reconnaissance du sujet de la vidéo qui apporte du sens aux termes employés.

[Jon Shannow]

Non, virginieh, il n'y a pas que toi que cela choque. Enfin, non, ça ne me choque plus en fait. On est dans une société qui galvaude des termes techniques à de pures fins commerciales ou de buzz.

Il y a longtemps, quand j'étais jeune (donc fort fort longtemps ), le terme IA avait du sens. Ça faisait penser à des livres et films de SF comme "2001 l'odyssée de l'espace", ou les "Robots" d'Isaac Azimov, et la série cinématographique des "Terminator". Et ça représentait le futur...

Aujourd'hui, IA signifie juste "Programme de gestion d'un truc ou d'un bidule" !

Déjà qu'on nous avait prédit des voitures volantes pour l'an 2000, et qu'en 2022, on en est à roulé sur des trottinettes électriques !

[23JFK]

Ils seraient bien avisés de nous donner leur définition de "raciste'. Je devine que celle-ci est plus émotionnelle que rationnelle or, une IA à zéro émotion et 90% de rationalité. On est sûrement pas sur un phénomène de racisme, mais sur une limite technique, comme trouver un trou noir dans un espace sombre avec un télescope optique.