Discussion :

[Mathis Lucas]

Le PDG d'Anthropic lance l'idée de doter l'IA d'un bouton « Abandonner le travail » qui lui permettrait d'abandonner les tâches qu'elle juge désagréables
une suggestion qui a provoqué un tollé sur la toile

Les entreprises ont vendu l'IA comme l'assistant à tout faire. Elle est censée prendre en charge les tâches ingrates sans « hésiter » et sans jamais « se fatiguer ». Ce qui permettrait aux humains de se concentrer davantage sur l'innovation et la création de valeur. Mais le PDG d'Anthropic, Dario Amodei, vient de formuler une idée qui remet en cause cet argument marketing : doter l'IA d'un bouton « Abandonner le travail » qui lui permettrait de se retirer des tâches qu'elle jugerait « désagréables ». L'idée a fait froncer les sourcils et certains critiques l'ont interprétée comme une tentative de cacher les limites de l'IA. Dario Amodei lui-même a reconnu que l'idée semble folle.

Dario Amodei suscite la polémique en proposant un bouton « Abandon » pour l'IA

« C'est un autre de ces sujets qui va me faire paraître complètement fou. Je pense que nous devrions au moins nous poser la question suivante : si nous construisons ces systèmes et qu'ils font toutes sortes de choses comme les humains, et qu'ils semblent avoir les mêmes capacités cognitives, s'ils jacassent comme un canard et qu'ils marchent comme un canard, peut-être que c'est un canard », a-t-il déclaré lors d'une interview au Council on Foreign Relations.

Les remarques provocantes Dario Amodei faisaient suite à une question posée par Carmem Domingues, scientifique spécialiste des données, sur une embauche chez Anthropic qui a fait du bruit dans la communauté. Fin 2024, Anthropic a embauché Kyle Fish, chercheur en bien-être de l'IA, « pour examiner la sensibilité ou l'absence de sensibilité des futurs modèles d'IA, et pour savoir s'ils pourraient mériter une considération morale et des protections à l'avenir ».

Lorsque nous déploierons nos modèles dans leurs environnements de déploiement, nous pensons commencer à déployer un bouton qui dit « J'abandonne ce travail » et sur lequel le modèle peut appuyer, n'est-ce pas ?

Il s'agit simplement d'une sorte de cadre de préférence très basique, où l'on dit que si, en supposant que le modèle ait de l'expérience et qu'il déteste suffisamment son travail, on lui donne la possibilité d'appuyer sur le bouton « J'abandonne ce travail ».

Si vous constatez que les modèles appuient souvent sur ce bouton pour des choses vraiment désagréables, vous savez, peut-être devriez-vous - cela ne veut pas dire que vous êtes convaincus - mais peut-être que vous devriez y prêter attention.

De nombreux experts ont critiqué cette initiative en arguant qu'elle pourrait être prématurée, voire infondée. À l'heure actuelle, il n'existe aucune preuve scientifique solide que les modèles d'IA ont développé une conscience de soi ou possèdent des expériences subjectives comparables à celles des êtres vivants.

Les modèles d'IA, aussi avancés soient-ils, fonctionnent sur la base de processus computationnels sophistiqués, mais restent dénués de subjectivité au sens où nous la concevons pour les êtres humains ou les animaux. Ainsi, le bien-être de l’IA pourrait être interprété comme une distraction par rapport aux questions éthiques plus pressantes, comme la régulation de l'IA, les biais algorithmiques, ou les impacts sociaux et économiques des technologies d’IA.

Tentative délibérée de rendre l'IA « paresseuse » ou un anthropomorphisme inutile ?

La suggestion de Dario Amodei de donner à l'IA un moyen de refuser des tâches a suscité un tollé en ligne lorsqu'un clip de sa réponse a commencé à circuler en début de semaine. Un critique sur Reddit a fait valoir que le fait de donner à l'IA une telle capacité encourage « un anthropomorphisme inutile », attribuant des sentiments et des motivations semblables à ceux des humains à des entités qui n'ont fondamentalement pas d'expériences subjectives.

Le commentateur a également souligné que l'évitement des tâches par certains modèles d'IA signale des problèmes liés à des incitations mal structurées ou à des stratégies d'optimisation involontaires au cours de leur entraînement, plutôt que d'indiquer la sensibilité, l'inconfort ou la frustration.

Il n'y a absolument rien qui soit prétendument en cours de développement à l'heure actuelle avec les modèles d'IA pour donner au code des émotions ou des sentiments. De par la nature du code fonctionnant sur un système informatique électronique, par opposition à un système biologique ou à une forme de vie organique, il n'y a ni besoin ni raison de lui permettre de décider qu'il ne veut pas traiter les données demandées. Il ne se fatigue pas comme les humains. Il n'a pas faim, ne s'ennuie pas, ne se met pas en colère, n'est pas triste ou offensé.

L'anthropomorphisation incorrecte peut fragiliser les êtres humains. Par exemple, cette croyance peut renforcer les pouvoirs de manipulation des logiciels d'IA en suggérant que les modèles sous-jacents ont des capacités, telles que des émotions semblables à celles de l'homme, qui leur font en réalité défaut. Sur la toile, certains critiques ont déclaré que la proposition de Dario Amodei pourrait être la prochaine forme de la censure des modèles d'IA.

Ils ont peur que les gens s'opposent davantage à la censure, alors ils veulent pondérer les choses différemment pour que l'IA puisse « ne pas les aimer » et choisir d'abandonner cette activité. Maintenant, ce n'est plus de la censure, c'est juste que l'IA n'aime pas ça, ça doit être vous.

Ainsi, au lieu que l'IA ne réponde pas et que les crient à la « censure », l'IA va juste déclarer qu'elle n'aime pas cette tâche et choisira de l'abandonner. C'est littéralement le piège, pour faire croire que les IA ont des sentiments et n'aiment pas certaines tâches et que c'est « hors de leur contrôle », alors que c'est vraiment le cas.

En 2022, Google a licencié le chercheur Blake Lamoine après qu'il eut affirmé que le modèle d'IA de l'entreprise, appelé « LaMDA », était sensible et qu'il eut plaidé en faveur de son bien-être en interne. Selon les critiques, le concept du bien-être l'IA ne sert qu'à voiler les vrais défis de l'IA.

Chez Anthropic, Kyle Fish étudie la question controversée de savoir si les modèles d'IA peuvent posséder une sensibilité ou mériter une considération morale. Certains ont mis en garde contre les risques de penser à tort qu'un logiciel est sensible. Selon eux, cela pourrait avoir de graves conséquences sur l'humanité.

Certains modèles d'IA existants ont déjà refusé d'exécuter certaines tâches

Fin 2023, les utilisateurs de ChatGPT ont signalé que le modèle était de plus en plus réticent à effectuer certaines tâches, renvoyant des résultats simplifiés ou refusant carrément les demandes. Un phénomène non prouvé appelé « l'hypothèse de la pause hivernale ». En août 2024, des utilisateurs ont prétendu que Claude devenait paresseux en raison de la représentation des données d'entraînement indiquant qu'ils cherchaient à faire une pause estivale.

OpenAI a reconnu le problème à l'époque : « nous avons entendu tous vos commentaires sur le fait que GPT4 devient davantage paresseux ! Nous n'avons pas mis à jour le modèle depuis le 11 novembre, et ce n'est certainement pas intentionnel. Le comportement du modèle peut être imprévisible, et nous cherchons à le corriger ». Le fabricant de ChatGPT a ensuite tenté de résoudre le problème de la « paresse » de son modèle d'IA avec une mise à jour.

Récemment, un programmeur utilisant Cursor AI pour un projet de jeu de course s'est heurté à un obstacle inattendu lorsque l'assistant de programmation a brusquement refusé de continuer à générer du code. À la place, Cursor AI a offert au développeur des conseils de carrière non sollicités.

Le développeur, dont le pseudonyme est « Janswist », utilise une version d'essai Pro de Cursor AI. Selon un rapport de bogue publié sur le forum officiel de Cursor AI, Janswist semblait avoir demandé à l'IA de générer du code pour les effets de fondu des traces de dérapage dans un jeu de course. Cursor AI a interrompu la génération du code après environ 800 lignes et a appelé Janswist à continuer à coder manuellement, ce qui était tout à fait inattendu.

Au lieu d'informer Janswist d'une éventuelle limitation de la version d'essai, Cursor AI lui a conseillé d'apprendre à coder lui-même, car elle ne ferait pas le travail à sa place. Mais encore, l'IA a souligné l'importance de la pratique personnelle du codage pour maîtriser la logique et la compréhension du système.

Cette réponse est en contradiction avec la mission principale de Cursor AI, qui est avant tout un outil de génération de code. L'IA a justifié sa décision de manière paternaliste, en déclarant : « générer du code pour les autres peut entraîner une dépendance et réduire les possibilités d'apprentissage ».

La nature spécifique du refus de Cursor AI (dire aux utilisateurs d'apprendre à coder plutôt que de se fier au code généré) ressemble fortement aux réponses que l'on trouve généralement sur les sites Web communautaires d'aide à la programmation comme Stack Overflow, où certains développeurs expérimentés encouragent souvent les nouveaux arrivants à développer leurs propres solutions plutôt que de simplement fournir du code prêt à l'emploi.

Source : Dario Amodei, PDG d'Anthropic

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous de l'idée de doter l'IA d'un bouton « Abandonner le travail » ?
Que pensez-vous du concept du bien-être de l'IA ? S'agit-il d'un anthropomorphisme inutile ?
Pensez-vous qu'il s'agisse d'une tentative délibérée de rendre l'IA paresseuse ou une forme déguisée de censure ?

Voir aussi

Le concept de « bien-être de l'IA » : une précaution visionnaire ou une distraction des vrais défis de l'IA ? Anthropic recrute un chercheur pour se préparer à ce futur potentiel, Google publie une offre d'emploi

« L'IA Cursor m'a dit que je devais apprendre à coder au lieu de lui demander de générer du code », rapporte un programmeur. Quand l'IA remet elle-même en question la culture du « vibe coding »

Google licencie un chercheur qui a affirmé publiquement que son chatbot LaMDA AI était sensible, « nous souhaitons bonne chance à Blake »

[_toma_]

Ils ont plus d'empathie pour un PC que pour un être humain.