Discussion :

[xavfree]

Les informaticiens et scientifiques sont les idiots utiles manipulés du système mortifère actuel. Continuez les fourmis de faire votre petit travail la suite sera moins drôle ...

[Ryu2000]

le lien avec le taux de criminalité ne vient pas de la couleur mais de la classe sociale.

Exactement. Le truc c'est qu'aux USA un pourcentage élevé des noirs sont pauvres.
Donc statistiquement si tu prends 10 millions d'étasuniens noir et 10 millions d'étasuniens blanc, il devrait y avoir plus de criminel chez les noirs.

Mais après si tu compares les enfants d'un millionnaire noir, avec les enfants d'un couple de fumeur de méthamphétamine blanc, les enfants blancs ont plus de chance de mal finir.

Comme prendre le contrôle d'un parti écologique pour en faire un parti islamique.

Quoi ?!

« Compte tenu du racisme structurel et de la brutalité qui caractérisent le maintien de l'ordre aux États-Unis, nous ne pensons pas que les mathématiciens devraient collaborer de cette manière avec les services de police », écrivent les auteurs de la lettre. « Il est tout simplement trop facile de créer un vernis "scientifique" pour le racisme. Veuillez vous joindre à nous pour vous engager à ne pas collaborer avec la police. C'est, en ce moment, le moins que nous puissions faire en tant que communauté ». Une page de signature de la lettre est mise en ligne via une page Google Docs, et la liste des cosignataires est consultable sure une page Web dédiée au mouvement de Boycott.

Non mais qu'est-ce que c'est que ces histoires de racisme structurel de la police US...
La police n'est pas raciste, d'ailleurs il y a plein de policiers noirs et ils tuent des blancs et des noirs comme les autres ^^.

Il ne faut pas croire que tous les noirs sont gentils, dans le tas il y a des gens violent. (ils se tuent principalement entre eux)
‘More police officers are shot and killed by blacks than police officers kill African-Americans,’ claims former New York Mayor Giuliani

“The unarmed shootings — which are the ones that are the troublesome ones — there are only 9 of them against blacks — 20 against whites in 2019. So that‘ll give you a sense. Meanwhile, there were 9,000 murders of blacks, 7,500 of which were black-on-black,” Giuliani told Fox’s Ed Henry during a recent interview.

Dommage que cet article soit payant :
The Myth of Systemic Police Racism

Bref ces histoires de données qui font que les algorithmes sortent des résultats bizarre ça rappelle ça :
Des employeurs font appel à des systèmes de recrutement s'appuyant sur l'intelligence artificielle, qui analysent des éléments comme les mouvements faciaux pour déterminer qui mérite un emploi
Les machines sont-elles racistes?
Des chercheurs du MIT créent la première intelligence artificielle psychopathe Pour illustrer le problème de biais des données nourries aux IA

[Christian_B]

Après, les "préjugés" me font bien rire. On voudrait nous faire croire que le problème sont les "préjugés".

Nier l'importance des préjugés dans les dysfonctionnement d'une société est typique de ceux qui partagent ces préjugés sans tout à fait le dire. D'ailleurs le racisme n'est pas le seul problème. C'est un aspect des fortes injustices régnant aux E-U., pays riche où il y a beaucoup de gens pauvres et en situation difficile.

Jusqu'à essayer de nous faire croire que cette criminalité est la résultante des préjugés des policiers.

Déformation grossière. Qui dit ça ? L'ensemble des discrimination contribue à une situation de tension et de violence.
D'ailleurs tu t'exprimes comme si les chiffres cités étaient objectifs. Mais, surtout dans certains états du Sud, ces chiffres reflètent en partie le traitement différent des délits (le mot crime correspondant à une minorité de cas extrêmes) selon la couleur de peau et la situation sociale des délinquants.

car contrairement à ce qu'on veut nous faire croire, la pauvreté ne suffit pas à causer la criminalité, et surtout dans de telles proportions.

Là aussi, qui dit ça ? Personne. Les délits (et à fortiori les crimes) restent de fait d'une minorité dans toutes les populations. D'ailleurs il y a délits et délits (ou crimes et crimes). Ceux des gens aisés, notamment des dirigeants économiques et politiques, sont souvent différents et ne sont généralement pas traqués par la police dans les rues (même quand ils ne sont pas couverts).

Et puis tous les chevaliers de la vertu montent au créneaux ces derniers mois pour défendre un criminel qui s'est fait tué par un policier.

Où as-tu encore été chercher que c'était un "criminel" ? Ce qui n'aurait d'ailleurs pas justifié son assassinat.

Pas brillant tout ça pour un champion de Méthode et de la Rigueur.

[Neckara]

Nier l'importance des préjugés dans les dysfonctionnement d'une société est typique de ceux qui partagent ces préjugés sans tout à fait le dire.

Oh le joli déshonneur par association...
C'est typique des gens qui n'ont aucun arguments pour défendre leur position.

Déformation grossière. Qui dit ça ?

C'est bien de participer à un tel débat, mais c'est mieux de le faire en ayant connaissance des idéologies en jeu...

Va prendre n'importe quel militant/sociologue qui milite dans ce domaine, et écoute ce qu'il dit... tu serais surpris...

L'ensemble des discrimination contribue à une situation de tension et de violence.

Oui, c'est la faute des discriminations... pas la faute des militants qui vont :

• inventer des discriminations imaginaires pour se donner une raison de vivre ;
• promouvoir des mesures discriminatoires ;
• enlever aux personnes tout sens des responsabilités ;
• inciter à la haine ;
• légitimer et inciter à la violence ;
• et qui monteront en épingle tout ce qui leur tomberont sous le nez.

C'est pas la discrimination qui contribue à une situation de violence, c'est la propagande de ces militants, dont ces mêmes militants vont activement participer à ces violences, ou qui vont les provoquer.

Qui vont monter en épingle des affaires où la "victime" est un malfrat de la pire espèce qui meurt des suites de ses prises de drogues multiples, qui vont passer sous silence des réelles affaires de bavures policières parce que la victime n'est pas de la bonne couleur de peau... puis qui vont tuer une petite fille noire de 8 ans, sans que personne n'en ai rien à foutre. .

D'ailleurs tu t'exprimes comme si les chiffres cités étaient objectifs. Mais, surtout dans certains états du Sud, ces chiffres reflètent en partie le traitement différent des délits (le mot crime correspondant à une minorité de cas extrêmes) selon la couleur de peau et la situation sociale des délinquants.

Là aussi, qui dit ça ? Personne.

... ce serait plus crédible s'il n'y avait pas eu quelques personnes dans ce forum pour en parler...

Ah c'est sur que si tu n'écoutes personne avant de participer à un débat... t'es pas prêt de comprendre ce qu'on dénonce.

Où as-tu encore été chercher que c'était un "criminel" ? Ce qui n'aurait d'ailleurs pas justifié son assassinat.

Pas brillant tout ça pour un champion de Méthode et de la Rigueur.

si tu avais lu ce forum avant de répondre, tu sauras déjà que ce n'est en rien un assassinat (nécessite préméditation), ni même d'un meurtre...

D'ailleurs, tu aurais un peu suivi l'affaire tu saurais qu'il n'était pas non plus blanc comme neige (). Le terme criminel peut s'employer au sens courant, et pas uniquement au sens pénal. Ainsi une personne commettant des délits peut se faire qualifier de criminels...

Donc bien tenté, mais epic fail pour toi.

[Neckara]

D'ailleurs accuser les discriminations est assez risible dans les villes démocrates entièrement acquises à leur cause...


C'est trop facile de tout mettre sur le dos des "discriminations"... Faut voir ce que cela a donné dans CHAZ/CHOP... Là ils n'avaient plus d'excuses, c'est leur "paradis", bâti et géré par eux-même...

[Christian_B]

Sans reprendre en imbrication les commentaires successifs auxquels tu fais allusion (ce serait lourd et chacun peut s'y référer) :

Oh le joli déshonneur par association...
C'est typique des gens qui n'ont aucun arguments pour défendre leur position.

Dès lors que tu nies soit les discriminations massives existant aux E-U (malgré de nombreux faits connus), soit les effets importants qu'elles ont sur leurs victimes (ce qui serait absurde) c'est un négationnisme qui revient à favoriser cette situation. Aucune motivation avouable ne l'explique.
(suite)

C'est bien de participer à un tel débat, mais c'est mieux de le faire en ayant connaissance des idéologies en jeu...
Va prendre n'importe quel militant/sociologue qui milite dans ce domaine, et écoute ce qu'il dit... tu serais surpris...

La déformation grossière dont je parlais et que tu poursuis ici est de prétendre que les militants et sociologues dont tu parles ne dénoncent que les violences policières et pas l'ensemble de la situation sociale dont elle fait partie.

La suite est plus claire : tu parles de "discriminations imaginaires" dans un pays où l'esclavage, puis encore après sa disparition, dans la Sud, les lynchages et encore récemment les condamnations à mort iniques, pèsent sur la société. Et refuser discriminations et violences ce serait les "monter en épingle". C'est très gros et chacun jugera.

Quand à la petite fille noire de 8 ans tuée, c'est évidemment un crime affreux, dont l'auteur d'après ce que j'ai vu n'a pas été retrouvé. Mais dire "qui vont tuer" (en parlant des manifestants) et "personne n'en ai rien à foutre", ce sont deux malhonnêtetés.

ce serait plus crédible s'il n'y avait pas eu quelques personnes dans ce forum pour en parler

Parler de ces question ce n'est pas dire que la pauvreté suffit à causer la criminalité. Qui a dit ça ?

ce n'est en rien un assassinat (présupposé préméditation), ni même d'un meurtre

Bon, assassinat n'était sans doute pas justifié, quoique l'exercice gratuit et prolongé d'une violence extrême contre une personne immobilisée dénote chez son auteur une atitude haineuse antérieure à l'acte. Mais meurtre, c'est clair.

La mauvaise blague de style colonial "blanc comme neige", révélatrice, se dénonce d'elle-même. Et le passé délinquant de Floyd (mais pas dans la période récente), à côté de la question, sert de pseudo-justification non recevable au comportement d'un policier au passé de nombreuses violences et attitudes racistes non sanctionnées.

[Neckara]

Dès lors que tu nies soit les discriminations massives existant aux E-U (malgré de nombreux faits connus), soit les effets importants qu'elles ont sur leurs victimes (ce qui serait absurde) c'est un négationnisme qui revient à favoriser cette situation.

Sachant que la très grande majorité est de la victimisation inventée par les militants... Et les "faits connus", je veux bien les voir... car lorsqu'on te ressors en boucle des chiffres comme les "74 cents every dollars earned by a man"... qui ont été débunké en large et en travers, il y a bien une bonne décennies... Je veux bien voir la gueule des autres "nombreux faits connus"...

Aucune motivation avouable ne l'explique.

Ben oui, si je n'adhère pas à ta position, c'est que je dois être un nazi raciste, hein...

La déformation grossière dont je parlais et que tu poursuis ici est de prétendre que les militants et sociologues dont tu parles ne dénoncent que les violences policières et pas l'ensemble de la situation sociale dont elle fait partie.

merci pour la déformation grossière de mes propos...

La suite est plus claire : tu parles de "discriminations imaginaires" dans un pays où l'esclavage, puis encore après sa disparition, dans la Sud, les lynchages et encore récemment les condamnations à mort iniques, pèsent sur la société.

l'esclavage a été aboli en 1865... Soyons sérieux, cela fait 155 ans... si t'as besoin d'aller chercher aussi loin, c'est bien que la situation n'est finalement pas aussi horrible...

Et pour les condamnations à morts iniques, t'as vu ça où ?

Et refuser discriminations et violences ce serait les "monter en épingle". C'est très gros et chacun jugera.

Tu ne sais même pas à quel point tu es à côté de la plaque mon pauvre...

Ils ne refusent en rien les discriminations et les violences, bien au contraire, ILS MILITENT POUR ! Ils sont à 300% pour la discrimination, toute leur idéologie se base dessus. Les violences, ils les justifient et les encouragent, et c'est pas l'actualité récente qui va me donner tort...

Et si, ils montent en épingle des affaires, allant jusqu'à mentir de manière éhontée sur les circonstances, sans jamais corriger les faits lorsque la lumière complète est faite... Quand un violent criminel avec un flingue pointant les policiers se transforme en un pauvre innocent désarmés... c'est cette même déformation qui est faire presque systématiquement à chaque mort d'un noir par un policier blanc... si c'est pas monter les affaires en épingle, alors je ne sais pas ce que c'est...

Quand à la petite fille noire de 8 ans tuée, c'est évidemment un crime affreux, dont l'auteur d'après ce que j'ai vu n'a pas été retrouvé. Mais dire "qui vont tuer" (en parlant des manifestants) et "personne n'en ai rien à foutre", ce sont deux malhonnêtetés.

Ah bon ? Et où sont les manifestations ? L'outrage publique ? La remise en cause ?

Et si, se sont bien des militants de CHAZ/CHOP qui ont tué cette petite fille... Et ce n'est d'ailleurs pas la seule à être morte ces derniers mois...

Ah.. la vie des noirs compte... mais pas celle du noir propriétaire de magasin, pas celle du noir qui s'oppose à notre idéologie, pas celle du noir qui n'est pas tué par un blanc...

Bon, assassinat n'était sans doute pas justifié, quoique l'exercice gratuit et prolongé d'une violence extrême contre une personne immobilisée dénote chez son auteur une atitude haineuse antérieure à l'acte. Mais meurtre, c'est clair.

C'est bien de parler sans rien connaître de l'affaire... tu as vu les bodycams des policiers lors de l'affaire ? T'as lu les résultats de l'autopsie ? Il est mort d'overdose de drogue...

Maintenant tu me dis en quoi immobiliser une personne au sol est d'une violence extrême, gratuite et prolongée ?

La mauvaise blague de style colonial "blanc comme neige", révélatrice, se dénonce d'elle-même.

Oui, le colonialisme du XIVe siècle...

Et le passé délinquant de Floyd (mais pas dans la période récente), à côté de la question, sert de pseudo-justification non recevable au comportement d'un policier au passé de nombreuses violences et attitudes racistes non sanctionnées.

Non, ça sert surtout à remettre les choses en contexte, et de dénoncer les mensonges dont on nous abreuve à tenter de nous faire croire que c'était un pauvre innocent...

Et c'est quoi le comportement du policier ? T'as vu les body-cams ? Bien évidemment que non...

[Stéphane le calme]

La police de New York a dépensé des millions pour s'offrir les services d'une entreprise technologique prétendant pouvoir utiliser l'IA,
pour surveiller les réseaux sociaux et prédire qui seront les futurs criminels

La police de New York (NYPD) a dépensé des millions de dollars pour acheter des produits d’une entreprise technologique qui affirme pouvoir utiliser l’intelligence artificielle (IA) pour surveiller les comportements en ligne et même prédire les crimes, selon un nouveau rapport.

Le Surveillance Technology Oversight Project, une organisation à but non lucratif dédiée à la lutte contre la surveillance de masse et à la protection de la vie privée, a publié des versions expurgées des contrats du NYPD avec Voyager Labs, qui montrent que le département a signé un contrat de près de 9 millions de dollars avec l’entreprise en 2018.

Voyager Labs, dont le siège est en Israël, se présente comme un service « d'enquêtes alimentées par l'IA » qui collecte des données à partir de « milliards de "pixels humains" et de signaux » et utilise l'intelligence artificielle pour cartographier les relations, suivre les emplacements géographiques et fournir d'autres données personnelles aux « agences chargées de la sécurité publique ».

« En tirant parti de ce vaste océan de données, ils peuvent obtenir des informations exploitables sur des individus, des groupes et des sujets, puis plonger en profondeur pour en découvrir encore plus », ont écrit les responsables de l'entreprise dans des documents marketing joints à la plainte Meta. Le slogan sur le papier à en-tête de Voyager Labs est : « Mettre en lumière l'individualité ».

Si l’utilisation des analyses des réseaux sociaux par les forces de l’ordre n’est pas nouvelle, Voyager Labs affirme que ses produits sont capables de plus que de la surveillance. L’entreprise a prétendu que ses produits pouvaient également prédire les crimes futurs, selon une enquête du Brennan Center for Justice, un institut de droit et de politique publique.

« Voyager Discover va plus loin que les capacités de Voyager Analytics, en analysant non seulement qui est le plus influent mais aussi qui est le plus investi dans une position donnée : émotionnellement, idéologiquement et personnellement », dit un argumentaire de vente de Voyager Labs au Los Angeles Police Department, obtenu par le Brennan Center for Justice. « Cette capacité permet de passer de ceux qui sont les plus engagés en ligne à ceux qui sont les plus engagés dans leur cœur ».

Voyager Labs a également affirmé que son IA pouvait attribuer des scores de risque aux utilisateurs des réseaux sociaux concernant leurs « liens ou leur affinité pour le fondamentalisme ou l’extrémisme islamique », selon le rapport du Brennan Center for Justice.

Un autre de ses produits, Voyager Check, « fournit une indication automatisée des individus qui peuvent présenter un risque », selon le site web de Voyager Labs.

Une utilisation « invasive » et « alarmante »

Will Owen, directeur de la communication du Surveillance Technology Oversight Project, a qualifié l’utilisation de ces produits « d’invasive » et « d’alarmante » dans un communiqué de presse.

Les contrats avec Voyager Labs et Cobwebs Technologies étendent tous deux l'utilisation par les forces de l'ordre de la surveillance des médias sociaux et d'autres outils de surveillance, qui ciblent depuis longtemps les New-Yorkais noirs et Latinos, y compris les enfants. C’est invasif, c’est alarmant et cela devrait être illégal. Notre constitution exige que les forces de l'ordre obtiennent un mandat avant de procéder à des fouilles publiques, mais de plus en plus, la police et les procureurs achètent simplement nos données. Il ne s’agit pas seulement d’une mauvaise surveillance policière, il ne s’agit pas seulement d’autoriser les entreprises qui volent nos données, mais c’est aussi un contournement flagrant de la Constitution. Albany doit agir et adopter une législation cette année pour interdire les achats de données par les forces de l'ordre.

Et de poursuivre en disant :

Compte tenu du terrible historique d’espionnage des militants par la police de New York, y compris des manifestants de Black Lives Matter, il est très préoccupant que les forces de l’ordre puissent utiliser ces contrats pour étouffer la dissidence et violer les droits des New-Yorkais à la liberté d’expression. Outre les préjugés racistes inhérents à ces technologies, c’est une autre raison pour laquelle nous ne pouvons jamais faire confiance à l’utilisation par les forces de l’ordre de la surveillance des médias sociaux, du suivi de localisation ou de toute autre donnée proposée par des sociétés de logiciels espions comme Voyager Labs et Cobwebs Technologies.

Selon le rapport du Surveillance Technology Oversight Project, il n’existe aucune preuve indépendante que les produits de Voyager Labs fonctionnent comme annoncé, ni aucune information sur la façon dont ils sont testés, évalués ou audités.

En outre, les produits de Voyager Labs peuvent violer la vie privée des utilisateurs des réseaux sociaux, en collectant et en analysant des données personnelles sans leur consentement ni leur connaissance. Le rapport du Surveillance Technology Oversight Project souligne que le NYPD n’a pas divulgué publiquement son utilisation des produits de Voyager Labs, ni établi de politiques claires sur la façon dont il les utilise.

Le rapport appelle le NYPD à mettre fin à son contrat avec Voyager Labs et à cesser d’utiliser ses produits. Il demande également au conseil municipal de New York d’adopter une loi qui interdirait au NYPD d’utiliser toute technologie qui prétend prédire les crimes ou attribuer des scores de risque aux individus.

« La police de New York ne devrait pas utiliser l’IA pour espionner les New-Yorkais, encore moins pour prédire qui va commettre un crime », a déclaré Albert Fox Cahn, directeur exécutif du Surveillance Technology Oversight Project, dans un communiqué de presse. « Nous avons besoin d’une interdiction totale de la police prédictive à New York ».

La réaction de Voyager Labs et de la police de New-York

William Colston, vice-président du marketing mondial chez Voyager Labs, a déclaré que la société utilise uniquement des données accessibles au public et que son logiciel « n'est pas destiné à se substituer à une surveillance et une analyse humaines rigoureuses ».

« Nous rejetons catégoriquement toute idée selon laquelle notre logiciel serait conçu pour porter atteinte aux libertés civiles ou à la liberté d'expression, ou qu'il serait biaisé de quelque manière que ce soit », a écrit Colston.

Un porte-parole du NYPD a déclaré que le département utilise le logiciel pour surveiller les suspects pour divers crimes - comme la violence armée, le terrorisme et la traite des êtres humains - mais a précisé qu’il n’utilise pas actuellement les outils prédictifs que Voyager Labs propose. « Le ministère utilise ce type de technologies pour faciliter les enquêtes actives et n'utilise pas de fonctionnalités qui seraient décrites comme prédictives d'une criminalité future », a assuré le porte-parole.

Meta a porté plainte à Voyager Labs en janvier pour web scrapping

Meta a déclaré qu'il poursuivait Voyager Labs pour avoir prétendument utilisé de faux comptes, des logiciels propriétaires et un réseau tentaculaire d'adresses IP pour collecter subrepticement d'énormes quantités de données personnelles auprès des utilisateurs de Facebook, Instagram, Twitter et d'autres réseaux sociaux ou sites de mise en réseau.

« Le défendeur a créé et utilisé plus de 38 000 faux comptes d'utilisateurs Facebook et son logiciel de surveillance pour récupérer les informations de profil visibles de plus de 600 000 utilisateurs de Facebook, y compris les publications, les goûts, les listes d'amis, les photos et les commentaires, ainsi que les informations des groupes et pages Facebook », ont déclaré les avocats dans la plainte de Meta. « Le défendeur a conçu le logiciel de surveillance pour dissimuler sa présence et son activité à Meta et à d'autres, et a vendu et concédé sous licence à des fins lucratives les données qu'il a récupérées ».

Dans l'annonce du procès, Jessica Romero, Meta Director of Platform Enforcement and Litigation, a écrit :

Voyager a développé et utilisé un logiciel propriétaire pour lancer des campagnes de scraping sur Facebook et Instagram, et des sites Web tels que Twitter, YouTube, LinkedIn et Telegram. Voyager a conçu son logiciel de scraping pour utiliser de faux comptes afin de scraper les données accessibles à un utilisateur lorsqu'il est connecté à Facebook, y compris les informations de profil des utilisateurs, les publications, les listes d'amis, les photos et les commentaires. Voyager a utilisé un système diversifié d'ordinateurs et de réseaux dans différents pays pour cacher son activité, y compris lorsque Meta a soumis les faux comptes à des vérifications ou des contrôles. Voyager n'a pas compromis Facebook, mais a plutôt utilisé de faux comptes pour récupérer des informations accessibles au public.

Notre action en justice allègue que Voyager a violé nos conditions d'utilisation contre les faux comptes et le scraping non autorisé et automatisé. Nous recherchons une injonction permanente contre Voyager pour protéger les personnes contre les services de scraping. Des entreprises comme Voyager font partie d'une industrie qui fournit des services de scraping à n'importe qui, quels que soient les utilisateurs qu'ils ciblent et indépendamment du but, y compris comme moyen de profiler les personnes pour un comportement criminel. Cette industrie collecte secrètement des informations que les gens partagent avec leur communauté, leur famille et leurs amis, sans surveillance ni responsabilité, et d'une manière qui peut impliquer les droits civils des personnes.

Voyager Labs a depuis déposé une demande de rejet du procès et attend une décision du tribunal, selon Colston.

« Si Meta s'engage réellement à protéger ses utilisateurs et à agir dans l'intérêt public, alors l'utilisation de logiciels analytiques par ceux qui tentent d'arrêter les acteurs malveillants devrait être adoptée et encouragée », a écrit Colston.

Sources : Voyager Labs, rapport du Surveillance Technology Oversight Project, William Owen

Et vous ?

Croyez-vous les déclarations de la police lorsqu'elle reconnaît utiliser les services de Voyager Labs, après avoir omis de le mentionner pendant des années, mais prétend ne pas utiliser ses fonctionnalités de prédiction de crimes ?
Que pensez-vous de l’utilisation de l’IA par la police pour surveiller les réseaux sociaux et prédire les crimes ?
Quels sont les risques et les bénéfices potentiels de cette technologie pour la sécurité publique et la justice ?
Comment protéger la vie privée et les droits des utilisateurs des réseaux sociaux face à la surveillance de masse ?

Voir aussi :

La France bannit les IA de prédiction des comportements des juges, les technologies de justice prédictive sont-elles une menace pour la société ?
L'administration Trump se tourne vers Palantir, l'entreprise controversée de Peter Thiel, afin de construire un dispositif pour traquer le covid-19, l'outil se nomme HHS Protect Now
Doit-on confier les décisions de vie ou de liberté à une intelligence artificielle ? Aux USA, une IA envoie des gens en prison et souvent à tort
L'intelligence artificielle peut-elle aider à rendre les décisions de justice moins biaisées ? Oui, selon un expert

[Cpt Anderson]

Minority Report...

au final, tous les films d'anticipations ont vu juste. Absolument tous. Le futur s'annonce effrayant.

[ddoumeche]

Les délinquants et criminels ne passent pas leur temps sur les réseaux sociaux, ils s'entrainent à intimider les plus faibles, à pêter des vitres et bruler des voitures. Sinon ils n'auront jamais de succès professionnels.
Les tueurs en série et les tueurs de la mafia ne vont pas sur les réseaux sociaux se vanter de leurs exploits, sauf peut-être dan des pays du tiers monde proche de l'anarchie.

Voila qui ressemble à la technologie des avions renifleurs.

[Nym4x]

Mme Irma 3.0... Plus sérieusement, c'est d'une fumisterie totale pour plusieurs raisons:
- Si l'IA savait prédire l'avenir ou les comportements, il n'y aurait pas de krach boursier non prévu car la finance est le principal secteur où elle est utilisée. En conséquence, si elle ne peut pas prédire l'évolution de l'économie où les modèles sont établis, comment pourrait-elle prédire les comportements humains qui sont beaucoup plus complexes?
- Les gens dangereux ou délinquants chevronnés veulent rester discret et certainement pas laisser des indices en ligne sur leurs activités.
- Il n'existe aucun profil type pour les terroristes: https://www.lepoint.fr/societe/terro...2151001_23.php
- Et pour leurs éventuelles activités illégales en ligne, ils utilisent aussi des faux comptes ou bien des subalternes. Ceux qui vont commettre un attentat ne sont pas connus des services de police.
- L'IA prédictive rejoint un peu l'influence de l'observateur sur l'état dans le domaine quantique : à partir du moment où on sait qu'elle observe, les comportements changent et le modèle n'est plus valable.

Bref à part emmerder le petit délinquant, alimenter les atteintes à la liberté d'expression, faire peur à Mme Michu qui n'osera plus poster son avis en ligne (est-ce un mal d'ailleurs? ) ainsi que délester la NYPD de plusieurs millions. pour moi c'est du bullshit.

[Mister Nono]

Attention, pas de commentaires car sinon " blacklisted by AI ".

[Mathis Lucas]

Une étude affirme que les logiciels de police prédictive ne parviennent pas à prédire les crimes
et relance le débat sur l'efficacité des algorithmes de prédiction de la criminalité

Une nouvelle étude suggère que le recours aux algorithmes de prédiction pourrait n'être qu'une perte de temps. Le rapport de l'étude souligne que les prédictions de crimes générées par ces logiciels correspondent rarement aux crimes signalés. Dans un cas spécifique, l'équipe de recherche a remarqué que les prédictions faites par logiciel utilisé par la police de Plainfield, dans le New Jersey, ne pouvaient être considérées comme justes que dans 0,5 % des cas. Les prédictions concernant les vols ou les agressions graves susceptibles de se produire avaient un taux de réussite de 0,6 % et les prédictions de cambriolage avaient un taux de réussite de 0,1 %.

L'étude suggère en réalité que les algorithmes de prédiction utilisés par la police ne sont pas plus aptes à prédire l'avenir qu'une boule de cristal. En effet, depuis des années, les policiers tentent d'utiliser l'analyse de données et le big data pour mener des enquêtes plus efficaces. Cela a créé un marché de plusieurs milliards de dollars pour certaines entreprises et donné naissance au concept de "police prédictive". Selon les acteurs du milieu, la police prédictive utilise la collecte et l'analyse de données pour tenter de prédire où et quand les crimes vont se produire. Cependant, l'étude suggère qu'il s'agit probablement d'une énorme perte de temps.

La police prédictive a connu une grande popularité auprès des services de police de tout le pays. Malheureusement, bien que certains policiers ne jurent que par elle, il n'y a pas toujours eu beaucoup de preuves que cette technologie fonctionne vraiment bien. L'étude, qui a été menée conjointement par The Markup et Wired, suggère que pour la ville de Plainfield, dans l'État du New Jersey, la police prédictive a été un gigantesque et coûteux gâchis, qui n'a produit pratiquement aucun résultat utile. L'équipe de recherche a étudié spécifiquement le logiciel de police prédictive connu sous le nom de Geolitica, vendu par une entreprise américaine du même nom.

L'entreprise, créée en 2012, était auparavant connue sous le nom de PredPol, mais a procédé à un changement de marque en 2021. Selon la description du produit, le logiciel de police prédictif Geolitica ingère les données des rapports d'incidents criminels et génère des prédictions quotidiennes sur les lieux et les heures où les crimes sont les plus susceptibles de se produire. L'équipe a examiné 23 631 prédictions de Geolitica entre le 25 février et le 18 décembre 2018 pour la police de Plainfield. Mais selon l'équipe, chaque prédiction analysée indiquait qu'un type de crime était susceptible de se produire dans un endroit non patrouillé par la police de Plainfield.

En outre, pendant cette période, le logiciel n'avait fait des prédictions justes que dans "moins d'un demi pour cent des cas". Le capitaine David Guarino, du service de police de Plainfield, semble avoir été assez direct quant aux lacunes du logiciel Geolitica. Il a déclaré à l'équipe : « pourquoi avons-nous fait appel à PredPol ? Je suppose que nous voulions être plus efficaces dans la lutte contre la criminalité. Et le fait de pouvoir prédire où nous devrions être nous aiderait à y parvenir. Je ne sais pas si c'est ce qu'il a fait. Je ne crois pas que nous l'ayons vraiment utilisé très souvent, voire pas du tout. C'est pourquoi nous avons fini par nous en débarrasser ».

Des études ont souligné au fil des ans les nombreux problèmes des logiciels de police prédictive. Selon les chercheurs, l'un des défauts fondamentaux des algorithmes prédictifs est qu'ils reposent sur un raisonnement inductif. Il s'agit de tirer des conclusions sur la base de notre connaissance d'un petit échantillon et de supposer que ces conclusions s'appliquent à l'ensemble de la population. Ainsi, des études portant sur des logiciels de police prédictive ont révélé qu'une personne noire avait cinq fois plus de chances d'être arrêtée sans raison valable qu'une personne blanche. Dans certains, certains suspects ont été condamnés à tort.

Le capitaine Guarino a fait remarquer que les inquiétudes concernant l'exactitude des données et le désintérêt général du service pour l'utilisation du logiciel Geolitica suggéraient que l'argent payé pour le produit aurait pu être mieux dépensé ailleurs. Un précédent rapport de Gizmodo avait révélé que la police utilisait le logiciel de Geolitica pour cibler de manière disproportionnée les communautés de couleur à faibles revenus. David Weisburd, un criminologue qui a participé à l'examen d'un article universitaire de 2011 coécrit par deux des fondateurs de Geolitica, se souvient avoir approuvé leurs idées sur la modélisation de la criminalité à l'époque.

Mais il a averti que des prédictions inexactes peuvent avoir leurs propres effets externes négatifs, en plus d'être une perte de temps pour les agents de police. « Prédire des crimes dans des endroits où ils ne se produisent pas est une question destructrice. La police est un service, mais c'est un service qui peut avoir des conséquences négatives. Si vous envoyez la police quelque part, de mauvaises choses pourraient s'y produire », a déclaré Weisburd. Le logiciel de Geolitica fait l'objet de plusieurs critiques, certains allant même jusqu'à affirmer que "les logiciels de police prédictive ne sont que de la poudre aux yeux qui attirent juste les non initiés".

Une étude publiée en 2018 par une équipe de chercheurs dirigée par l'un des fondateurs de Geolitica a révélé que la population latino d'Indianapolis aurait subi de 200 % à 400 % de patrouilles par rapport aux populations blanches s'il avait été déployé là-bas. Geolitica n'a pas commenté la nouvelle étude publiée sur son logiciel. Par ailleurs, à en croire la rumeur, la société pourrait bientôt cesser ses activités. Un autre rapport de Wired allègue en effet que Geolitica prévoyait de cesser ses activités à la fin de l'année ; certains membres de son équipe auraient déjà été embauchés par une autre entreprise chargée de l'application de la loi.

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous de la police prédictive ? Est-ce un domaine crédible ?
Ou est-ce une perte de temps comme le suggère l'étude ? Pourquoi ?
Que pensez-vous du logiciel de police prédictive Geolitica ?
Quel est votre avis sur les critiques à l'égard de la police prédictive ?
Peut-on corriger efficacement les biais des algorithmes de prédiction de la police ?

Voir aussi

Des scientifiques mettent au point un nouvel algorithme capable de prédire où les crimes vont se produire une semaine à l'avance et avec une précision de 90 %

Un shérif lance un algorithme pour prédire qui pourrait commettre un crime, des dizaines de personnes ont déclaré avoir été harcelées par des agents sans raison

L'utilisation par la police d'algorithmes et de big data pour prédire où les crimes pourraient se produire inquiète des défenseurs des droits de l'homme

[kain_tn]

Que pensez-vous de la police prédictive ? Est-ce un domaine crédible ?

Pas plus que la prédiction de la bourse, non.

[Mathis Lucas]

Les startups technologiques vendent à l'armée et à la police des dispositifs avancés de surveillance et d'espionnage
malgré les risques d'utilisation abusive et de violation de la vie privée

La police américaine serait devenue l'un des plus gros clients des entreprises de la Silicon Valley développant des outils de surveillance. Les rapports signalent que les forces de l'ordre américaines déploient de plus en plus des technologies d'espionnage tels que les drones-espions. Une nouvelle enquête de la Northwestern Pritzker School of Law estime qu'environ un quart des services de police les utilisent aujourd'hui. Les entreprises technologiques qui fournissent ces dispositifs de surveillance seraient financées par des sociétés de capital-risque mondialement connues. Les experts tirent la sonnette d'alarme sur la montée en puissance de la surveillance gouvernementale.

La vente à l'État prend de l'ampleur parmi les entreprises et les startups technologiques de la Silicon Valley. Elles vendent davantage d'équipements de renseignement, de surveillance et d'espionnage à l'armée et aux forces de l'ordre. Une situation qui, selon les analystes et les groupes de défense des droits de l'homme, renforce le contrôle des États et du gouvernement fédéral américains sur les populations. Ces équipements incluent des drones de surveillances dotés d'une IA, des robots autonomes patrouilleurs, des programmes de reconnaissance faciale, etc. Bref, l'armée et la police américaines sont devenues des clients incontournables de la Silicon Valley.

Selon les analystes, cela peut sembler étrange que la Silicon Valley aide les forces de l'ordre américaines à espionner les fauteurs de troubles. Soutenir la surveillance de l'État s'accorde mal avec les valeurs libertaires défendues par plusieurs sommités américaines de la technologie qui ont grandi dans les premiers jours de l'Internet. Bien que la Silicon Valley ait commencé par fournir des puces à l'industrie militaire américaine dans les années 1950, ses relations avec l'État se sont détériorées au fur et à mesure que son attention passait des missiles autoguidés au commerce électronique et aux iPhone. Mais les choses semblent avoir pris une autre tournure.

Par exemple, parmi les fournisseurs de la police de New York figure Skydio, une entreprise de la Silicon Valley qui utilise l'IA pour rendre les drones faciles à piloter et permettre aux policiers de les contrôler avec très peu de formation. Skydio est soutenue par Andreessen Horowitz, un géant du capital-risque, et par Accel, l'un de ses pairs. La police de New York achète également à Brinc, un fabricant de drones équipés de caméras de vision nocturne capables de voir à travers les vitres des fenêtres. Parmi les investisseurs de Brinc, on trouve Sam Altman, PDG d'OpenAI, la startup à l'origine de ChatGPT, et Index Ventures, une grosse société de capital-risque.

Les analystes tentent d'expliquer cette nouvelle tendance par le fait que l'industrie technologique cherche de nouvelles frontières de croissance. En effet, les entreprises font face à de nombreux défis macroéconomiques depuis quelques années, une situation fortement exacerbée par la dernière crise sanitaire. « Les pouvoirs publics sont les derniers survivants de la révolution logicielle », a expliqué Katherine Boyle, associée générale chez Andreessen Horowitz, dans un billet de blogue publié l'année dernière. Chez Andreessen Horowitz, Boyle est chargée d'investir dans des entreprises qui promeuvent le dynamisme américain, y compris la sécurité nationale.

Au début de l'année, Andreessen Horowitz a lancé un fonds appelé "American Dynamism" dans le but d'investir dans les industries liées au gouvernement. Toutefois, la résurgence de la vente à l'État n'implique pas seulement les startups ; les Big Tech rivalisent aussi pour décrocher des contrats lucratifs avec le gouvernement fédéral. Fin 2022, le Pentagone a réparti un contrat de 9 milliards de dollars pour la fourniture de services cloud à Alphabet, Amazon, Oracle et Microsoft. Selon un rapport de The Economist, en 2022, 11 % de la valeur des contrats fédéraux attribués aux entreprises concernaient des logiciels et des technologies, contre 8 % il y a dix ans.

Le rapport souligne que la surveillance est une activité gouvernementale en cours de modernisation. Les fournisseurs traditionnels tels qu'Axon Enterprise et Motorola Solutions sont rejoints par des startups qui proposent des technologies plus sophistiquées. La première d'entre elles est le drone. Ce secteur est dominé par Dji, un fabricant chinois qui a fourni l'année dernière près des trois quarts de tous les drones vendus aux États-Unis. Mais cela pourrait changer, car des restrictions ont été mises en place pour limiter les importations de certains équipements chinois vers les États-Unis en raison de préoccupations en matière de sécurité nationale.

Tout cela constitue une aubaine pour des entreprises comme Skydio et Brinc. D'autres types de dispositifs d'espionnage aériens sont également en cours d'élaboration. La startup Skydweller développe un avion autonome fonctionnant à l'énergie solaire. S'il fonctionne, il n'aura pas besoin d'atterrir pour se recharger. Selon l'entreprise, cela permettrait "une surveillance persistante". En plus, les satellites constituent une deuxième technologie en plein essor. SpaceX, la société de fusées d'Elon Musk, et ses imitateurs, dont Blue Origne et OneWeb, ont contribué à réduire le prix de l'envoi d'objets dans l'espace à environ un dixième de ce qu'il était il y a vingt ans.

L'orbite terrestre basse s'est ainsi couverte de satellites, dont, selon le rapport, environ un huitième sert à l'observation de la planète. La société de donnée PitchBook estime qu'il y a aujourd'hui près de 200 entreprises qui vendent des images satellitaires. BlackSky, l'une des entreprises qui vendent des images satellitaires, affirme pouvoir prendre une image d'un point de la Terre toutes les heures environ. Le rapport indique que l'imagerie satellitaire a beaucoup évolué au cours des dix dernières années, depuis que la police de l'Oregon a utilisé des images de Google Earth pour découvrir une culture illégale de marijuana dans l'arrière-cour d'un habitant.

Par ailleurs, les entreprises technologiques vendent également des outils pour aider les forces de l'ordre à mieux utiliser la profusion d'images et d'informations qu'elles ont désormais à portée de main. Ambient.ai, une autre startup soutenue par Andreessen Horowitz, a mis au point une technologie qui surveille automatiquement les caméras à la recherche d'activités suspectes. Palantir, une société d'exploration de données qui s'est injectée dans le complexe militaro-industriel américain, vend ses outils à des services tels que la police de Los Angeles. Enfin, les logiciels de reconnaissance faciale seraient désormais plus largement utilisés aux États-Unis.

Un dixième environ des forces de police américaines auraient accès à cette technologie. Un rapport publié en septembre par le "Government Accountability Office" des États-Unis a révélé que six organismes fédéraux chargés de l'application de la loi, dont le FBI et les services secrets, effectuaient ensemble en moyenne 69 recherches par reconnaissance faciale chaque jour. Parmi les principaux fournisseurs cités figurait Clearview AI, une entreprise soutenue par Peter Thiel, cofondateur de PayPal et investisseur en capital-risque. Les analystes estiment que les capacités de surveillance et d'espionnage pourraient bientôt être renforcées par l'IA générative.

Will Marshall, patron de Planet Labs, une entreprise spécialisée dans les satellites, explique que "l'analyse d'images satellites à l'aide de cette technologie permettra de rechercher des objets sur la Terre, tout comme Google permet de rechercher des informations sur le Web". Cela devrait permettre aux entreprises d'engranger encore plus de bénéfices au détriment de la vie privée des Américains. Fusus, une startup qui vend des logiciels de surveillance de la criminalité en temps réel, affirme que ses ventes aux forces de l'ordre américaines - il y aurait plus 18 000 services de police aux États-Unis - ont augmenté de plus de 300 % l'année dernière.

En 2017, la startup Flock Safety a lancé un lecteur de plaques d'immatriculation qui serait désormais utilisé dans au moins 47 États américains. D'après Paul Kwan de General Catalyst, une autre société de capital-risque, les relations avec les acheteurs gouvernementaux, une fois établies, ont tendance à être durables. Cela se fait en dépit des critiques et des appels à l'arrêt des livraisons de technologies avancées de surveillance aux forces de l'ordre et aux gouvernements. Ces appels ont trouvé un écho chez certaines entreprises. Ainsi, en 2020, Amazon, Microsoft et IBM ont renoncé à fournir des services de reconnaissance faciale aux forces de l'ordre.

Les entreprises ont évoqué des préoccupations liées à la protection de la vie privée. Cependant, les analystes estiment que la vente de technologies de surveillance est lucrative et devrait donc persister, voire s'accentuer à l'avenir. Cette tendance devrait s'observer aux États-Unis, en Europe et ailleurs dans le monde. Par exemple, en France, le gouvernement souhaite expérimenter à grande échelle des caméras de surveillance dotées d'IA lors des JO de Paris en 2024 pour détecter en temps réel les comportements suspects. Cependant, la proposition a suscité un tollé, les critiques craignant que les caméras restent après les Jeux olympiques de 2024.

L'entreprise suédoise SmartEye vend une technologie de suivi des yeux pour surveiller l'humeur des pilotes. SmartEye vend également ses produits à des agences de publicité. Les fonds spéculatifs utilisent l'imagerie satellitaire pour compter les voitures dans les parkings des détaillants, dans l'espoir d'évaluer leurs revenus avant la publication des informations sur le marché. « La tendance au renforcement de la surveillance, qu'elle soit le fait de Big Brother ou des grandes entreprises, ne semble pas près de s'inverser », indique le rapport.

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous des liens entre la Silicon Valley et la police et le gouvernement américain ?
Selon vous, pourquoi de plus en plus d'entreprises et de startups vendent des technologies de surveillance ?
L'utilisation des technologies de surveillance et d'espionnage est-elle justifiée ? Si oui, dans quelles conditions ?
Quelles sont les préoccupations que pose l'utilisation de ces technologies ?

Voir aussi

Le gouvernement français souhaite expérimenter à grande échelle des caméras de surveillance dotées d'IA lors des JO de Paris en 2024 pour détecter en temps réel les comportements suspects

France : le gouvernement met en place la surveillance des réseaux sociaux par le fisc, visant à collecter automatiquement certaines données, afin de repérer d'éventuels fraudeurs

La ville de New York déploie des robots autonomes patrouilleurs pour lutter contre la criminalité et maintenir l'ordre dans le métro, un projet qui fait l'objet de controverses

[Stéphane le calme]

VioGén : un algorithme a dit à la police espagnole qu'elle était en sécurité. Puis son mari l'a tuée.
VioGén est utilisé par la police pour évaluer la probabilité qu'une victime subisse à nouveau la violence

L'Espagne est devenue dépendante de VioGén, un algorithme utilisé par la police pour évaluer la probabilité qu'une victime de violence domestique soit à nouveau exposée à des violences et pour déterminer la protection à lui fournir. Cependant, au vu des conséquences fatales des recommandations de VioGén, une enquête remet en cause son efficacité.

Depuis 2009 en Espagne, les conjoints ou ex-conjoints violents doivent porter un bracelet électronique sur ordre d'un juge. Mais d'autres mesures sont aussi en place, dont le vaste dispositif VioGén, créé en 2007, qui implique l'ensemble des forces de l'ordre.

Tout commence par le dépôt d'une plainte. « La première chose que l’on fait, c’est d’écouter le témoignage de la victime, librement et sans l’interrompre », explique Maria Jesús Cantos en avril 2023, alors qu'elle était encore commissaire en chef responsable de Viogèn.

Pour évaluer les risques, la victime est priée de remplir un questionnaire de 35 points, rempli par les agents lors de l'entretien avec la victime, qui génère ensuite un score de risque allant de « négligeable » à « extrême ». « Elle attend ensuite dans une salle pendant que nous rentrons toutes les données dans ce système », ajoute Maria Jesús Cantos.

Comment les questions ont été élaborées ?

Après que l'Espagne a adopté une loi en 2004 pour lutter contre la violence à l'égard des femmes, le gouvernement a rassemblé des experts en statistiques, en psychologie et dans d'autres domaines pour trouver une réponse. Leur objectif était de créer un modèle statistique permettant d'identifier les femmes les plus exposées à la violence et d'élaborer une réponse standardisée pour les protéger.

« Il s'agirait d'un nouveau guide pour l'évaluation des risques liés à la violence de genre », a déclaré Antonio Pueyo, professeur de psychologie à l'université de Barcelone, qui s'est ensuite joint à l'équipe.

L'équipe a adopté une approche similaire à celle utilisée par les compagnies d'assurance et les banques pour prédire la probabilité d'événements futurs, tels que les incendies de maison ou les fluctuations monétaires. Elle a étudié les statistiques nationales de la criminalité, les dossiers de la police et les travaux de chercheurs britanniques et canadiens pour trouver des indicateurs qui semblaient être en corrélation avec la violence de genre. La toxicomanie, la perte d'emploi et l'incertitude économique figuraient en bonne place sur la liste.

Ils ont ensuite élaboré un questionnaire à l'intention des victimes afin de pouvoir comparer leurs réponses avec les données historiques. La police remplissait les réponses après avoir interrogé une victime, examiné des preuves documentaires, parlé à des témoins et étudié d'autres informations provenant d'agences gouvernementales. Les réponses à certaines questions ont plus de poids que d'autres, par exemple si l'agresseur a des tendances suicidaires ou montre des signes de jalousie.

Le système attribue un score à chaque victime : risque négligeable, risque faible, risque moyen, risque élevé ou risque extrême. Un score élevé entraîne des patrouilles de police et le suivi des mouvements de l'agresseur. Dans les cas extrêmes, la police assurerait une surveillance 24 heures sur 24. Les personnes ayant obtenu un score moins élevé recevraient moins de ressources, principalement des appels de suivi.

L'algorithme « décharge en quelque sorte la police de toute responsabilité dans l'évaluation de la situation »

Le logiciel est tellement intégré dans l'application de la loi qu'il est difficile de savoir où s'arrêtent ses recommandations et où commence la prise de décision humaine. Dans le meilleur des cas, le système a aidé la police à protéger les femmes vulnérables et, dans l'ensemble, a réduit le nombre d'agressions répétées dans les affaires de violence domestique. Mais la dépendance à l'égard de VioGén a également eu pour conséquence que les victimes, dont les niveaux de risque sont mal calculés, sont à nouveau agressées, ce qui peut parfois avoir des conséquences fatales.

L'Espagne compte aujourd'hui 92 000 cas actifs de victimes de violences de genre qui ont été évalués par VioGén, la plupart d'entre elles - 83 % - étant classées comme courant peu de risques d'être à nouveau agressées par leur agresseur. Pourtant, environ 8 % des femmes que l'algorithme a classées comme présentant un risque négligeable et 14 % comme présentant un risque faible ont déclaré avoir été à nouveau agressées, selon le ministère espagnol de l'intérieur, qui supervise le système.

Selon les chiffres du gouvernement, au moins 247 femmes ont également été tuées par leur partenaire actuel ou ancien depuis 2007 après avoir été évaluées par VioGén. Bien que cela ne représente qu'une infime partie des cas de violence sexiste, cela met en évidence les failles de l'algorithme. Le New York Times a constaté que dans le cadre d'un examen judiciaire de 98 de ces homicides, 55 des femmes tuées avaient été classées par VioGén comme présentant un risque négligeable ou faible de récidive.

La police espagnole est formée pour rejeter les recommandations de VioGén en fonction des preuves, mais elle accepte les scores de risque dans environ 95 % des cas, selon les responsables. Les juges peuvent également utiliser les résultats lorsqu'ils examinent les demandes d'ordonnances restrictives et d'autres mesures de protection.

« Les femmes passent à travers les mailles du filet », a déclaré Susana Pavlou, directrice de l'Institut méditerranéen d'études sur le genre, coauteur d'un rapport de l'Union européenne sur VioGén et d'autres efforts de la police pour lutter contre la violence à l'égard des femmes. L'algorithme « décharge en quelque sorte la police de toute responsabilité dans l'évaluation de la situation et de ce dont la victime peut avoir besoin ».

L'Espagne illustre la manière dont les gouvernements se tournent vers les algorithmes pour prendre des décisions sociétales, une tendance mondiale qui devrait s'accentuer avec l'essor de l'intelligence artificielle. Aux États-Unis, les algorithmes aident à déterminer les peines de prison, à établir des patrouilles de police et à identifier les enfants susceptibles d'être victimes d'abus. Aux Pays-Bas et en Grande-Bretagne, les autorités ont expérimenté des algorithmes pour prédire qui peut devenir criminel et pour identifier les personnes susceptibles de commettre des fraudes à l'aide sociale. La police canadienne se sert de plus en plus d'algorithmes pour prédire où les crimes pourraient se produire, qui pourraient disparaître, et pour les aider à déterminer où ils devraient patrouiller, malgré les préoccupations fondamentales en matière de droits de l'homme, selon le rapport Surveiller et prédire : une analyse des droits de l'homme de l'utilisation des algorithmes prédictifs par la police au Canada

Peu de ces programmes ont des conséquences aussi vitales que VioGén. Mais les victimes interrogées par le Times étaient rarement au courant du rôle joué par l'algorithme dans leur cas. Le gouvernement n'a pas non plus publié de données complètes sur l'efficacité du système et a refusé de mettre l'algorithme à la disposition d'un audit externe.

La technologie a été créé pour apporter son aide aux forces de l'ordre de manière impartiale

VioGén a été créé pour être un outil impartial permettant à la police, dont les ressources sont limitées, d'identifier et de protéger les femmes qui risquent le plus d'être à nouveau agressées. La technologie devait permettre de gagner en efficacité en aidant la police à donner la priorité aux cas les plus urgents, tout en se concentrant moins sur les cas considérés par l'algorithme comme présentant un risque plus faible. Les victimes classées comme présentant un risque élevé bénéficient d'une protection accrue, notamment de patrouilles régulières à leur domicile, d'un accès à un centre d'hébergement et d'une surveillance policière des déplacements de leur agresseur. Celles dont le score est plus faible bénéficient d'un soutien moins important.

Dans une déclaration, le ministère de l'intérieur a défendu VioGén et a déclaré que le gouvernement était « le premier à faire son autocritique » lorsque des erreurs se produisaient. Il a déclaré que les homicides étaient si rares qu'il était difficile de les prédire avec précision, mais a ajouté qu'il s'agissait d'un « fait incontestable » que VioGén avait contribué à réduire la violence à l'égard des femmes.

Depuis 2007, environ 0,03 % des 814 000 victimes de violence de genre signalées en Espagne ont été tuées après avoir été évaluées par VioGén, a indiqué le ministère. Au cours de cette période, les agressions répétées sont passées de 40 % à environ 15 % de tous les cas de violence à l'égard des femmes, selon les chiffres du gouvernement.

« Si ce n'était pas le cas, nous aurions davantage d'homicides et de violences sexistes », a déclaré Juan José López Ossorio, un psychologue qui a contribué à la création de VioGén et qui travaille pour le ministère de l'intérieur.

Pourtant, les victimes et leurs familles sont confrontées aux conséquences des erreurs de VioGén

En 2016, Stefany Escarraman, une jeune femme de 26 ans vivant près de Séville, s'est rendue à la police après avoir été violemment agressée par son mari. Selon le rapport, il l'avait frappée au visage et étranglée. Après une audition d'environ cinq heures avec la police, les informations recueillies ont été entrées dans le système VioGén. L'algorithme a alors évalué le risque de récidive comme « négligeable ».

Le lendemain, avec des signes physiques de l'agression (elle avait un œil au beurre noir et gonflé), Stefany s'est présentée au tribunal pour demander une ordonnance restrictive contre son mari. Le juge, se basant en partie sur le score de risque négligeable attribué par VioGén et sur l'absence d'antécédents criminels du mari, a refusé d'accorder l'ordonnance restrictive.

Tragiquement, environ un mois après cet épisode, le mari de Stefany l'a poignardée à plusieurs reprises au cœur, en présence de leurs enfants. Elle est décédée des suites de ses blessures. « Si elle avait reçu de l’aide, elle serait peut-être toujours en vie », a déploré Williams Escarraman, le frère de Stefany, auprès du New York Times.

Les cas de Lobna Hemid et Stefany Escarraman ne sont pas isolés. Sur une liste de 98 homicides examinés par le New York Times, 55 concernaient des femmes que VioGén avait classées comme étant à risque « négligeable » ou « faible ».

Cela n'a pas empêché la Ministre de l'égalité, Ana Redondo, de souligner ce mardi la nécessité d'intégrer toutes les municipalités dans le système VioGén, ainsi que de coordonner les policiers locaux : « Nous devons intégrer toutes les municipalités dans ce système (VioGén), pour que les policiers locaux soient également coordonnés. Il y a du travail à faire, nous avons déjà fait beaucoup. Et l'avenir est à nous, parce que l'avenir est de bannir cette violence sauvage, cette violence qui implique la plus grande violation des droits de l'homme de notre pays », a déclaré Redondo avant de signer avec la Fédération espagnole des municipalités et des provinces (FEMP), une déclaration de collaboration pour aborder de manière « efficace » la lutte contre la violence sexiste.

Conclusion

VioGén est un outil précieux dans la lutte contre la violence conjugale, mais il ne peut pas fonctionner seul. Une approche holistique, combinant technologie, soutien social et sensibilisation, est essentielle pour protéger les victimes. En tant que société, nous devons continuer à améliorer ces systèmes pour sauver des vies.

Sources : ministre de l'égalité, ministère de l'intérieur, El Confidential, NYT, Maria Jésus

Et vous ?

La technologie peut-elle vraiment prévenir la violence conjugale ? Pensez-vous que les algorithmes comme VioGén sont efficaces pour protéger les victimes de violence domestique ? Quelles autres approches technologiques pourraient être envisagées ?
L’importance du contexte social : est-il important, selon vous, de prendre en compte le contexte social et familial lors de l’évaluation des risques ? Comment les facteurs sociaux peuvent-ils influencer la sécurité des victimes ?
Les limites des algorithmes : discutez des limites de VioGén et des autres algorithmes similaires. Quelles améliorations pourraient être apportées pour renforcer leur efficacité ?
La responsabilité des autorités : comment pouvons-nous garantir que les évaluations de risques sont correctement utilisées ?
De façon plus générale, que pensez-vous des algorithmes prédictifs ?

[bmayesky]

Ces gouvernants espagnols ne sont pas responsables des statistiques ni du logiciel, ils sont responsables de son utilisation. Ils sont responsables de chaque erreur du logiciel, notamment devant les évidences de certains cas. Pire encore, ils sont responsable d'utiliser le logiciel pour diminuer le nombre d'intervention policière au lieu de l'utiliser pour sauver des femmes.

Et ils en sont complètement responsable parce que il est connu des lycéens que les statistiques sont valables à une infinité de tirages et que ce mêmes statistiques sont totalement incapables de déterminer le prochain tirage, c'est à dire la prochaine femme qui va se faire tuer, que le logiciel dise qu'il y a risque ou que le logiciel dise qu'il n'y a pas de risque.

Pourquoi tant de haine ? Parce que le choix le plus malfaisant du gouvernement espagnol est d'utiliser sciemment ce logiciel pour introduire un biais dans la décision des policiers et diminuer ses frais en sachant pertinemment qu'il va provoquer des morts.
Pourquoi ? Tout simplement, parce que ce logiciel pouvait être utilisé pour protéger et uniquement protéger les femmes.
Comment ? En paramétrant le logiciel pour qu'il signale uniquement les cas de risques très élevés. Ainsi il aurait permis au policier qui prend la décision finale de remettre son jugement en cause dans les cas qu'il n'aurait pas détecté et alors sauver des femmes. Le choix d'ouvrir ce logiciel pour qu'il puisse indiquer au policier que son bon sens doit être ignoré sans quoi il devra s'en expliquer est une incitation à minimiser les risques réels encouru.

En plus, n'importe quel informaticien sait qu'un programme ne fait que ce qu'il est censé faire et ne peut rien faire d'autre. Et nous savons tous que la vie ne rentre pas dans les cases à cocher d'un questionnaire. Et donc toutes les femmes qui ne rentrent pas dans les critères établis par le gouvernement espagnol (avec tous les biais de la terre, l'obsolescence des critères selon l'évolution de la société, l 'absence totale de psychologie des victimes, ...) sont condamnées à être considérées comme à risque négligeables et ne pas être protégées par leur gouvernement et leur police. Si ce ne sont pas là des meurtres prémédités par ceux qui ont décidé de mettre en place ce programme, je ne sais pas ce que c'est.

[eddy72]

C'est pas nous, c'est l'ordinateur !!!
Classique non ?

[pierre-y]

"Non madame vous n'êtes pas en train de vous faite pas violer, l'algo est formel la dessus alors arrêté de crier merci". Dernièrement une femme c'est fait condamné en France pour avoir utilisé de la lacrymo contre un gas (un migrant) qui voulait la violer justement... est ce que c'est plus intelligent que le debut de mon propos?

[totozor]

Pour évaluer les risques, la victime est priée de remplir un questionnaire de 35 points, rempli par les agents lors de l'entretien avec la victime, qui génère ensuite un score de risque allant de « négligeable » à « extrême »
[...]
Après que l'Espagne a adopté une loi en 2004 pour lutter contre la violence à l'égard des femmes, le gouvernement a rassemblé des experts en statistiques, en psychologie et dans d'autres domaines pour trouver une réponse. Leur objectif était de créer un modèle statistique permettant d'identifier les femmes les plus exposées à la violence et d'élaborer une réponse standardisée pour les protéger.

Il y a une chose qui m'échappe, la police écoute une potentielle victime pendant plusieurs minutes "librement et sans l’interrompre" puis donne un questionnaire pour prendre de conclusions sur base d'un algorithme?
Mais les minutes libres et sans interruption sont elles finalement prises en compte. Un paquet de choses doivent être perçues qu'il est potentiellement difficile de factualiser mais qui reste des indice des risques d'aggravation de la situation.

Quand les gens comprendront que quand on parle de statistique on parle d'un modèle.
Modèle qui a potentiellement des scénarios où il n'est pas représentatif voir où il l'est. Si le modèle dit "la femme à 90% de chances d'être dans une situation à risque négligeable" ce qu'il faut aussi comprendre est qu'elle a "10% de chance d'être dans un situation à risque significatif".
D'autant plus que dans le cas de violence conjugale la paramètre principal n'est pas la victime mais l'agresseur qui n'est pas interrogé.

Le système attribue un score à chaque victime : risque négligeable, risque faible, risque moyen, risque élevé ou risque extrême. Un score élevé entraîne des patrouilles de police et le suivi des mouvements de l'agresseur. Dans les cas extrêmes, la police assurerait une surveillance 24 heures sur 24. Les personnes ayant obtenu un score moins élevé recevraient moins de ressources, principalement des appels de suivi.

C'est intéressant que tout tourne autour de la victime.
On enquête pas sur l'agresseur?
On évalue pas sa dangerosité?

L'Espagne compte aujourd'hui 92 000 cas actifs de victimes de violences de genre qui ont été évalués par VioGén, la plupart d'entre elles - 83 % - étant classées comme courant peu de risques d'être à nouveau agressées par leur agresseur. Pourtant, environ 8 % des femmes que l'algorithme a classées comme présentant un risque négligeable et 14 % comme présentant un risque faible ont déclaré avoir été à nouveau agressées, selon le ministère espagnol de l'intérieur, qui supervise le système.

C'est à dire qu'il est factualisé que le logiciel n'est pas si fiable.
Que fait on de ces 8% et 14%? On se contente de constater l'erreur et de s'excuser quand elles reviennent avec un cocard (au mieux)?

VioGén a été créé pour être un outil impartial permettant à la police, dont les ressources sont limitées

C'est normal que les ressources soient limitée, mais sont elles suffisantes pour gérer ces situations?
Si la réponse est non alors ce n'est ni le logiciel ni les agents qu'il faut attaquer mais le "système" qui ne met pas les moyens nécessaires.
Parce que s'il manque de personnel alors les priorités doivent être gérées et les "sacrifices" inévitables.

La technologie devait permettre de gagner en efficacité en aidant la police à donner la priorité aux cas les plus urgents

Quand on parle de vies humaines l'efficacité ne devrait pas être de priorisé les cas les plus urgents mais d'accélérer la capacité de réaction.
Pas pour décider qui doit être protégé et qui ne doit pas l'être.

Dans une déclaration, le ministère de l'intérieur a défendu VioGén et a déclaré que le gouvernement était « le premier à faire son autocritique » lorsque des erreurs se produisaient. Il a déclaré que les homicides étaient si rares qu'il était difficile de les prédire avec précision, mais a ajouté qu'il s'agissait d'un « fait incontestable » que VioGén avait contribué à réduire la violence à l'égard des femmes.

Et c'est là toute l'inefficacité de l'IA aujourd'hui, elle ne sait pas gérer les exceptions, les évènements rares.
Pourtant quand on évalue un risque on utilise deux paramètres :
la probabilité, dont les cas critiques sont bien gérés par l'IA
La gravité, dont les cas critiques semblent mal gérés par l'IA actuelle.
(On peut y ajouter la maitrise/prévisibilité/capacité de réaction)

Depuis 2007, environ 0,03 % des 814 000 victimes de violence de genre signalées en Espagne ont été tuées après avoir été évaluées par VioGén, a indiqué le ministère. Au cours de cette période, les agressions répétées sont passées de 40 % à environ 15 % de tous les cas de violence à l'égard des femmes, selon les chiffres du gouvernement.

Comment noyer le poisson?
Oui le logiciel est efficace pour les "cas standard", et c'est bien.
Mais a-t-il diminué les cas graves, qui en cas de probabilité particulièrement faible peut se calculer différemment qu'en pourcentage, pourmillionnage etc par exemple en durée entre les évènements.

La technologie peut-elle vraiment prévenir la violence conjugale ? Pensez-vous que les algorithmes comme VioGén sont efficaces pour protéger les victimes de violence domestique ? Quelles autres approches technologiques pourraient être envisagées ?

Oui, la technologie traite visiblement assez facilement les cas communs (qui sont connus, documentés, etc).
Mais elle gère beaucoup moins facilement les exceptions.
Et à un moment il faut sortir de la technologie pour y mettre de l'humain et je parle autant de capacité d'écoute de la police que de temps disponibles des agents.

L’importance du contexte social : est-il important, selon vous, de prendre en compte le contexte social et familial lors de l’évaluation des risques ? Comment les facteurs sociaux peuvent-ils influencer la sécurité des victimes ?

Comment ne pas les prendre en compte?
Si la victime est socialement dépendante (finance, handicap, isolée) de son agresseur alors la situation est d'autant plus à risque.

Les limites des algorithmes : discutez des limites de VioGén et des autres algorithmes similaires. Quelles améliorations pourraient être apportées pour renforcer leur efficacité ?

Pour moi la question n°1 n'est pas d'améliorer les limites mais de les connaitre, de les accepter et de les compenser. Une fois qu'on a bouché les trous on peut envisager d'essayer de les réduire.
Ces trous riment parfois avec des morts. On ne peut pas se contenter de solutions à long terme...

La responsabilité des autorités : comment pouvons-nous garantir que les évaluations de risques sont correctement utilisées ?

En ayant suffisamment de gens pour les traiter.
En formant les gens qui doivent les traiter?
L'humain doit toujours rester au centre.

De façon plus générale, que pensez-vous des algorithmes prédictifs ?

Qu'ils sont efficaces pour le commun.
Qu'ils sont nuls pour les exceptions, les évènements rares etc
Et que si nous parions trop sur eux alors nous diminuerons les marges de sécurités pour optimiser le nominal mais les que exceptions seront moins couvertes et augmenterons en fréquence et en gravité. Ce qui rime avec plus de morts.
Nous allons diminuer les hôpitaux et augmenter les morques. Est ce vraiment ce que nous voulons pour notre société?