Décrivant les horreurs du communisme sous Staline et d’autres, le lauréat du Nobel Aleksandr Solzhenitsyn a écrit dans son magnum opus, » Goulag Archipelago« que » la ligne divisant le bien et le mal coupe le cœur de chaque être humain « . travail Le camp dont beaucoup ne revient pas, a eu lieu d’une manière qui a privé l’accusé de procédure régulière. Dans de nombreux cas, le simple soupçon ou même indique qu’un acte contre le régime pourrait se produire était suffisant pour gagner un billet à sens unique avec peu ou pas de recours. La prémisse sous-jacente ici que les responsables savaient quand quelqu’un pourrait commettre une transgression. En d’autres termes, les forces de l’ordre savait où cette ligne réside dans le cœur des gens.
Le gouvernement britannique a décidé de chasser cette chimère en investissant dans un programme Cela cherche à identifier de manière préventive qui pourrait commettre un meurtre. Plus précisément, le projet utilise des données gouvernementales et policières pour profiler les gens à « prédire » qui ont une forte probabilité de commettre un meurtre. Actuellement, le programme est à son stade de recherche, des programmes similaires étant utilisés pour le contexte de la prise de décisions de probation.
Un tel programme qui réduit les individus aux points de données comporte d’énormes risques qui pourraient l’emporter sur tout gain. Premièrement, la sortie de ces programmes est pas sans erreurce qui signifie que cela pourrait impliquer à tort les gens. Deuxièmement, nous ne saurons jamais si une prédiction était incorrecte car il n’y a aucun moyen de savoir si quelque chose ne se produit pas – un meurtre a-t-il été empêché, ou n’aurait-il jamais eu lieu sans réponse? Troisièmement, le programme peut être utilisé à mauvais escient par des acteurs opportunistes pour justifier le ciblage des personnes, en particulier les minorités – la capacité de le faire est cuite dans une bureaucratie.
Considérer: la base d’un état bureaucratique repose sur sa capacité à réduire les êtres humains en nombre. Ce faisant, il offre les avantages de l’efficacité et de l’équité – personne n’est censé obtenir un traitement préférentiel. Quel que soit le statut ou le revenu d’une personne, le DMV (DVLA au Royaume-Uni) traiterait la demande de permis de conduire ou son renouvellement de la même manière. Mais des erreurs se produisent, et naviguer dans le labyrinthe des procédures bureaucratiques pour les rectifier n’est pas une tâche facile.
À l’ère des algorithmes et intelligence artificielle (AI), ce problème de responsabilité et de recours en cas d’erreurs est devenu beaucoup plus urgent.
Le «puits de responsabilité»
Mathématicien Cathy O’Neil a documenté Les cas de licenciement injustifié des enseignants en raison de mauvais scores calculés par un algorithme de l’IA. L’algorithme, à son tour, a été alimenté par ce qui pouvait être facilement mesuré (par exemple, les résultats des tests) plutôt que par l’efficacité de l’enseignement (un élève réalisateur médiocre s’est considérablement amélioré ou combien d’enseignants ont aidé les élèves de manière non quantifiable). L’algorithme a également sous-traité si l’inflation de grade s’était produite au cours des années précédentes. Lorsque les enseignants ont interrogé les autorités sur les examens de performance qui ont conduit à leur licenciement, l’explication qu’ils ont reçue était sous la forme de « les mathématiques nous ont dit de le faire » – même après que les autorités ont admis que les mathématiques sous-jacentes n’étaient pas exactes à 100%.
Si un futur meurtrier potentiel est arrêté de manière préventive, «rapport des minorités», comment pouvons-nous savoir si la personne aurait pu décider de ne pas commettre de meurtre?
Akhil Bhardwaj
En tant que tel, l’utilisation d’algorithmes crée ce que le journaliste Dan Davies appelle « »puits de responsabilité« – il dépouille la responsabilité en veillant à ce que Personne ou entité ne peut être tenue responsableet cela empêche la personne touchée par une décision de pouvoir corriger les erreurs.
Cela crée un double problème: les estimations d’un algorithme peuvent être imparfaites et l’algorithme ne se met pas à jour car personne n’est tenu responsable. Aucun algorithme ne peut être précis tout le temps; Il peut être calibré avec de nouvelles données. Mais c’est une vision idéaliste qui ne tient même pas vrai dans la science; Les scientifiques peuvent résister Mettre à jour une théorie ou un schéma, en particulier lorsqu’ils y sont fortement investis. Et de même et sans surprise, bureaucraties ne pas Mettez facilement à jour leurs croyances.
Utiliser un algorithme dans le but de prédire qui risque de commettre un meurtre est perplexe et contraire à l’éthique. Non seulement cela pourrait être inexact, mais il n’y a aucun moyen de savoir si le système avait raison. En d’autres termes, si un futur meurtrier potentiel est arrêté de manière préventive, «rapport des minorités», comment pouvons-nous savoir si la personne a pu décider de ne pas commettre un meurtre? Le gouvernement britannique n’a pas encore clarifié comment il a l’intention d’utiliser le programme autre que de déclarer que la recherche est effectuée aux fins de « Prévenir et détecter les actes illégaux. «
Nous voyons déjà des systèmes similaires utilisés aux États-Unis. En Louisiane, un algorithme appelé Tiger (abréviation des « interventions ciblées pour améliorer la rentrée ») – prévoit si un détenu pourrait commettre un crime s’il est libéré, qui sert ensuite de base à la prise de décisions de libération conditionnelle. Récemment, Un détenu presque aveugle de 70 ans s’est vu refuser la libération conditionnelle Parce que Tiger a prédit qu’il avait un risque élevé de récidive.
Dans un autre cas qui a finalement été allé à la Cour suprême du Wisconsin (État contre Loomis), un algorithme a été utilisé pour guider la condamnation. Les défis à la peine – y compris une demande d’accès à l’algorithme pour déterminer comment il a atteint sa recommandation – ont été refusés au motif que la technologie était propriétaire. Essentiellement, l’opadeur technologique du système a été aggravée d’une manière qui a potentiellement sapé procédure régulière.
Également, sinon plus troublant, le ensemble de données sous-jacent au programme au Royaume-Uni – initialement surnommé le Projet de prédiction des homicides – se compose de centaines de milliers de personnes qui n’ont jamais accordé la permission d’utiliser leurs données pour former le système. Pire, l’ensemble de données – compilé En utilisant les données du ministère, de la Greater Manchester Police of Justice et de l’ordinateur national de la police – contient des données personnelles, y compris, mais sans s’y limiter, des informations sur la dépendance, la santé mentale, les handicaps, les cas précédents d’automutilation et s’ils avaient été victimes d’un crime. Des indicateurs tels que le sexe et la race sont également inclus.
Ces variables augmentent naturellement la probabilité de biais contre les minorités ethniques et autres groupes marginalisés. Ainsi, les prédictions de l’algorithme peuvent simplement refléter les choix de police du passé – les algorithmes prédictifs de l’IA reposent sur induction statistiqueils projettent donc les modèles passés (troublants) dans les données dans le futur.
En outre, les données surréprésent les délinquants noirs des zones riches ainsi que toutes les ethnies des quartiers défavorisés. Des études antérieures montrent que les algorithmes d’IA qui rendent les prédictions sur le comportement fonctionnent moins bien pour Délinquants noirs que pour les autres groupes. De telles conclusions ne font pas peu pour apaiser craintes que les groupes minoritaires raciaux et autres groupes vulnérables seront injustement ciblés.
Dans son livre, Solzhenitsyn a informé le monde occidental des horreurs d’un État bureaucratique broyant ses citoyens au service d’un idéal, avec peu de considération pour l’expérience vécue des êtres humains. L’État était presque toujours faux (surtout pour des raisons morales), mais, bien sûr, il n’y avait pas de mea culpa. Ceux qui ont été lésés étaient simplement des dommages collatéraux à oublier.
Maintenant, un demi-siècle plus tard, il est assez étrange qu’une démocratie comme le Royaume-Uni revisite un projet horrible et raté d’un pays communiste autoritaire comme moyen de « Protéger le public. « Le public doit être protégé – non seulement des criminels mais aussi de un »technopoly«Cela surestime largement le rôle de la technologie dans la construction et le maintien d’une société saine.
