Un article publié par le média Pro Publica en 2016 considère que le logiciel Compas, utilisé aux États-Unis pour la prédiction de la récidive, porte préjudice à la population noire : « It’s biased against blacks ». La publication crée une onde de choc dans l’espace public et alimente les débats sur l’équité des algorithmes et sur le bien-fondé de ces outils de prédiction du risque. Ces débats étaient jusque-là confinés dans des sphères de spécialistes. En partant de l’affaire ProPublica-Compas, nous avons exploré les différents embranchements de la controverse dans l’arène des « data sciences » et dans celle du monde de la justice.
Si, dans l’espace médiatique, l’affaire Compas illustre les dérives liées aux algorithmes et vient renforcer les inquiétudes autour de l’intelligence artificielle (peur du remplacement, du renforcement des inégalités et de l’opacité), dans le monde académique deux arènes s’emparent de l’affaire. Dans l’arène des data sciences, les chercheurs discutent des critères d’équité et de leur incompatibilité, montrant à quel point la traduction d’un principe moral en indicateurs statistiques est problématique. Ils débattent également de la supériorité supposée de la machine sur l’homme dans les tâches de prédiction. Dans l’arène de la justice pénale, espace beaucoup plus hétérogène, l’affaire ProPublica-Compas renforce la prise de conscience qu’il est nécessaire de mieux évaluer les outils avant de les utiliser, de comprendre comment les juges s’approprient ces outils en contexte et amène les ONG qui défendent les prisonniers et les législateurs à changer de posture par rapport à ces outils de prédiction. Tandis que l’arène des data sciences fonctionne dans un entre-soi disciplinaire, focalisé sur les données et les algorithmes hors contexte, dans l’arène juridique, qui assemble des acteurs hétérogènes, la question de l’inscription des outils dans la pratique professionnelle occupe une place centrale.