Le problème des biais dans les algorithmes de décision

Un biais cognitif est une forme de pensée qui dévie de la pensée logique ou rationnelle et qui a tendance à être systématiquement utilisée dans certaines situations.

9 octobre 2017

Dans la littérature, il en existe une foule d’exemples, dont les causes et les conséquences ont fait l’objet de nombreuses études.

Dans certaines situations, un programme informatique qui analyse un problème quelconque peut, en théorie, être apte à prendre une décision exempte de biais.

Ce n’est toutefois pas toujours le cas.

En avril dernier, le magazine Science a mis en lumière un problème déjà connu des experts: la présence de biais dans les algorithmes.

Les machines apprenant beaucoup en lisant et en écoutant le langage humain, elles assimilent du même coup certains préjugés entretenus par ces derniers. Concrètement, ces biais peuvent avoir un impact sur des systèmes servant à accorder des prêts financiers, à sélectionner des candidatures pour des entrevues ou même à rendre des décisions judiciaires.

Dans leur étude publiée dans Science, les chercheurs Aylin Caliskan, Joanna J. Bryson et Arvind Narayanan se sont intéressés à une méthode d’apprentissage appelée «word embedding», où un terme est défini par les mots desquels il se rapproche.

À travers leurs recherches, ils ont notamment découvert que le mot femme était davantage associé à des carrières dans le domaine des arts et des lettres, alors que le mot homme était plutôt lié à des postes dans le domaine des mathématiques ou de l’ingénierie.

De plus, certaines origines ethniques étaient associées à un ensemble de mots généralement positifs. C’était le cas entre autres pour les Américains de descendance européenne. Dans d’autres cas, elles étaient liées à des groupements beaucoup plus négatifs.

Un problème qui mérite plus d’attention?

Dès 2014, un rapport produit par l’administration Obama soulevait la difficulté de repérer, quantifier et corriger les biais provenant de processus de décision automatisés.

Depuis, certains experts se sont penchés sur le dossier. C’est notamment l’un des sujets de recherche du groupe AI Now initiative, qui compte à sa tête Meredith Whittaker, chercheuse chez Google, ainsi que Kate Crawford, chercheuse chez Microsoft.

Malgré tout, plusieurs chercheurs jugent que le problème n’est pas encore suffisamment pris au sérieux par les organisations qui développent et utilisent ces systèmes. De plus, les algorithmes développés sont souvent comme des boîtes noires qu’il est difficile d’explorer.

Alors que l’utilisation de l’intelligence artificielle prend de plus en plus d’importance, il semble donc qu’il faudra travailler en mode rattrapage pour améliorer les algorithmes en place.