La semaine dernière, la représentante américaine nouvellement élue, Alexandria Ocasio-Cortez, a fait la une des journaux lorsqu'elle a déclaré, dans le cadre du quatrième événement annuel MLK Now, que les technologies et algorithmes de reconnaissance faciale "ont toujours ces inégalités raciales qui se traduisent, parce que les algorithmes sont toujours créés. par des êtres humains, et ces algorithmes sont toujours liés à des hypothèses humaines de base. Ils sont simplement automatisés. Et des hypothèses automatisées - si vous ne corrigez pas le biais, vous automatisez simplement le biais. "
Est-ce à dire que les algorithmes, qui sont théoriquement basés sur les vérités objectives des mathématiques, peuvent être «racistes»? Et si oui, que peut-on faire pour éliminer ce biais?
Il s'avère que la sortie d'algorithmes peut en effet produire des résultats biaisés. Les scientifiques des données disent que les programmes informatiques, les réseaux de neurones, les algorithmes d'apprentissage automatique et l'intelligence artificielle (IA) fonctionnent parce qu'ils apprennent à se comporter à partir des données qui leur sont fournies. Les logiciels sont écrits par des humains, qui ont des préjugés, et les données d'entraînement sont également générées par des humains qui ont des préjugés.
Les deux étapes de l'apprentissage automatique montrent comment ce biais peut se glisser dans un processus apparemment automatisé. Dans la première étape, l'étape de formation, un algorithme apprend sur la base d'un ensemble de données ou de certaines règles ou restrictions. La deuxième étape est l'étape d'inférence, dans laquelle un algorithme applique ce qu'il a appris dans la pratique. Cette deuxième étape révèle les biais d'un algorithme. Par exemple, si un algorithme est formé avec des images de femmes uniquement aux cheveux longs, il pensera que toute personne aux cheveux courts est un homme.
Google a connu des tirs infâmes en 2015 lorsque Google Photos a qualifié les Noirs de gorilles, probablement parce que c'étaient les seuls êtres à la peau sombre de l'ensemble d'entraînement.
Et les préjugés peuvent s'introduire dans de nombreuses voies. "Une erreur courante consiste à former un algorithme pour faire des prédictions basées sur des décisions passées d'humains biaisés", a déclaré à Live Science Sophie Searcy, data scientist senior au data-science-training bootcamp Metis. "Si je crée un algorithme pour automatiser les décisions précédemment prises par un groupe d'agents de crédit, je pourrais emprunter la voie facile et entraîner l'algorithme sur les décisions passées de ces agents de crédit. Mais alors, bien sûr, si ces agents de crédit étaient biaisés, alors l'algorithme que je construis continuera ces biais. "
Searcy a cité l'exemple de COMPAS, un outil prédictif utilisé dans tout le système de justice pénale américain pour la détermination de la peine, qui tente de prédire où le crime se produira. ProPublica a effectué une analyse sur COMPAS et a constaté que, après avoir contrôlé d'autres explications statistiques, l'outil a surestimé le risque de récidive pour les accusés noirs et a systématiquement sous-estimé le risque pour les accusés blancs.
Pour aider à combattre les biais algorithmiques, Searcy a déclaré à Live Science, que les ingénieurs et les scientifiques des données devraient créer des ensembles de données plus diversifiés pour les nouveaux problèmes, tout en essayant de comprendre et d'atténuer le biais intégré aux ensembles de données existants.
D'abord et avant tout, a déclaré Ira Cohen, scientifique des données à la société d'analyse prédictive Anodot, les ingénieurs devraient avoir un ensemble de formation avec une représentation relativement uniforme de tous les types de population s'ils forment un algorithme pour identifier les attributs ethniques ou de genre. "Il est important de représenter suffisamment d'exemples de chaque groupe de population, même s'ils sont minoritaires dans la population globale examinée", a déclaré Cohen à Live Science. Enfin, Cohen recommande de vérifier les biais sur un ensemble de tests qui comprend des personnes de tous ces groupes. "Si, pour une certaine race, la précision est statistiquement significativement inférieure à celle des autres catégories, l'algorithme peut avoir un biais, et j'évaluerais les données d'entraînement qui ont été utilisées pour cela", a déclaré Cohen à LiveScience. Par exemple, si l'algorithme peut identifier correctement 900 des 1 000 visages blancs, mais ne détecte correctement que 600 des 1 000 visages asiatiques, alors l'algorithme peut avoir un biais "contre" les Asiatiques, a ajouté Cohen.
Supprimer les biais peut être extrêmement difficile pour l'IA.
Même Google, considéré comme un précurseur de l'IA commerciale, n'a apparemment pas pu trouver une solution complète à son problème de gorille à partir de 2015. Wired a constaté qu'au lieu de trouver un moyen pour ses algorithmes de distinguer les personnes de couleur des gorilles, Google a simplement bloqué ses algorithmes de reconnaissance d'image pour identifier les gorilles.
L'exemple de Google est un bon rappel que la formation d'un logiciel d'IA peut être un exercice difficile, en particulier lorsque le logiciel n'est pas testé ou formé par un groupe représentatif et diversifié de personnes.
