Le service qui utilise l’IA pour identifier le sexe en fonction des noms semble incroyablement biaisé

Le service qui utilise l’IA pour identifier le sexe en fonction des noms semble incroyablement biaisé


Certaines entreprises de technologie font sensation lors de leur lancement, d’autres semblent fléchir.

Genderify, un nouveau service qui promet d’identifier le sexe d’une personne en analysant son nom, son adresse e-mail ou son nom d’utilisateur avec l’aide de l’IA, semble fermement appartenir à ce dernier camp. La société a lancé Product Hunt la semaine dernière, mais a récemment attiré beaucoup d’attention sur les médias sociaux, car les utilisateurs ont découvert des biais et des inexactitudes dans ses algorithmes.

Tapez le nom «Meghan Smith» dans Genderify, par exemple, et le service propose l’évaluation: «Homme: 39,60%, Femme: 60,40%.» Changez ce nom en «Dr. Meghan Smith », cependant, et l’évaluation change en:« Homme: 75,90%, Femme: 24,10%. » D’autres noms précédés de «Dr» produisent des résultats similaires, et d’autres entrées semblent biaiser systématiquement les hommes. «Test@test.com» serait, par exemple, à 96,90% d’hommes, tandis que «Mrs Joan Smith» serait à 94,10% d’hommes.

Le tollé semble avoir été si grand que, au moment de la rédaction de cet article, le site Web du service, Genderify.com, a été mis hors ligne et son API gratuite n’est plus accessible.

Ces types de biais apparaissent régulièrement dans les systèmes d’apprentissage automatique, mais la légèreté de Genderify semble avoir surpris de nombreux experts dans le domaine. La réponse de Meredith Whittaker, cofondatrice de l’AI Now Institute, qui étudie l’impact de l’IA sur la société, était assez typique. «Sommes-nous trolled?» elle a demandé. «Est-ce un psyop destiné à distraire le monde de la technologie et de la justice? Est-ce déjà le jour du poisson d’avril cringey tech?

Le problème avec Genderify n’est pas qu’il émet des hypothèses sur le sexe d’une personne en fonction de son nom. Les gens font cela tout le temps et font parfois des erreurs dans le processus. C’est pourquoi il est poli de savoir comment les gens s’identifient et comment ils veulent être abordés. Le problème avec Genderify est qu’il automatise ces hypothèses; les appliquer à grande échelle tout en triant les individus dans un binaire homme / femme (et en ignorant ainsi les individus qui s’identifient comme non binaires) tout en renforçant les stéréotypes de genre dans le processus (par exemple: si vous êtes médecin, vous êtes probablement un homme).

Le préjudice potentiel de cela dépend de la manière et du lieu où Genderify est appliqué. Si le service était intégré à un chatbot médical, par exemple, ses hypothèses sur le sexe des utilisateurs pourraient conduire le chatbot à émettre un avis médical trompeur.

Heureusement, le service ne semble pas viser à automatiser ce type de système, mais est principalement conçu pour être un outil de marketing. Comme le créateur de Genderify, Arevik Gasparyan, a déclaré sur Product Hunt: «Genderify peut obtenir des données qui vous aideront à analyser, à améliorer vos données clients, à segmenter votre base de données marketing, à statistiques démographiques, etc.»

Dans la même section de commentaires, Gasparyan a reconnu les préoccupations de certains utilisateurs concernant les préjugés et l’ignorance des individus non binaires, mais n’a offert aucune réponse concrète.

Un utilisateur a demandé: «Disons que je choisis de m’identifier comme ni comme homme ni comme femme, comment abordez-vous cela? Comment éviter la discrimination sexuelle? Comment luttez-vous contre les préjugés sexistes? » Ce à quoi Gasparyan a répondu que le service prend ses décisions sur la base de «bases de données de noms binaires / genres déjà existantes» et que l’entreprise «recherche activement des moyens d’améliorer l’expérience des visiteurs transgenres et non binaires» en «séparant les concepts de nom / nom d’utilisateur / e-mail de l’identité de genre. » C’est une réponse déroutante étant donné que toute la prémisse de Genderify est que ces données sont un indicateur fiable de l’identité de genre.

Nous avons contacté l’entreprise et mettrons à jour cette histoire avec tout commentaire que nous recevrons.



Jean-Michel

Ingénieur informatique de métier, passionné par l'informatique et le gaming et oui il n'y a pas que les jeunes qui peuvent aimer le gaming ... :)

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *