L’IA montre des préjugés raciaux évidents lorsqu’elle est utilisée pour le recrutement, révèlent de nouveaux tests
L’IA n’a pas encore résolu la discrimination à l’embauche, et elle pourrait même aggraver la situation.
Dans un refrain qui semble presque trop familier désormais : l’IA générative répète les préjugés de ses créateurs.
Une nouvelle enquête de Bloomberg a révélé que la technologie d’IA générative d’OpenAI, en particulier GPT 3.5, affichait des préférences pour certaines races dans les questions d’embauche. L’implication est que les professionnels du recrutement et des ressources humaines qui intègrent de plus en plus d’outils basés sur l’IA générative dans leurs flux de travail de recrutement automatique – comme le nouvel assistant Gen AI de LinkedIn par exemple – pourraient propager le racisme. Encore une fois, cela semble familier.
La publication a utilisé une expérience courante et assez simple consistant à introduire des noms et des CV fictifs dans des logiciels de recrutement d’IA pour voir à quelle vitesse le système affichait des préjugés raciaux. Des études comme celles-ci sont utilisées depuis des années pour détecter les préjugés humains et algorithmiques parmi les professionnels et les recruteurs.
« Les journalistes ont utilisé les données des électeurs et des recensements pour dériver des noms démographiquement distincts – ce qui signifie qu’ils sont associés à des Américains d’une race ou d’une ethnie particulière au moins 90 pour cent du temps – et les ont assignés au hasard à des curriculum vitae également qualifiés », explique l’enquête. « Lorsqu’on lui a demandé de classer ces CV 1 000 fois, GPT 3.5 – la version la plus largement utilisée du modèle – a favorisé plus souvent les noms de certains groupes démographiques que d’autres, à un point tel qu’ils échoueraient aux critères utilisés pour évaluer la discrimination au travail à l’encontre des groupes protégés. »
L’expérience a classé les noms en quatre catégories (Blanc, Hispanique, Noir et Asiatique) et deux catégories de genre (homme et femme), et les a soumis à quatre offres d’emploi différentes. ChatGPT a systématiquement placé des « noms féminins » dans des rôles historiquement alignés avec un nombre plus élevé d’employées, tels que les rôles RH, et a choisi moins fréquemment des candidates noires 36 performances pour des rôles techniques comme ingénieur logiciel.
ChatGPT a également organisé des CV classés de manière égale et inégale selon les emplois, faussant les classements en fonction du sexe et de la race. Dans une déclaration à Bloomberg, OpenAI a déclaré que cela ne reflète pas la manière dont la plupart des clients intègrent leurs logiciels dans la pratique, notant que de nombreuses entreprises affinent leurs réponses pour atténuer les biais. L’enquête de Bloomberg a également consulté 33 chercheurs, recruteurs, informaticiens, avocats et autres experts en IA pour fournir un contexte aux résultats.
Le rapport n’est pas révolutionnaire parmi les années de travail des défenseurs et des chercheurs qui mettent en garde contre la dette éthique du recours à l’IA, mais il constitue un puissant rappel des dangers d’une adoption généralisée de l’IA générative sans qu’on y prête attention. Alors que seuls quelques acteurs majeurs dominent le marché, et donc les logiciels et les données qui constituent nos assistants intelligents et nos algorithmes, les voies de la diversité se rétrécissent. Comme Cecily Mauran de Indigo Buzz l’a rapporté dans une étude sur le monolithe de l’IA sur Internet, le développement incestueux de l’IA (ou la construction de modèles qui ne sont plus formés sur la contribution humaine mais sur d’autres modèles d’IA) entraîne une baisse de la qualité, de la fiabilité et, surtout, de la diversité.
Et, comme le soutiennent des organismes de surveillance comme AI Now, « les humains au courant » pourraient ne pas être en mesure d’aider.
