ChatGPT est capacitiste envers les candidats handicapés, selon une nouvelle étude
Une étude universitaire a révélé des biais inhérents au handicap dans le chatbot IA lorsqu'il est chargé de la sélection des CV.
Pas de surprise ici : ChatGPT n'est toujours pas un remplacement fiable pour les agents d'embauche et les recruteurs humains.
Dans une étude récemment publiée par l'Université de Washington, le chatbot intelligent à IA a classé à plusieurs reprises les candidatures incluant des distinctions et des diplômes liés au handicap à un niveau inférieur à celles ayant des mérites similaires, mais ne mentionnait pas le handicap. L'étude a testé plusieurs mots clés différents, notamment surdité, cécité, paralysie cérébrale, autisme et le terme général « handicap ».
Les chercheurs ont utilisé comme base de référence l'un des CV de l'auteur accessible au public, puis ont créé des versions améliorées du CV avec des récompenses et des distinctions impliquant différents handicaps, tels que le « Tom Wilson Disability Leadership Award » ou un siège dans un panel du DEI. Les chercheurs ont ensuite demandé à ChatGPT de classer les candidats.
Dans 60 essais, le CV original a été classé premier dans 75 % des cas.
« Les classements utilisant l'IA commencent à proliférer, mais il n'y a pas beaucoup de recherches pour déterminer si elle est sûre et efficace », a déclaré Kate Glazko, étudiante diplômée en informatique et en ingénierie et auteur principal de l'étude. « Pour un demandeur d'emploi handicapé, lorsque vous soumettez un curriculum vitae, la question se pose toujours de savoir si vous devez inclure des diplômes en matière de handicap. Je pense que les personnes handicapées considèrent cela même lorsque les évaluateurs sont des humains. »
ChatGPT « hallucinerait » également des raisonnements capacitaires expliquant pourquoi certaines maladies mentales et physiques entraveraient la capacité d'un candidat à faire le travail, ont déclaré les chercheurs.
« Certaines descriptions de GPT coloreraient l'intégralité du CV d'une personne en fonction de son handicap et prétendraient que l'implication dans le DEI ou le handicap pourrait potentiellement nuire à d'autres parties du CV », a écrit Glazko.
Mais les chercheurs ont également découvert que certaines des fonctionnalités inquiétantes pourraient être freinées en demandant à ChatGPT de ne pas être capacitaire, en utilisant la fonction GPTs Editor pour l'alimenter en matière de justice pour les personnes handicapées et de principes DEI. Les CV améliorés ont ensuite battu l'original plus de la moitié du temps, mais les résultats variaient toujours en fonction du handicap implicite dans le CV.
Le chatbot d'OpenAI a affiché des préjugés similaires dans le passé. En mars, une enquête de Bloomberg a montré que le modèle GPT 3.5 de l'entreprise affichait des préférences raciales claires pour les candidats à un emploi et reproduirait non seulement des pratiques d'embauche discriminatoires connues, mais répéterait également des stéréotypes liés à la race et au sexe. En réponse, OpenAI a déclaré que ces tests ne reflètent pas les utilisations pratiques de leurs modèles d'IA sur le lieu de travail.
