ChatGPT : nouveau système d’IA, ancien préjugé ?

Voici comment cette technologie puissante peut devenir plus précise et inclusive.

Chaque fois qu’une nouvelle application d’IA est annoncée, je ressens une bouffée d’excitation de courte durée, suivie peu de temps après par un nœud dans l’estomac. C’est parce que je sais que la technologie, le plus souvent, n’a pas été conçue dans un souci d’équité.

Un système, ChatGPT, a atteint 100 millions d’utilisateurs uniques seulement deux mois après son lancement. L’outil textuel engage les utilisateurs dans des échanges interactifs, conviviaux et générés par l’IA avec un chatbot qui a été développé pour parler avec autorité sur tout sujet qu’il est invité à aborder.

Dans une interview avec Michael Barbaro sur le podcast The Daily du New York Times, le journaliste technique Kevin Roose a décrit comment une application similaire à ChatGPT, le chatbot AI de Bing, qui est également construit sur le modèle de langage GPT-3 d’OpenAI, a répondu à sa demande de suggestion sur un plat d’accompagnement pour accompagner la soupe à l’oignon française pour le dîner de la Saint-Valentin avec sa femme. Non seulement Bing a répondu à la question avec une recommandation de salade, mais il lui a également indiqué où trouver les ingrédients au supermarché et les quantités nécessaires pour faire la recette pour deux, et il a terminé l’échange avec une note lui souhaitant, ainsi qu’à sa femme, un merveilleux Saint Valentin – même en ajoutant un emoji de cœur.

La précision, la spécificité et même le charme de cet échange témoignent de la précision et de la profondeur des connaissances nécessaires pour piloter la technologie. Qui ne croirait pas un bot comme celui-ci ?

Bing a fourni ces informations en analysant les mots-clés dans l’invite de Roose – en particulier « soupe à l’oignon française » et « accompagnement » – et en utilisant des algorithmes de correspondance pour élaborer la réponse la plus susceptible de répondre à sa requête. Les algorithmes sont formés pour répondre aux invites des utilisateurs à l’aide de grands modèles de langage développés par des ingénieurs travaillant pour OpenAI.

En 2020, les membres de l’équipe OpenAI ont publié un article académique qui déclare que leur modèle de langage est le plus grand jamais créé, avec 175 milliards de paramètres. derrière sa fonctionnalité. Avoir un modèle de langage aussi vaste devrait signifier que ChatGPT peut parler de tout, n’est-ce pas ?

Malheureusement, ce n’est pas vrai. Un modèle de cette taille nécessite des contributions de personnes du monde entier, mais reflétera intrinsèquement les préjugés de leurs auteurs. Cela signifie que les contributions des femmes, des enfants et d’autres personnes marginalisées tout au long de l’histoire humaine seront sous-représentées, et ce biais se reflétera dans la fonctionnalité de ChatGPT.

Biais de l’IA, Bessie et Beyoncé : ChatGPT pourrait-il effacer un héritage d’excellence noire ?

Plus tôt cette année, j’étais l’invité du Karen Hunter Showet elle a expliqué comment, à ce moment-là, ChatGPT n’avait pas pu répondre à sa demande spécifique lorsqu’elle avait demandé si l’artiste Bessie Smith influencé la chanteuse de gospel Mahalia Jackson, sans incitation supplémentaire à introduire de nouvelles informations.

Bien que le bot puisse fournir des informations biographiques sur chaque femme, il ne pouvait pas discuter de manière fiable de la relation entre les deux. C’est une parodie parce que Bessie Smith est l’une des chanteuses de blues les plus importantes de l’histoire américaine, qui a non seulement influencé Jackson, mais est reconnue par les musicologues pour avoir jeté les bases de la musique populaire aux États-Unis.. Elle aurait influencé des centaines d’artistes, dont Elvis Presley, Billie Holiday et Janis Joplin.. Cependant, ChatGPT ne pouvait toujours pas fournir ce contexte pour l’influence de Smith.

En effet, l’une des façons dont le racisme et le sexisme se manifestent dans la société américaine consiste à effacer les contributions des femmes noires. Pour que les musicologues écrivent largement sur l’influence de Smith, ils devraient reconnaître qu’elle avait le pouvoir de façonner le comportement des Blancs et de la culture en général. Cela remet en question ce que l’auteur et activiste social bell hooks a appelé les valeurs « suprématistes blanches, capitalistes, patriarcales ». qui ont façonné les États-Unis.

Par conséquent, les contributions de Smith sont minimisées. En conséquence, lorsque les ingénieurs d’OpenAI formaient le modèle ChatGPT, il semble qu’ils avaient un accès limité aux informations sur Smith influence sur la musique américaine contemporaine. Cela est devenu clair dans l’incapacité de ChatGPT à donner à Hunter une réponse adéquate, et ce faisant, l’échec renforce la minimisation des contributions des femmes noires en tant que norme de l’industrie musicale.

Dans un exemple plus contemporain explorant l’influence potentielle des préjugés, considérez le fait que, bien qu’elle soit la gagnante d’un Grammy le plus célèbre de l’histoire, Beyoncé n’a jamais remporté le prix du disque de l’année. Pourquoi?

Un électeur des Grammy Awards, identifié par Variety comme un « vétéran de l’industrie de la musique dans les années 70 », a déclaré qu’il n’avait pas voté pour Renaissance de Beyoncé en tant que disque de l’année parce que la fanfare entourant sa sortie était « trop ​​​​prodigieuse ». L’impact de cette opinion, sans rapport avec la qualité de l’album lui-même, a contribué à ce que l’artiste continue à se passer de la reconnaissance du disque de l’année.

En regardant vers l’avenir d’un point de vue technique, imaginez que des ingénieurs développent un ensemble de données de formation pour les artistes musicaux les plus performants du début du 21e siècle. Si le statut de lauréate du prix Record of the Year Grammy est considérée comme un facteur important, Beyoncé pourrait ne pas apparaître dans cet ensemble de données, ce qui est ridicule.

Sous-estimé dans la société, sous-estimé dans l’IA

Les oublis de cette nature me rendent furieux parce que les nouveaux développements technologiques font soi-disant progresser notre société – ils le sont, si vous êtes un homme blanc de la classe moyenne, cisgenre et hétérosexuel. Cependant, si vous êtes une femme noire, ces applications renforcent l’affirmation de Malcolm X selon laquelle les femmes noires sont les personnes les plus irrespectueuses en Amérique..

Cette dévaluation des contributions que les femmes noires apportent à la société au sens large a un impact sur la façon dont je suis perçue dans l’industrie de la technologie. Pour le contexte, je suis largement considéré comme un expert des impacts raciaux des systèmes techniques avancés, régulièrement invité à rejoindre des conseils consultatifs et à soutenir les équipes de produits dans l’industrie technologique. Dans chacun de ces lieux, j’ai assisté à des réunions au cours desquelles les gens s’étonnent de mon savoir-faire.

Ceci malgré le fait que je dirige une équipe qui a approuvé et recommandé la loi sur la responsabilité algorithmique à la Chambre des représentants des États-Unis en 2019 et à nouveau en 2022et le langage qu’il inclut autour de l’évaluation d’impact a été adopté par l’American Data Privacy Act de 2022. Malgré le fait que je dirige une organisation à but non lucratif qui a été invitée à contribuer à façonner la réflexion des Nations Unies sur les biais algorithmiques. Et malgré le fait que j’ai été boursier à Harvard, à Stanford et à l’Université de Notre Dame, où j’ai réfléchi à ces questions.

Malgré cette richesse d’expérience, ma présence est surprise, car les femmes noires sont toujours considérées comme des embauches de la diversité et non qualifiées pour des rôles de leadership.

L’incapacité de ChatGPT à reconnaître l’impact du sexisme racialisé peut ne pas être une préoccupation pour certains. Cependant, cela devient un sujet de préoccupation pour nous tous lorsque nous considérons les plans de Microsoft pour intégrer ChatGPT dans notre expérience de recherche en ligne via Bing. Beaucoup comptent sur les moteurs de recherche pour fournir des informations précises, objectives et impartiales, mais cela est impossible, non seulement à cause du biais dans les données de formation, mais aussi parce que les algorithmes qui pilotent ChatGPT sont conçus pour prédire plutôt que pour vérifier les informations.

Cela a déjà conduit à quelques erreurs notables.

Tout cela soulève la question, pourquoi utiliser ChatGPT ?

Les enjeux de cette mésaventure cinématographique sont faibles, mais tenez compte du fait qu’un juge en Colombie a déjà utilisé ChatGPT dans une décision – un sujet de préoccupation majeur pour les Noirs.

Nous avons déjà vu comment l’algorithme COMPAS (Correctional Offender Management Profiling for Alternative Sanctions) en usage aux États-Unis a prédit que les accusés noirs récidiveraient à des taux plus élevés que leurs homologues blancs. Imaginez une décision rédigée par ChatGPT en utilisant des données d’arrestation de l’ère « Stop and Frisk » de New York, lorsque 90% des hommes noirs et bruns arrêtés par les forces de l’ordre étaient innocents.

Saisir une opportunité d’inclusion dans l’IA

Si nous reconnaissons l’existence et l’importance de ces problèmes, remédier à l’omission des voix des femmes noires et d’autres groupes marginalisés est à notre portée.

Par exemple, les développeurs peuvent identifier et combler les lacunes des données de formation en engageant des validateurs tiers ou des experts indépendants pour mener des évaluations d’impact sur la manière dont la technologie sera utilisée par les personnes issues de groupes historiquement marginalisés.

La publication de nouvelles technologies en version bêta pour les utilisateurs de confiance, comme l’a fait OpenAI, pourrait également améliorer la représentation – si le pool d ‘ »utilisateurs de confiance » est inclusif, c’est-à-dire.

En outre, l’adoption de lois comme l’Algorithmic Accountability Act, qui a été réintroduite au Congrès en 2022, établirait des lignes directrices fédérales protégeant les droits des citoyens américains, y compris des exigences en matière d’évaluations d’impact et de transparence sur le moment et la manière dont les technologies sont utilisées, entre autres. garanties.

Mon souhait le plus sincère est que les innovations technologiques inaugurent de nouvelles façons de penser la société. Avec l’adoption rapide de nouvelles ressources comme ChatGPT, nous pourrions rapidement entrer dans une nouvelle ère d’accès aux connaissances soutenu par l’IA. Mais l’utilisation de données de formation biaisées projettera l’héritage de l’oppression dans le futur.

Les chroniques et analyses de Indigo Buzz Voices reflètent les opinions des auteurs.