OpenAI et Anthropic acceptent de faire tester leurs modèles avant de les rendre publics
Pas si vite, dit le gouvernement américain.
OpenAI et sa société rivale Anthropic ont signé des accords avec le gouvernement américain pour que de nouveaux modèles soient testés avant leur publication publique.
Jeudi, le National Institute of Standards and Technology (NIST) a annoncé que son Institut de sécurité de l'IA superviserait « la recherche, les tests et l'évaluation de la sécurité de l'IA » avec les deux entreprises. « Ces accords ne sont qu'un début, mais ils constituent une étape importante dans notre travail visant à contribuer à gérer de manière responsable l'avenir de l'IA », a déclaré Elizabeth Kelly, directrice de l'Institut de sécurité de l'IA, dans l'annonce.
Ce n’est un secret pour personne que l’IA générative présente des risques pour la sécurité. Sa tendance à produire des inexactitudes et des informations erronées, à favoriser des comportements nuisibles ou illégaux et à ancrer la discrimination et les préjugés est bien documentée à ce stade. OpenAI dispose de ses propres tests de sécurité internes, mais reste discret sur le fonctionnement de ses modèles et sur les éléments sur lesquels ils sont entraînés. C’est la première fois qu’OpenAI ouvre l’accès à un contrôle et à une responsabilité de tiers. Altman et OpenAI ont insisté sur la nécessité d’une réglementation et d’une normalisation de l’IA. Mais les critiques affirment que la volonté de travailler avec le gouvernement est une stratégie visant à garantir qu’OpenAI soit réglementée favorablement et à éliminer la concurrence.
« Pour de nombreuses raisons, nous pensons qu'il est important que cela se produise au niveau national. Les États-Unis doivent continuer à montrer la voie ! », a déclaré le PDG d'OpenAI, Sam Altman, sur X.
Le tweet a peut-être été supprimé
La collaboration officielle avec le NIST s’appuie sur le décret exécutif sur l’IA signé par l’administration Biden en octobre dernier. Parmi d’autres mandats qui obligent plusieurs agences fédérales à assurer le déploiement sûr et responsable de l’IA, le décret exige que les entreprises d’IA accordent l’accès au NIST pour le red-teaming avant qu’un modèle d’IA ne soit rendu public.
L'annonce indiquait également que les conclusions et les commentaires seraient partagés en partenariat avec l'Institut britannique de sécurité de l'IA.
