L'un des responsables de la sécurité d'OpenAI a démissionné mardi. Il vient d'expliquer pourquoi.
En un mot : la sécurité.
On sait qu’OpenAI n’est pas si ouvert que ça. Des produits d’IA éblouissants et de pointe émergent sans avertissement, générant à parts égales enthousiasme et anxiété (avec beaucoup de dédain). Mais comme pour le développement de ses produits, la culture interne de l'entreprise est inhabituellement opaque, ce qui rend d'autant plus troublant que Jan Leike, le co-responsable sortant de son équipe de « superalignement » – un poste qui néglige les problèmes de sécurité d'OpenAI – vient de s'exprimer contre le entreprise.
Quelque chose comme ceci était en partie anticipé par ceux qui surveillaient de près OpenAI. L'ancien scientifique en chef de l'entreprise, Ilya Sutskever, a également démissionné brusquement mardi, et « #WhatDidIlyaSee » est redevenu un hashtag tendance. La formulation présomptueuse du hashtag – datant de mars, lorsque Sutskever a participé aux machinations d’entreprise qui ont brièvement licencié le PDG Sam Altman – donnait l’impression que Sutskever avait entrevu le monde à travers le miroir de l’IA et s’en était enfui en hurlant.
Dans une série de messages sur X (anciennement Twitter) vendredi, Leike a donné au public quelques indices sur les raisons de son départ.
Il a affirmé qu'il était « en désaccord avec les dirigeants d'OpenAI sur les priorités fondamentales de l'entreprise depuis un certain temps » et qu'il avait atteint un « point de rupture ». Il pense que l'entreprise devrait se concentrer davantage sur « la sécurité, la surveillance, la préparation, la sûreté, la robustesse de l'adversaire, le (super)alignement, la confidentialité, l'impact sociétal et les sujets connexes ».
« Ces problèmes sont assez difficiles à résoudre, et je crains que nous ne soyons pas sur la bonne voie pour y arriver », a déclaré Leike, notant qu'il avait l'impression que lui et son équipe « naviguaient contre le vent » lorsqu'ils tentaient de sécuriser les ressources dont ils avaient besoin pour accomplir leur travail de sécurité.
Leike semble considérer OpenAI comme porteur d'une immense responsabilité, écrivant : « Construire des machines plus intelligentes que l'humain est une entreprise intrinsèquement dangereuse. » Cela rend potentiellement d'autant plus effrayant que, selon Leike, « au cours des dernières années, la culture et les processus de sécurité ont pris le pas sur les produits brillants ».
Leike prend évidemment au sérieux le récit interne de l'entreprise sur la recherche d'une intelligence générale artificielle, également connue sous le nom d'AGI, des systèmes qui traitent véritablement les informations comme les humains, bien au-delà des capacités étroites de type LLM. « Il est grand temps que nous prenions au sérieux les implications de l'AGI », a écrit Leike. « Nous devons donner la priorité à leur préparation du mieux que nous pouvons. Ce n'est qu'alors que nous pourrons garantir que l'AGI profite à l'ensemble de l'humanité. »
Selon Leike, OpenAI doit « devenir une entreprise AGI axée sur la sécurité » et il a exhorté ses employés restants à « agir avec le sérieux approprié à ce que vous construisez ».
Ce départ, sans parler de ces commentaires, ne fera qu'alimenter les appréhensions déjà largement répandues du public concernant l'engagement, ou l'absence d'engagement, d'OpenAI en faveur de la sécurité de l'IA. D'autres critiques ont cependant souligné que les propos alarmistes autour du pouvoir prétendument immense de l'IA fonctionnent également comme une sorte de plan de marketing détourné pour cette technologie encore largement non éprouvée.
