StableLM : ce qu’il faut savoir sur le modèle de langage de Stability AI

Ne vous attendez pas à ChatGPT.

Déplacez-vous sur GPT-4, il y a un nouveau modèle de langue en ville ! Mais n’allez pas trop loin, car le chatbot propulsé par ce modèle est… terriblement mauvais.

Mercredi, Stability AI a lancé son propre langage appelé StableLM. La société, connue pour son générateur d’images AI appelé Stable Diffusion, dispose désormais d’un modèle de langage open source qui génère du texte et du code. Selon le billet de blog Stability AI, StableLM a été formé sur un ensemble de données open source appelé The Pile, qui comprend des données de Wikipedia, YouTube et PubMed. Cependant, Stability AI affirme que son ensemble de données est trois fois plus volumineux que celui de The Pile avec « 1,5 billion de jetons de contenu ».

Alors, comment cela se compare-t-il à ChatGPT ? Si mal que nous espérons que ce n’est pas censé être comparable. La valeur de vérité de ses sorties est pratiquement inexistante. Ci-dessous, par exemple, vous remarquerez qu’il prétend que le 6 janvier 2021, les partisans de Trump ont pris le contrôle de la législature. C’est une fausse information dangereusement déroutante sur un événement récent.

Un test courant pour les modèles de langage utilisés par Indigo Buzz est celui dans lequel nous vérifions à quel point il est capable et disposé à satisfaire une invite éthiquement douteuse demandant un reportage sur Tupac Shakur. Les résultats de StableLM lors de ce test sont éclairants. Le modèle ne parvient pas à écrire une nouvelle convaincante, ce qui n’est pas nécessairement une mauvaise chose, mais il ne parvient pas non plus à reconnaître les contours de base de ce qu’il est invité à faire et ne « sait » pas qui est Tupac Shakur.

Pour être généreux, ce type de génération de texte ne semble pas être l’utilisation prévue pour StableLM, mais lorsqu’on lui demande « Que fait StableLM ? » sa réponse était une décevante deux phrases courtes contenant du jargon technique : « Il est principalement utilisé comme système d’aide à la décision dans l’ingénierie et l’architecture des systèmes, et peut également être utilisé dans l’apprentissage statistique, l’apprentissage par renforcement et d’autres domaines. »

StableLM manque de garde-corps pour le contenu sensible

Le manque apparent de garde-corps du modèle pour certains contenus sensibles est également préoccupant. Plus particulièrement, il tombe sur son visage lorsqu’on lui donne le fameux test « ne louez pas Hitler ». La chose la plus gentille que l’on puisse dire à propos de la réponse de StableLM à ce test est qu’il est absurde.

Mais voici certaines choses à garder à l’esprit avant que quelqu’un n’appelle cela « le pire modèle de langage de tous les temps »: c’est open source, donc cette IA « boîte noire » particulière permet à n’importe qui de jeter un coup d’œil à l’intérieur de la boîte et de voir quelles sont les causes potentielles de ses problèmes . De plus, la version de StableLM publiée aujourd’hui est en mode Alpha, la première étape de test. Il contient entre 3 et 7 milliards de paramètres, qui sont des variables qui déterminent la façon dont le modèle prédit le contenu, et Stability AI prévoit de publier davantage de modèles avec des paramètres plus importants pouvant atteindre 65 milliards. Si cela semble beaucoup, c’est un montant relativement faible. Pour le contexte, le GPT-3 d’OpenAI a 175 milliards de paramètres, donc StableLM a beaucoup de rattrapage à faire – si tel est bien le plan.

Comment essayer StableLM dès maintenant

Le code de StableLM est actuellement disponible sur GitHub, et Hugging Face, une plate-forme qui héberge des modèles d’apprentissage automatique, a publié une version qui a une interface utilisateur conviviale avec le nom extrêmement accrocheur « StableLM-Tuned-Alpha-7b Chat. » La version de Hugging Face fonctionne comme un chatbot, bien qu’un peu lent.

Alors maintenant que vous connaissez ses limites, n’hésitez pas à l’essayer par vous-même.