Microsoft lance Phi-3 Mini, un petit modèle d'IA qui a du punch

Le Phi-3 Mini a été conçu pour les smartphones.

Microsoft a publié Phi-3 Mini, une nouvelle version de son modèle d'IA léger conçu pour des tâches spécifiques.

Selon le document de recherche publié plus tôt cette semaine, le Phi-3 Mini possède 3,8 milliards de paramètres, ce qui est nettement inférieur à d'autres modèles comme le GPT-4 d'OpenAI, ce qui le rend suffisamment petit pour être déployé sur un smartphone. OpenAI n'a pas partagé le nombre de paramètres de GPT-4, mais on pense qu'il contient plus d'un billion de paramètres par Semafor.

Les modèles d’IA traditionnels nécessitent d’énormes quantités de puissance de calcul, ce qui est très coûteux et a une énorme empreinte carbone. Des entreprises comme Microsoft et Google ont travaillé sur des modèles plus petits et légers qui gèrent des tâches courantes, ce qui rendrait l'hébergement de leurs modèles plus durable – au sens opérationnel – et plus adapté aux smartphones, sur lesquels l'industrie s'appuie fortement. Samsung mise sur l'IA générative avec une collection de fonctionnalités pour ses appareils Galaxy, Google ajoute également des fonctionnalités d'IA générative à sa gamme Pixel, et même Apple devrait faire de grandes annonces en matière d'IA pour iOS 18.

Les paramètres concernent la manière dont les modèles sont capables de gérer la complexité. Ainsi, plus il y a de paramètres, plus un modèle est capable de gérer des demandes vastes et nuancées. Mais pour les tâches quotidiennes dont l'utilisateur moyen aurait besoin d'un modèle d'IA, comme la traduction, l'aide à la rédaction d'un e-mail ou la recherche de restaurants locaux, un modèle plus petit et léger est présumé suffisant.

Phi-3 Mini a obtenu des résultats similaires par rapport au modèle open source Llama 3 de Meta et au GPT-3.5 d'OpenAI sur des benchmarks courants, à quelques exceptions près. Il a surpassé Llama 3 et a obtenu un score juste en dessous du GPT 3,5 en compréhension du langage naturel (MMLU) et en raisonnement de bon sens (HellaSwag) et a battu les deux modèles en raisonnement arithmétique (GSM8K). Comme le note l'article, il a obtenu des résultats inférieurs en termes de questions triviales et de « connaissances factuelles », mais les chercheurs pensent que « cette faiblesse peut être résolue par une augmentation avec un moteur de recherche », ce qui signifie qu'une fois que le modèle sera connecté à Internet, ce ne sera plus un problème. problème.

Les chercheurs ont formé Phi-3 Mini sur une combinaison de « données Web fortement filtrées » qui répondent aux normes en matière d'informations éducatives de haute qualité, ainsi que de données synthétiques, ce qui remet en question l'idée selon laquelle tout extraire du Web est le meilleur moyen de former un modèle. Le modèle a également été formé sur… des histoires au coucher, selon DailyAI, ce qui est en fait tout à fait logique pour comprendre le fonctionnement du cerveau humain. L'idée est d'opter pour la qualité plutôt que la quantité avec des données organisées afin qu'elles puissent fonctionner avec moins de paramètres tout en conservant leur puissance.

Phi-3 Mini est désormais disponible sur HuggingFace, Azure et Ollama.