Pourquoi est-ce important: Les capacités avancées d’IA nécessitent généralement des modèles massifs hébergés dans le cloud avec des milliards, voire des milliards de paramètres. Mais Microsoft défie cela avec le Phi-3 Mini, une centrale d’IA de la taille d’une pinte qui peut fonctionner sur votre téléphone ou votre ordinateur portable tout en offrant des performances rivalisant avec certains des plus grands modèles linguistiques du marché.
Pesant seulement 3,8 milliards de paramètres, le Phi-3 Mini est le premier des trois nouveaux modèles d’IA compacts que Microsoft prépare. Il est peut-être petit, mais Microsoft affirme que ce petit surperformant peut dépasser largement sa catégorie de poids, produisant des réponses proches de ce que vous obtiendriez d’un modèle 10 fois sa taille.
Le géant de la technologie prévoit de suivre ultérieurement Mini avec Phi-3 Small (7 milliards de paramètres) et Phi-3 Medium (14 milliards). Mais même le Mini, doté de 3,8 milliards de paramètres, s’annonce comme un acteur majeur, selon les chiffres de Microsoft.
Ces chiffres montrent que Phi-3 Mini résiste à des poids lourds comme le paramètre GPT-3.5 de plus de 175 milliards de dollars qui alimente le chatGPT gratuit, ainsi que le modèle Mixtral 8x7B de la société française d’IA Mistral. Ce n’est pas mal du tout pour un modèle suffisamment compact pour fonctionner localement sans aucune connexion cloud requise.
Alors, comment exactement la taille est-elle mesurée lorsqu’il s’agit de modèles de langage d’IA ? Tout se résume à des paramètres : les valeurs numériques d’un réseau neuronal qui déterminent la manière dont il traite et génère le texte. Plus de paramètres signifie généralement une compréhension plus intelligente de vos requêtes, mais également des exigences de calcul accrues. Cependant, ce n’est pas toujours le cas, comme l’explique Sam Altman, PDG d’OpenAI.
Alors que des modèles géants comme le GPT-4 d’OpenAI et le Claude 3 Opus d’Anthropic sont censés contenir plusieurs centaines de milliards de paramètres, le Phi-3 Mini n’en contient que 3,8 milliards. Pourtant, les chercheurs de Microsoft ont réussi à obtenir des résultats étonnants grâce à une approche innovante visant à affiner les données de formation elles-mêmes.
En concentrant le modèle relativement petit de 3,8 milliards de paramètres sur un ensemble de données extrêmement organisé de contenu Web de haute qualité et de hardware généré synthétiquement, développé à partir des modèles Phi précédents, ils ont donné au Phi-3 Mini des compétences surdimensionnées pour sa petite taille. Il peut gérer jusqu’à 4 000 jetons de contexte à la fois, avec une version spéciale de 128 000 jetons également disponible.
« Parce qu’il s’agit de lire du hardware semblable à un manuel, à partir de documents de qualité qui expliquent très, très bien les choses, vous facilitez grandement la tâche du modèle linguistique pour lire et comprendre ce hardware », explique Microsoft.
Les implications pourraient être énormes. Si de minuscules modèles d’IA comme le Phi-3 Mini peuvent réellement offrir des performances compétitives par rapport aux géants de plus d’un milliard de paramètres d’aujourd’hui, nous pourrons peut-être abandonner les fermes d’IA cloud énergivores pour les tâches quotidiennes.
Microsoft a déjà mis le modèle à disposition pour le tester sur le cloud Azure, ainsi que via les hôtes de modèles d’IA open source Hugging Face et Ollama.
Détente, découvrez l’évolution du nombre de smartphones vendus par marque au fil du temps dans la vidéo ci-dessous :
