Une nouvelle ère pour les modèles d’IA est à l’horizon, grâce à une innovation de Stanford et de l’Université de Washington. Leur modèle, baptisé « s1 », promet des capacités de raisonnement impressionnantes et se veut une alternative open source aux géants du secteur, tout en étant accessible à moindre coût.
Pourquoi c’est important : Chacun développe de nouvelles méthodes innovantes pour contourner les coûts énormes liés à la formation et à la création de nouveaux modèles d’IA. Après le succès de DeepSeek, qui a secoué la Silicon Valley, un groupe de chercheurs a mis au point un rival open-source qui égalerait les capacités de raisonnement de l’o1 d’OpenAI.
Des chercheurs de Stanford et de l’Université de Washington ont conçu une technique pour créer un nouveau modèle d’IA appelé « s1 ». Ils l’ont déjà open-sourcé sur GitHub, avec le code et les données utilisées pour le construire. Un document publié vendredi dernier a expliqué comment l’équipe a obtenu ces résultats grâce à des astuces techniques judicieuses.
Au lieu de former un modèle de raisonnement depuis le début, une entreprise coûteuse se chiffrant à des millions, ils ont pris un modèle de langage existant et l’ont « affiné » par distillation. Ils ont extrait les capacités de raisonnement de l’un des modèles d’IA de Google – en particulier, le modèle expérimental Gemini 2.0 Flash Thinking. Ils ont ensuite formé le modèle de base pour imiter son processus de résolution de problèmes étape par étape sur un petit ensemble de données.
D’autres ont précédemment utilisé cette approche. En fait, c’est ce que OpenAI accusait DeepSeek d’avoir fait. Cependant, l’équipe de Stanford/UW a trouvé une manière ultra-économique de l’implémenter grâce à un « affinage supervisé ».
Ce processus implique d’apprendre explicitement au modèle comment raisonner en utilisant des exemples soigneusement sélectionnés. Leur ensemble de données complet ne comptait que 1 000 questions et solutions extraites du modèle de Google.
TechCrunch note que le processus de formation a duré 30 minutes, utilisant 16 NVIDIA H100 GPUs. Bien sûr, ces GPUs coûtent une petite fortune – environ 25 000 € par unité – mais la location s’avère coûter moins de 50 € en crédits de cloud computing.
Les chercheurs ont également découvert une astuce intéressante pour améliorer encore les capacités de s1. Ils ont instruit le modèle d’attendre avant de fournir sa réponse finale. Cet ordre lui a permis de prendre plus de temps pour vérifier son raisonnement et parvenir à des solutions légèrement améliorées.
Le modèle n’est pas sans ses limites. Étant donné que l’équipe a utilisé le modèle de Google comme enseignant, on se demande si les compétences de s1, bien que impressionnantes pour son coût minuscule, peuvent encore se mesurer aux meilleures IA disponibles. Il existe également un potentiel pour que Google s’oppose à ce développement. Il pourrait d’ailleurs attendre de voir comment évolue le cas d’OpenAI.