TinyZero, un nouveau modèle de langage, fait déjà sensation dans le domaine de l’intelligence artificielle. Développé par des étudiants de l’Université de Californie à Berkeley, il représente une avancée majeure à un coût dérisoire, remettant en question le monopole des grandes entreprises technologiques. Un bouleversement sur le marché est à prévoir !
TinyZero est un modèle de langage développé dans le cadre d’un projet universitaire, qui vient de faire son apparition sur le marché et qui est déjà un énorme perturbateur de l’IA
Si vous n’avez pas passé la dernière semaine sous une roche, en retrait dans un monastère bouddhiste au Tibet sans accès à un téléphone ou à Internet, vous savez probablement quun grand émoi s’est produit dans le monde de l’IA. Cette agitation est due à DeepSeek, qui a été créé pour une fraction du prix de ChatGPT et qui, de plus, est un modèle d’IA gratuit et open source.
Le statut de nouveauté de DeepSeek n’a pas duré longtemps : un concurrent national, Qwen, a émergé, mais cela n’a pas empêché l’application de devenir la plus populaire sur l’App Store et de faire de même en France malgré les inquiétudes relatives à la sécurité qui l’entourent.
Il existe maintenant une autre réplique de DeepSeek, et elle est encore moins chère
Une des caractéristiques les plus impressionnantes de DeepSeek est son modèle R1-Zero, qui possède un système de raisonnement avancé permettant de fournir des réponses très précises aux questions des utilisateurs. Des entreprises comme Perplexity ont déjà pris en compte ce modèle et l’ont intégré dans le leur, ce qui n’est pas négligeable pour une IA axée sur la recherche.
Cela a été possible grâce aux caractéristiques open source de DeepSeek, permettant à quiconque de consulter le code du programme et de « faire ce qu’il veut » (c’est une définition réduite, mais elle suffira dans ce cas).
Cette réalisation a également été rendue possible grâce aux spécificités open source, ce qui a permis à Jiayi Pan, un doctorant de l’Université de Californie à Berkeley, avec son équipe de recherche, de recréer les principales fonctions de R1-Zero. C’est déjà un exploit en soi, mais cela se réalise généralement dans des laboratoires universitaires, n’est-ce pas ?
Effectivement, mais ce qui est vraiment surprenant, c’est que reproduire ce qui rend le modèle de DeepSeek spécial n’a coûté que 30 dollars. Cette somme dérisoire est insignifiante comparée aux millions investis dans le développement de grands modèles de langage. Si l’émergence de DeepSeek et R1-Zero a déjà causé une chute des actions de NVIDIA, quel impact peut avoir un modèle coûtant seulement 30 dollars sur le marché ?
Ce groupe d’étudiants a nommé leur modèle de langage TinyZero, qu’ils ont formé en réalisant des opérations numériques et en apprenant progressivement à partir de la révision de problèmes complexes et de la recherche de solutions. De plus, TinyZero est disponible sur GitHub pour ceux qui souhaitent y accéder et expérimenter, ce qui semble annoncer que le développement de modèles d’IA n’est plus l’apanage des grandes entreprises technologiques.
Si l’on y réfléchit, TinyZero met en lumière plusieurs aspects. D’abord, un niveau d’efficacité extrêmement élevé. Créer quelque chose avec peu d’argent n’est pas facile, mais développer un modèle d’IA pour 30 dollars semble presque un rêve pour un ingénieur. Ensuite, il se pourrait que des projets comme Stargate ne soient peut-être plus si nécessaires. Enfin, il est possible que les grandes entreprises d’IA commerciale trouvent une concurrence là où elles s’y attendaient le moins.