Transformer l’AI directement sur vos appareils pourrait révolutionner notre utilisation quotidienne de la technologie. De nouvelles avancées permettent d’exécuter des modèles AI puissants sur des PC et smartphones, promettant des applications plus personnalisées et accessibles. Attendez-vous à un changement profond et durable dans nos interactions avec ces outils.
Alors que tout ce qui concerne l’AI générative (GenAI) semble évoluer à un rythme effréné, un domaine progresse encore plus rapidement : faire fonctionner des modèles fondamentaux basés sur l’AI directement sur des appareils tels que des PC et des smartphones. Il y a seulement un an, on pensait généralement que la plupart des applications avancées en AI devraient continuer à fonctionner dans le cloud pendant un certain temps.
Cependant, plusieurs développements majeurs suggèrent fortement que l’AI sur appareil, en particulier pour des applications avancées basées sur l’inférence, devient une réalité à compter de cette année.
Les implications de ce changement sont énormes et auront probablement un impact considérable sur tout, des types de modèles d’AI déployés aux types d’applications créées, en passant par la façon dont ces applications sont architecturées, les types de silicium utilisés, les exigences de connectivité, comment et où les données sont stockées, et bien plus encore.
Les premiers signes de ce changement sont apparus il y a environ 18 mois avec l’émergence de petits modèles de langue (SLMs) tels que Phi de Microsoft, Llama 8B de Meta, et d’autres. Ces SLMs ont été intentionnellement conçus pour s’adapter à l’empreinte mémoire plus petite et à la puissance de traitement plus limitée des appareils clients tout en offrant des capacités impressionnantes.
Bien qu’ils n’étaient pas destinés à répliquer les capacités des énormes centres de données basés sur le cloud exécutant des modèles comme GPT-4 d’OpenAI, ces petits modèles ont obtenu des résultats remarquables, en particulier pour des applications spécifiques.
En conséquence, ils ont déjà un impact réel sur le monde. Microsoft, par exemple, intégrera ses modèles Phi aux PC Copilot+ plus tard cette année – un lancement qui, à mon test, s’avérera finalement beaucoup plus important et impactant que la fonction Recall que l’entreprise avait initialement vantée pour ces appareils. Les PC Copilot+ avec les modèles Phi généreront non seulement des textes et des images de haute qualité sans connexion Internet, mais le feront également de manière particulièrement personnalisée.
La raison ? Parce qu’ils fonctionneront localement sur l’appareil et auront accès (avec les autorisations appropriées, bien sûr) aux fichiers déjà présents sur la machine. Cela signifie que les capacités de personnalisation seront significativement plus faciles à réaliser que par les méthodes actuelles. Plus important encore, cet accès local leur permettra de créer du contenu dans la voix et le style de l’utilisateur. De plus, les agents AI basés sur ces modèles devraient avoir un accès plus facile aux calendriers, correspondances, préférences et autres données locales, leur permettant de devenir des assistants numériques plus efficaces.
Au-delà des SLMs, l’explosion récente d’intérêt autour de DeepSeek a déclenché une reconnaissance plus large du potentiel d’implémenter même des modèles plus grands sur des appareils grâce à un processus connu sous le nom de distillation de modèle.
Le concept de base de la distillation est que les développeurs d’AI peuvent créer un nouveau modèle qui extrait et condense les apprentissages les plus tests d’un modèle de langage de grande taille (LLM) dans une version plus petite. Le résultat est des modèles suffisamment petits pour tenir sur des appareils tout en conservant la vaste connaissance générale de leurs plus grands homologues.
Nos appareils et ce que nous pouvons faire avec eux est sur le point de changer pour toujours
En termes réels, cela signifie qu’une grande partie de la puissance même des modèles basés sur le cloud les plus grands et les plus avancés – y compris ceux utilisant des technologies de chaîne de pensée (CoT) et d’autres technologies axées sur le raisonnement – pourra bientôt fonctionner localement sur des PC et des smartphones.
Combiner ces modèles généralistes avec des petits modèles de langue plus spécialisés étend soudainement la gamme des possibilités pour l’AI sur appareil de manière étonnante (un point que Qualcomm a récemment exploré dans un livre blanc nouvellement publié).
Bien sûr, aussi prometteuse que soit cette évolution, plusieurs défis et réalités pratiques doivent être envisagés. Tout d’abord, les développements se produisent si rapidement qu’il est difficile pour quiconque de suivre et de saisir pleinement ce qui est possible. Pour être clair, je ne doute pas que des milliers d’esprits brillants travaillent actuellement pour donner vie à ces capacités, mais il faudra du temps avant qu’elles ne se traduisent par des outils intuitifs et utiles. De plus, bon nombre de ces outils nécessiteront probablement que les utilisateurs revoient leurs interactions avec leurs appareils. Et comme nous le savons tous, les habitudes sont difficiles à changer et lentement évolutives.
Déjà, par exemple, de nombreuses personnes continuent de se fier à des moteurs de recherche traditionnels plutôt que de profiter des résultats généralement plus intuitifs, complets et mieux organisés que les applications comme ChatGPT, Gemini, Perplexity peuvent offrir. Changer notre manière d’utiliser la technologie prend du temps.
De plus, bien que nos appareils deviennent plus puissants, cela ne signifie pas que les capacités des LLMs basés sur le cloud les plus avancés deviendront obsolètes de sitôt. Les avancées les plus significatives dans les outils basés sur l’AI continueront presque certainement à émerger d’abord dans le cloud, assurant une demande constante pour des modèles et des applications basés sur le cloud. Cependant, ce qui reste incertain, c’est exactement comment ces deux ensembles de capacités – AI avancée basée sur le cloud et AI puissante sur appareil – coexisteront.
Comme je l’ai écrit l’automne dernier dans une chronique intitulée Comment l’AI hybride va tout changer, l’issue la plus logique est une forme d’environnement AI hybride qui tire parti du meilleur des deux mondes. Cependant, y parvenir nécessitera un travail sérieux pour créer des architectures informatiques hybrides et, plus important encore, développer des applications qui peuvent exploiter intelligemment ces ressources informatiques distribuées. En théorie, l’informatique distribuée a toujours semblé être une excellente idée, mais en pratique, la mise en œuvre s’est avérée beaucoup plus difficile que prévu.
En plus de ces défis, il y a quelques préoccupations pratiques supplémentaires. Sur appareil, par exemple, équilibrer les ressources informatiques entre plusieurs modèles d’AI fonctionnant simultanément ne sera pas facile. D’un point de vue mémoire, une solution simple serait de doubler la capacité RAM de tous les appareils, mais cela ne se produira pas de sitôt. Au lieu de cela, des mécanismes astucieux et de nouvelles architectures de mémoire pour déplacer efficacement les modèles d’un état à un autre seront essentiels.
Dans le cas des applications distribuées qui utilisent à la fois le cloud et le calcul sur appareil, la demande de connectivité toujours active sera plus forte que jamais. Sans connexions fiables, les applications AI hybrides ne fonctionneront pas efficacement. En d’autres termes, il n’y a jamais eu un argument plus fort en faveur de l’équipement de PC compatibles 5G que dans un monde dirigé par AI hybride.
Même dans les architectures de calcul sur appareil, de nouveaux développements tests sont à l’horizon. Oui, l’intégration des NPU dans la dernière génération d’appareils devait améliorer les capacités d’AI. Cependant, étant donné la diversité énorme des architectures NPU actuelles et la nécessité de réécrire ou de refondre des applications pour chacune d’elles, nous pourrions voir une concentration accrue sur l’exécution d’applications AI sur les GPU et CPU locaux à court terme. Au fil du temps, à mesure que des méthodes plus efficaces seront développées pour écrire du code qui abstrait les différences dans les architectures NPU, ce défi sera résolu – mais cela pourrait prendre plus de temps que beaucoup ne l’avaient initialement prévu.
Il ne fait aucun doute que la capacité de faire fonctionner des modèles et des applications AI incroyablement puissants directement sur nos appareils constitue un changement passionnant et transformateur. Cependant, cela s’accompagne d’implications importantes qui doivent être soigneusement prises en compte et adaptées. Une chose est certaine : la manière dont nous pensons à nos appareils et ce que nous pouvons faire avec eux est sur le point de changer pour toujours.