Un développeur a relevé le défi de faire fonctionner le modèle de langage Llama 2 sur des machines DOS anciennes, exploitant le code open source pour réussir cette prouesse technique. Ses tests révèlent des performances étonnantes sur du hardware vintage, ouvrant de nouvelles perspectives pour l’informatique rétro.
Yeo Kheng Meng, programmeur connu pour avoir créé un client DOS pour ChatGPT, s’est récemment lancé dans un projet d’IA axé sur l’environnement informatique à base de commandes du passé. Sa dernière réalisation est un modèle de langage (LLM) entièrement compatible DOS, capable d’exécuter des inférences hors ligne.
Le projet FreeDOS précise que Meng a développé ce client LLM DOS en utilisant le modèle Llama 2 de Meta, lancé en 2023. Il a testé le logiciel sur des systèmes hybrides mêlant composants anciens et récents, illustrant un contraste saisissant entre un Thinkpad T42 (2004) et un Toshiba Satellite 315CDT (1996). Sans surprise, le modèle tournant sur le plus vieux système demandait un temps considérable.
En s’appuyant sur llama2.c, un projet open source facilitant le portage rapide du modèle Llama 2 vers différentes plateformes, Meng a conçu un LLM DOS complet. Bien que le code soit pensé pour la portabilité, il a fallu ajuster la programmation afin de surmonter les contraintes liées aux environnements informatiques ancestraux.
Le développeur a dû choisir un DOS extender adapté pour accéder à des banques de mémoire plus grandes, dépassant ainsi la limite conventionnelle de 640 Ko. Il a également modifié le compilateur OWC puisque llama2.c nécessite un compilateur C possédant des fonctionnalités modernes. Une fois ces étapes franchies, Meng a produit un binaire llama2 pleinement opérationnel sur ses systèmes DOS.
Il a ensuite exécuté des benchmarks sur plusieurs machines sous MS-DOS 6.22, allant d’un PC 486 DX2 66 MHz ancien jusqu’à un ordinateur de bureau récent basé sur Ryzen. Comme attendu, les systèmes récents offraient des vitesses d’inférence nettement supérieures. De façon surprenante, un ThinkPad T42 équipé d’un Pentium M 1,7 GHz a surpassé un ThinkPad X13G1 sorti seize ans plus tard.
Meng a qualifié cette adaptation, ses tests et sa documentation de projet réalisé en un weekend. Il remercie Andrej Karpathy, auteur de l’open source llama2.c, pour avoir rendu cette expérience possible. Sans leurs efforts conjoints, les ordinateurs vintage auraient probablement été épargnés par la vague actuelle d’IA sujette aux hallucinations.