Une récente expérience a mis en lumière les limites des modèles de langage grand format, révélant qu’ils ne rivalisent même pas avec des technologies plus anciennes. Dans un affrontement contre un Atari 2600, ChatGPT s’est retrouvé en difficulté, offrant un aperçu saisissant des défis que pose l’intelligence artificielle contemporaines.
Une émulation exacte du CPU Atari 2600, fonctionnant à un rythme modeste de 1,19 MHz, s’est avérée plus que suffisante pour écraser ChatGPT dans une partie d’échecs. L’ingénieur Citrix Robert Jr. Caruso a mené cette expérience « drôle » durant le week-end, opposant le puissant chatbot d’OpenAI à une console Atari 2600 virtuelle émulée par Stella. Le résultat fut désastreux pour le chatbot.
Caruso a apparemment eu l’idée de ce test en discutant avec ChatGPT sur l’histoire de l’IA et des échecs. Le service d’OpenAI a proposé de jouer aux « échecs Atari », que Caruso a supposé désigner Video Chess, le seul titre d’échecs jamais sorti sur Atari 2600.
Malgré un schéma de base du plateau pour identifier les versions, ChatGPT a montré des difficultés. Le bot a confondu les tours avec les fous, a manqué des fourchettes de pions évidentes et a commis une série d’erreurs déconcertantes, selon Caruso. À un moment donné, ChatGPT a même attribué son incapacité à suivre l’état du jeu à des facteurs externes, tel que les symboles abstraits utilisés par Video Chess pour représenter les versions.
« Pendant 90 minutes, j’ai dû l’empêcher de faire de mauvais coups et corriger sa perception du plateau plusieurs fois par tour », a déclaré l’ingénieur à propos de la performance de ChatGPT contre un CPU émulé des années 70.
Le bot a apparemment continué à demander à recommencer la partie dans l’espoir d’améliorer ses performances, mais a finalement été vaincu par un moteur d’échecs de 8 bits. Un CPU à 1 MHz devrait, au mieux, être capable de penser un ou deux coups en avance, tandis que ChatGPT dépend d’une armée moderne de GPU énergivores pour faire fonctionner son service de chat. Pourtant, le CPU à 1 MHz a triomphé, dominant le chatbot au niveau débutant.
L’expérience de Caruso rappelle bien ce qu’est réellement le modèle LLM : un moteur de recherche complexe basé sur des heuristiques, conçu pour satisfaire les utilisateurs avec un résultat d’une forme ou d’une autre. Ils ne « savent » rien, n’ont aucune capacité de raisonnement ou de déduction, et n’ont certainement pas d’intelligence propre. Et, forcément, ils sont mauvais aux échecs.
Je n’ai jamais possédé d’Atari 2600 à l’époque, mais j’ai passé de belles après-midis avec ma puissante console Intellivision. La prochaine fois, je vais tenter d’humilier ChatGPT en le faisant jouer à une partie de Battle Chess sur une réplique émulée de ma première machine x86 : un 80286 fonctionnant à un incroyable 16 MHz.