TL ; DR : Quelques programmeurs voulaient voir s’ils pouvaient former un réseau accusatoire génératif (GAN) pour créer sa propre version de Grand Theft Auto 5. Le résultat a été un trip acide quelque peu flou mais est immédiatement reconnaissable en tant que GTA5.
Harrison Kinsley, qui passe par Sentdex sur YouTube, et son partenaire ont formé un fork du réseau de neurones GameGAN de Nvidia à l’aide d’une voiture noire sur une courte section d’autoroute de Grand Theft Auto 5. Nvidia leur a prêté sa station DGX, qui est équipée de quatre A180. cartes gigaoctets pour faciliter le traitement. Kinsley explique ce qu’ils ont fait et montre les résultats dans la vidéo ci-dessus.
Les modèles initiaux étaient très pixelisés, mais Kinsley a amélioré cela avec le suréchantillonnage assisté par l’IA. Bien que ce ne soit pas joli, il est important de garder à l’esprit qu’il ne s’agit pas de séquences générées par le GAN. C’est une démo interactive en temps réel. Kinsley conduit une voiture créée par l’IA dans un environnement entièrement créé par l’IA.
Avant et après suréchantillonnage.
Kinsley a déclaré que puisque la station DGX était prêtée, son temps de formation était limité. Bien que le modèle essaie de calculer l’écrêtage d’obstacles dans certains cas, il aurait aimé exécuter plus d’échantillons de collision. Kinsley voulait également voir quelle quantité de la carte GTA5 le GAN pouvait traiter. Cependant, cela aurait nécessité des heures de formation supplémentaires car il augmentait progressivement la distance de conduite, ce qu’il n’avait pas le temps de faire.
La vidéo montre que le réseau de neurones a fait un travail assez décent en recréant des détails inattendus. Par souci d’efficacité, on pourrait penser que le GAN ignorerait les ombres et le soleil se reflétant sur la voiture. À la surprise de Kinsley, ce n’est pas le cas. Les ombres, l’éclairage et les reflets bougent plus ou moins comme prévu. Le GAN a également créé son propre système de physique élémentaire après l’avoir entraîné en rencontrant des objets. Un exemple est la façon dont une autre voiture s’incline vers la droite lorsqu’elle est tapée sur le panneau de custode arrière gauche. Les collisions frontales ne sont pas non plus traitées.
Kinsley a publié la démo jouable surnommée « GAN Theft Auto » sur GitHub pour ceux qui souhaitent l’essayer. Encore une fois, ce n’est qu’une infime partie de la carte GTA, et ce n’est pas comme jouer à un vrai jeu. C’est plus une démonstration technique qu’autre chose, mais il est intéressant de regarder ce que le modèle fait dans des situations non entraînées. C’est alors que les choses deviennent un peu psychédéliques.