ChatGPT passe les tests informatiques de l’Université de Turin : « Les étudiants doivent apprendre à l’utiliser »

ChatGPT passe les tests informatiques de l'Université de Turin : "Les étudiants doivent apprendre à l'utiliser"

Au-delà des blocs, des oraux, et même des campagnes de sensibilisation auprès des étudiants, peut-être que ChatGPT forcera le monde académique à tout chambouler. Le chatbot a réussi une série d’exercices de programmation.

Entretien avec Elvio Amparone

Professeur d’informatique à l’Université de Turin

Classe d’informatique, Université de Turin. Il y a un test en cours, mais tous les bureaux sont vides, les enseignants fixent un écran d’ordinateur qui crache les bonnes réponses. ChatGPT, le logiciel d’OpenAi qui écrit comme un humain et passe des tests écrits comme un étudiant de première année en informatique, est sous surveillance. Pas étonnant, il a déjà écrit des essais, des dissertations, des romans, des contes de fées pour enfants et parle sur Tinder au lieu des utilisateurs. Cependant, les professeurs de l’Université de Turin ont voulu s’en emparer pour voir par eux-mêmes si ChatGPT était au niveau de leurs étudiants, et immédiatement après comprendre s’il pouvait ou non être un outil valable pour copier.

C’est peut-être la première fois, après internet, qu’une technologie disruptive demande à changer les habitudes. Une autre expérience encore est la démonstration que quelques interdictions ne suffisent pas à ralentir le chatbot, et même essayer de remplacer l’écrit par l’oral semble être une excellente idée. Pour le moment, ChatGPT n’est pas accessible en Italie sans VPN en raison du blocage imposé par le garant de la confidentialité. Comme l’histoire l’enseigne, après avoir construit un cadre réglementaire solide, il faudra intégrer le logiciel, vivre avec, s’en servir comme d’un allié. Bref, aujourd’hui personne ne songerait à enlever la calculatrice lors d’un test de mathématiques à l’Université, et peut-être en sera-t-il de même avec ChatGPT.

L’expérience de l’Université de Turin

Cela a commencé comme un jeu, pour tester le brillant chatbot, pour voir s’il était aussi bon que tout le monde le dit. Les professeurs du département d’informatique de l’Université de Turin ont posé à ChatGPT les questions qu’ils posent habituellement lors des épreuves écrites de première année et le logiciel était à jour. « L’expérience a été réalisée en décembre, toujours avec ChatGPT v3, auquel nous avons administré des textes d’exercices des cours d’informatique de première année, précisément des cours de programmation et d’architecture informatique », a expliqué le professeur Elvio à Netcost-security.fr Amparore, l’un des enseignants qui a fait le test. « Dans le premier cas, il s’agissait de créer de petits programmes en langage Java, à partir d’une requête formulée en italien. Dans le second cas, il s’agissait d’écrire du code en langage machine pour les microprocesseurs RISC-V, à nouveau à partir d’une requête en italien. Les réponses qui ont été fournies étaient (presque) correctes, parfois avec de petites erreurs, mais toujours très similaires aux réponses attendues ».

En effet, les exercices proposés en première année sont dans une certaine mesure standards, « c’est-à-dire qu’il est certainement possible de trouver des exercices similaires dans des livres d’informatique ou dans des tests d’autres universités. Donc, dans un certain sens, il n’est pas surprenant que un système d’intelligence artificielle est capable de produire des réponses correctes ». Faisons une prémisse, comme cela arrive aussi pour les humains, ChatGPT sait ce qu’il est enseigné, et puisque le logiciel a été formé précisément avec les questions des tests universitaires de première année, il est également capable de prendre en charge un examen de première année à l’Université de Turin .

Pas seulement en informatique, le chatbot avait déjà réussi un test de droit pour l’Université du Minnesota, la 21e meilleure faculté de droit du pays, selon US News & World Report. Dans cette affaire également, les professeurs avaient demandé à ChatGPT de passer les examens des matières suivantes « infractions, avantages sociaux, fiscalité et aspects de droit constitutionnel », les tests étaient composés de 95 questions à choix multiples et de 12 questions ouvertes.

ChatGPT fonctionne mais ne peut pas réfléchir

L’équipe a décidé de relever la barre. Pas les questions de base, mais celles d’un examen algorithmes avancés du master. Et dans ce cas, ça ne s’est pas si bien passé, ChatGPT a donné des réponses complètement fausses qui, cependant, n’ont pas surpris les chercheurs : « En partant du texte italien qui demande d’élaborer des algorithmes complexes pour la transformation et l’optimisation des données, les réponses obtenues étaient génériques. et inutilisables C’est parce qu’il s’agit de problèmes très spécifiques, qui demandent à l’élève de réfléchir : mais les Grands Modèles de Langage ne sont pas (pour l’instant) adaptés pour résoudre ce type de problème qui nécessite un raisonnement approfondi ». Mais ce n’est que le début, et comme l’explique Amparone, il y a encore beaucoup de potentiel inexploré et une grande marge d’amélioration. « L’IA générative est un train qui a déjà commencé, et il faudra désormais la prendre au sérieux, dans de nombreux domaines (pas seulement l’éducation). »

Le problème des examens copiés

Pas seulement une expérience pour mesurer la capacité du logiciel : « Pour le moment, nous nous soucions de savoir si nos examens sont bons pour tester l’apprentissage des élèves, et non pas à quel point les élèves utilisent ces outils. » Tout le monde a tout de suite compris que le chatbot est l’outil parfait pour copier. Et en fait, avant les problèmes de confidentialité et d’utilisation des données, ceux qui ont imposé le blocage du garant de la confidentialité en Italie, ChatGPT était un problème pour les écoles. A tel point que quelques semaines après le lancement du logiciel OpenAi, ceux de New York avaient décidé de bloquer le système sur tous les réseaux scolaires et les étudiants qui avaient soumis des dissertations et des dissertations rédigées avec le chatbot étaient également signalés sur les réseaux sociaux.

Cela pourrait aussi être un problème pour l’Université de Turin, mais comme le souligne Amparone : « Pendant les examens, les étudiants n’ont pas accès à Internet, donc de toute façon des outils comme ChatGPT ne sont pas (pour le moment) utilisables. Ils utilisent déjà ces outils occasionnellement, et il est important aussi qu’ils apprennent à les utiliser, car ils sont de toute façon à voir avant tout comme une opportunité.Évidemment, lors de l’examen, notre rôle est de vérifier la préparation de l’étudiant, la capacité d’interroger une IA ».

Non seulement pour les examens, ChatGPT s’est avéré très bon pour la rédaction de thèses, d’essais ou de recherches. Au-delà des blocs, les oraux (qui ne peuvent pas totalement remplacer les écrits) et aussi les campagnes de sensibilisation des étudiants, qui ont déjà été menées aux États-Unis pour encourager le fair-play, et également soutenues par Amparone, peut-être faudra-t-il pour tout chambouler. « L’IA générative va définitivement changer la façon dont nous enseignons et étudions (et plus encore). Il est difficile de dire comment. »

Découvrez le reportage du mois (sous-titré en français), l’IA gagnera t-elle face aux champion du monde du jeu de Go ? :

YouTube video