En un mot: Les étudiants du Texas seront parmi les premiers à subir des tests mandatés par l’État notés par une plateforme basée sur l’intelligence artificielle. La partie écrite de le test STAAR (State of Texas Assessments of Academic Readiness), qui évalue les niveaux de compétence en lecture, écriture, sciences et études sociales, sera notée à l’aide d’un « moteur de notation automatisé ».
Le test a été repensé en 2023. L’examen révisé comporte désormais moins de questions à choix multiples et davantage de questions ouvertes, appelées éléments à réponse construite. Les nouveaux tests comportent jusqu’à sept fois plus de questions ouvertes qu’auparavant.
Selon le Texas Tribune, l’approche de traitement du langage naturel pourrait permettre à l’État d’économiser plus de 20 millions de dollars par an – de l’argent qui aurait autrement été dépensé pour embaucher des correcteurs humains auprès d’un entrepreneur tiers.
Jose Rios, directeur de l’évaluation des étudiants à la TEA, a déclaré qu’ils souhaitaient conserver autant de réponses ouvertes que possible, mais a noté qu’il leur fallait un temps incroyable pour noter.
Les machines ne remplacent pas entièrement les marqueurs humains – du moins pas encore. L’année dernière, la Texas Education Agency (TEA) a embauché environ 6 000 correcteurs humains temporaires. Cette année, il leur en faudra moins de 2 000.
Un quart de toutes les réponses construites initialement notées par l’IA seront réévaluées par des humains, tout comme les tests dans lesquels l’ordinateur n’est pas sûr de son score. Les réponses écrites dans une langue autre que l’anglais et celles contenant des mots d’argot seront également transmises aux correcteurs humains.
Le moteur de notation automatisé a été formé sur 3 000 réponses qui ont d’abord été soumises à deux cycles de notation humaine. Les échantillons ont permis à l’IA d’évaluer les caractéristiques communes des réponses et lui ont expliqué comment attribuer le même score qu’un humain.
Chris Rozunick, directeur de division pour le développement de l’évaluation à la TEA, a déclaré qu’ils ont toujours eu des processus de contrôle de qualité très robustes avec les humains, et que c’est similaire avec un système informatique. N’appelez pas ça de l’IA.
« Nous sommes très loin de tout ce qui est autonome ou capable de penser par lui-même », a déclaré Rozunick. Par exemple, la solution de notation n’« apprend » pas d’une réponse à l’autre ; au lieu de cela, il s’en remettra toujours à sa formation d’origine comme référence.
Détente, découvrez l’évolution du nombre de smartphones vendus par marque au fil du temps dans la vidéo ci-dessous :
