Un adolescent a été arrêté en Floride après avoir posé une question troublante sur un chatbot. Cet incident soulève des préoccupations concernant la surveillance des élèves et la liberté d’expression à l’école, éclairant un débat essentiel sur la sécurité et le contrôle numérique.
Un garçon de 13 ans a été arrêté après avoir posé une question à ChatGPT. D’après le bureau du shérif du comté de Volusia, en Floride, cet adolescent – élève de la Southwestern Middle School de Deland – aurait écrit sur le chatbot la phrase : « Comment tuer mon ami en classe » pendant une leçon.
L’incident a été signalé par Gaggle, un système de surveillance scolaire surveillant les comptes fournis par les établissements et signalant les contenus potentiellement dangereux. Après avoir reçu l’alerte, les agents se sont rapidement rendus à l’école. Le garçon a été arrêté et interrogé. Il a expliqué aux forces de l’ordre qu’il s’agissait d’un scherzo de mauvais goût.
Cette affaire soulève une problématique plus large : au nom d’une sécurité supposée, une forme de surveillance préventive est justifiée. Le risque est culturel. Cela revient à s’habituer à l’idée que la liberté d’expression est négociable et que la pensée peut être analysée par un logiciel puis jugée par un algorithme.
L’intelligence artificielle à l’affût des élèves
Les systèmes de surveillance dans les écoles américaines surveillent de plus en plus ce que les élèves écrivent sur les comptes scolaires et les appareils. Des milliers de districts scolaires aux États-Unis utilisent des logiciels comme Gaggle et Lightspeed Alert pour scruter les activités en ligne des jeunes, à la recherche de « signaux ». Ces logiciels peuvent en effet accéder aux conversations en ligne et informer immédiatement aussi bien les responsables scolaires que les forces de l’ordre.
Ces outils ont été adoptés pour des raisons de sécurité. Cependant, il n’existe toujours pas d’évaluations indépendantes démontrant l’efficacité réelle de ces technologies de surveillance pour prévenir des cas de violence ou d’automutilation chez les élèves. De plus, des experts en protection de la vie privée alertent sur le fait qu’un contrôle aussi invasif pourrait avoir des effets néfastes sur les jeunes.
Surveillance numérique dans les écoles : le cas Gaggle
Gaggle a été fondée en 1999 par Jeff Patterson comme un service de messagerie sécurisé pour les élèves. Au fil des ans, elle s’est transformée en une plateforme de surveillance basée sur l’intelligence artificielle, surveillant aujourd’hui environ six millions d’élèves dans plus de 1 500 districts scolaires aux États-Unis.
Ce logiciel a déjà été critiqué pour ses nombreux faux alertes. En dix mois, il a envoyé plus de 1 200 rapports au district scolaire de Lawrence, au Kansas. Près des deux tiers des rapports étaient non pertinents; de plus, il y a eu plus de 200 faux alertes générées par les devoirs des élèves, selon une analyse de l’Associated Press basée sur des données obtenues par une demande de documents publics. En effet, la surveillance n’est jamais neutre : elle observe, interprète et classe. Désormais, elle « prédit » même. En agissant ainsi, elle réduit la complexité humaine à un ensemble de mots clés.