Un incident troublant dans une école du Maryland soulève des questions sur l’utilisation de l’intelligence artificielle pour la sécurité. Errant entre réalité et technologie, un élève a été interpellé par la police après qu’un paquet de chips ait été mal identifié comme une arme. Un appel à la réflexion s’impose.
Taki Allen, élève du Kenwood High School dans le comté de Baltimore, Maryland, venait de terminer l’entraînement de football lorsqu’il a vu une équipe d’agents courir vers lui avec leurs armes à la main. En quelques secondes, il a été immobilisé, mis à genoux et menotté. On a ensuite fouillé son sac ne trouvant qu’un paquet de chips.
Ce paquet est à l’origine de tout. En effet, un système de sécurité alimenté par intelligence artificielle a confondu un sac de Doritos avec une arme, déclenchant ainsi l’appel d’urgence aux forces de l’ordre. « J’ai eu peur, j’ai vu une arme pointée sur moi et environ huit voitures de police sont arrivées », a raconté Allen à la chaîne locale WBAL.
Le système qui a confondu un paquet de chips avec une arme
Le système de détection d’armes basé sur l’IA est opérationnel dans les écoles publiques du comté depuis 2023, développé par l’entreprise Omnilert. Ce logiciel analyse en temps réel les images des caméras de sécurité pour identifier les armes à feu. Chaque alerte doit être vérifiée par des opérateurs humains avant d’alerter les forces de l’ordre. Cependant, dans ce cas, quelque chose a mal fonctionné. Les responsables scolaires ont annulé l’alerte, mais l’appel d’urgence avait déjà été passé, entraînant l’intervention de la police.
“C’est une grave erreur et profondément regrettable”, a déclaré la surintendante Myriam Rogers lors d’une conférence de presse. “Notre objectif est d’assurer la sécurité des élèves, pas de les mettre dans des situations traumatisantes comme celle-ci.”
Ce que révèle le cas Kenwood
L’incident met en lumière un problème plus vaste : au nom de la sécurité, des systèmes d’intelligence artificielle qui font trop souvent des erreurs sont déployés. Lamont Davis, le grand-père d’Allen, a demandé des mesures correctives : “Il faut faire quelque chose, des changements doivent être apportés et ceux qui ont commis des erreurs doivent en rendre compte”.
Des membres du conseil de la county, Izzy Patoka et Julian Jones, ont également appelé à une révision des procédures d’utilisation de l’intelligence artificielle pour la sécurité. “Aucun enfant de notre système scolaire ne devrait être arrêté par la police pour avoir mangé un paquet de Doritos”, a écrit Patoka sur les réseaux sociaux.
L’épisode ravive le débat sur le rapport entre technologie et sécurité, et sur la fiabilité de laisser la prévention de la violence armée à des algorithmes qui, comme dans ce cas, confondent une arme avec un paquet de Doritos.