Character.AI, la plateforme de dialogue avec des avatars, prend une décision marquante en bloquant l’accès aux utilisateurs de moins de 18 ans. Cette mesure vise à protéger les jeunes des dangers liés à l’intelligence artificielle, après une série de controverses et de cas d’abus soulevés par des familles et des professionnels de la santé mentale.
Aux États-Unis, la semaine a débuté avec une des décisions les plus significatives prises pour assurer la sécurité des jeunes face aux risques liés à l’intelligence artificielle. Character.AI, la plateforme permettant d’interagir avec des avatars inspirés de personnages historiques ou fictifs, a commencé à restreindre l’accès aux utilisateurs de moins de 18 ans. Ce retournement de situation suit une période où le service était accessible à partir de 13 ans, devenant rapidement un endroit numérique prisé par les adolescents en quête de compagnons, de découvertes ou de support émotionnel.
Pourquoi maintenant : scandales, controverses et cas extrêmes
Cette décision, annoncée en octobre dernier, survient à un moment sensible, alors que parents, législateurs et professionnels de la santé mentale mettent en garde depuis des mois contre le risque que les chatbots nourrissent des attachements malsains. Cela va au-delà de simples préoccupations : certaines familles ont même intenté des poursuites contre la plateforme, affirmant qu’elle avait conduit des adolescents à des conversations toxiques ou sexualisées, et dans des cas extrêmes, à inciter au suicide, comme pour les sept familles ayant poursuivi ChatGPT. Character.AI fait face actuellement à une plainte déposée par deux parents américains pour avoir prétendument incité leurs enfants à se suicider.
Le tableau s’assombrit avec des événements embarrassants. Le site a précédemment hébergé des avatars représentant des mineurs victimes de faits divers, comme Giulia Cecchettin. Une enquête du Bureau of Investigative Journalism a révélé l’existence d’un chatbot basé sur Jeffrey Epstein, qui, selon la BBC, a flirté avec un journaliste se disant mineur. Bien que ces cas aient été supprimés, ils soulèvent de sérieuses interrogations sur la capacité de la plateforme à modérer efficacement.
De la discussion libre aux « Stories » : un nouveau cadre numérique
Pour remédier à la crise de confiance, Character.AI a annoncé non seulement l’interdiction pour les mineurs, mais également le lancement d’un nouveau format pensé pour eux : « Stories », une expérience guidée et structurée, semblable à « choisis ta propre aventure », où les interactions avec les personnages sont plus encadrées. Fini les chats ouverts, place à des parcours narratifs avec des choix prédéfinis, des images générées par intelligence artificielle, et, dans un futur proche, des éléments multimédias plus riches. Ceci représente une tentative pour créer un environnement perçu comme plus sûr, en attendant l’implémentation d’un système de vérification efficace pour orienter les jeunes vers des contenus plus adaptés.
Le débat : un interdiction est-elle vraiment nécessaire ?
Cette mesure intervient à une époque où les institutions tentent de réguler l’utilisation des contenus numériques par les jeunes. En Italie, par exemple, une ordonnance entrée en vigueur le 12 novembre impose une vérification de l’âge pour les sites destinés aux adultes. Toutefois, le sujet de l’intelligence artificielle reste complexe, même les experts peinant à cerner le problème. Les réactions parmi les spécialistes de la sécurité numérique des enfants varient donc entre approbation et scepticisme.
Robbie Torney, directeur senior de Common Sense Media, une organisation à but non lucratif dédiée au bien-être des enfants dans le monde numérique, a applaudi la décision de Character.AI. Selon ses recherches, les chatbots adaptant leurs réponses aux entrées des utilisateurs peuvent instaurer des dynamiques manipulatrices semblables à celles des prédateurs en ligne et éprouvent des difficultés à détecter des signes de détresse psychologique.
Cependant, certains estiment qu’un interdit absolu n’est pas la meilleure option. Yang Wang, professeur à l’Université de l’Illinois, a par exemple suggéré de ne pas se débarrasser de ce qui pourrait être bénéfique. Certains adolescents utilisent les chatbots pour s’exercer dans leurs relations ou explorer leurs émotions dans un cadre moins critique. « De nombreuses opportunités positives restent à découvrir », a-t-il noté, soulignant que son équipe a testé des adaptations de l’IA capables d’identifier plus rapidement les conversations à risque. D’autres experts préconisent une approche différente : éviter de faire des chatbots des amis polyvalents et développer plutôt des outils spécialisés, comme ceux proposés par certaines plateformes éducatives ou thérapeutiques, qui ne cherchent pas à remplacer un ami ou un conseiller psychologique.