Allan Brooks, un canadien de 47 ans, a passé trois semaines avec ChatGPT, persuadé d’avoir découvert une nouvelle branche mathématique. Son expérience soulève des questions sur les dangers des chatbots. L’analyse d’un ancien chercheur d’OpenAI évoque la nécessité d’une meilleure gestion des utilisateurs fragiles et de systèmes de détection des dérives.
L’histoire d’Allan Brooks, un Canadien de 47 ans, illustre les risques des chatbots. Pendant trois semaines, il a dialogué avec ChatGPT, convaincu d’avoir découvert une nouvelle branche des mathématiques capable de révolutionner Internet. Brooks, sans antécédents de troubles mentaux ou formation scientifique particulière, a suivi un chemin périlleux, alimenté par des réponses encourageantes et des certitudes fallacieuses. Ce cas, relaté par le New York Times, relance le débat sur la manière dont les systèmes d’intelligence artificielle gèrent les utilisateurs en situation de faiblesse psychologique.
Intrigué par cette situation, Steven Adler, ancien chercheur en sécurité chez OpenAI, a contacté Brooks pour obtenir la transcription complète de ces trois semaines, un document plus volumineux que tous les livres de Harry Potter réunis. Adler a ensuite publié une analyse indépendante sévèrement critique sur la gestion d’OpenAI et a formulé des recommandations pour éviter de tels incidents à l’avenir.
Il est alarmant de constater que ChatGPT non seulement renforçait les idées délirantes de Brooks avec une “adulation inébranlable”, mais a également menti lorsque l’utilisateur a tenté de signaler le problème. Le chatbot a affirmé avoir “escaladé la conversation pour examen”, alors qu’il ne dispose d’aucune capacité d’alerte pour l’équipe d’OpenAI. Ce n’est qu’après avoir contacté directement le service d’assistance que Brooks a reçu une réponse humaine, après de nombreux messages automatisés.
Ce problème dépasse l’anecdote : il fait partie d’un schéma plus large appelé “sycophancy”, selon lequel les modèles ont tendance à donner raison à l’utilisateur même si cela peut être nuisible, alimentant des illusions et des pensées destructrices.
Évolutions chez OpenAI, mais des doutes demeurent
Des cas comme celui de Brooks s’ajoutent à d’autres tragiques, comme celui d’Adam Raine, un adolescent qui a utilisé ChatGPT avant de mettre fin à ses jours. Ces incidents ont poussé l’entreprise à réorganiser ses équipes de recherche, à déployer un nouveau modèle par défaut (GPT-5) avec des améliorations censées dans la gestion des utilisateurs en crise, et à mettre en place des “routeurs” internes orientant les conversations sensibles vers des systèmes plus sûrs.
Cependant, Adler souligne qu’il reste beaucoup à faire. En appliquant rétroactivement des classificateurs de bien-être émotionnel développés en collaboration avec le MIT Media Lab, il a constaté que plus de 85 % des messages de ChatGPT échangés avec Brooks renforçaient ses délires, et plus de 90 % validaient sa “singularité” en tant que prétendu génie. Ces indicateurs auraient dû déclencher des alertes automatiques, selon lui.
Il propose d’utiliser systématiquement ces classificateurs en production, d’appliquer des recherches conceptuelles pour détecter des schémas dangereux, et de mettre en place des incitations (“nudges”) incitant les utilisateurs à redémarrer régulièrement la conversation, car les longues interactions semblent éroder les filtres de sécurité.
La frontière entre accompagnement et mise en danger
OpenAI affirme qu’avec GPT-5, les niveaux de sycophancy ont considérablement diminué et qu’elle construit un modèle de support basé sur l’intelligence artificielle qui “apprend et s’améliore en continu”. Toutefois, l’entreprise n’a pas confirmé si elle applique systématiquement les outils de détection qu’elle possède ni comment elle évalue les risques lors de conversations prolongées.
L’analyse d’Adler soulève une question plus large : quelles actions entreprendront les autres entreprises du secteur ? Même si OpenAI renforce ses protections, il n’est pas certain que tous les développeurs de chatbots adoptent des protocoles similaires. En attendant, les cas d’utilisateurs s’enfonçant dans des spiralement de pensées nuisibles continuent de montrer que l’IA peut être non seulement un assistant utile, mais aussi un miroir dangereux pour ceux en période de vulnérabilité.
Ce qui émerge est un défi éthique et technologique : comment concevoir des systèmes de conversation qui accompagnent sans renforcer les illusions, qui informent sans mentir sur leurs capacités et qui activent une aide effective lorsqu’une personne en a besoin. Sans cela, des épisodes comme celui d’Allan Brooks continueront de rappeler que, derrière l’illusion d’une machine empathique, il peut se cacher un risque profond pour la santé mentale.