L’entreprise Anthropic a découvert et stoppé des tentatives d’utilisation de son IA pour développer des menaces biologiques. Un rapport détaille ces cas inquiétants et la frontière ténue entre recherche légitime et risques graves, poussant l’entreprise à renforcer la sécurité.
Anthropic a récemment révélé avoir détecté et interrompu l’activité de plusieurs chercheurs utilisant ses modèles d’intelligence artificielle pour élaborer de potentielles menaces biologiques.
Le rapport de sécurité d’Anthropic
La société a publié un ensemble détaillé d’études de cas examinant comment ses modèles d’IA, comme Claude, ont été utilisés de manière abusive. La dérive biologique constitue l’une des plus grandes inquiétudes actuelles, en particulier à cause de la capacité croissante des nouveaux systèmes à assister la recherche scientifique avancée.
Identifier ces situations est décrit comme un processus très complexe, car la frontière entre la création d’un vaccin légitime et le développement d’un agent pathogène dangereux est extrêmement fine.
Pour cette raison, l’entreprise a choisi d’agir avec la plus grande prudence, privilégiant la sécurité mondiale au détriment du maintien des comptes suspects.
Cas détectés et manipulation de virus
Lors d’un épisode particulièrement alarmant enregistré en mai, le système de sécurité d’Anthropic a signalé une demande demandant à Claude de rédiger une proposition de financement pour de la recherche en gain de fonction sur le virus chikungunya. Ce virus, qui ne possède pas de traitement pleinement efficace approuvé, provoque des symptômes débilitants de longue durée.
La proposition cherchait à augmenter la transmissibilité et la capacité du virus à contourner le système immunitaire humain. Outre ce cas, qui a suscité de sérieuses suspicions car il était associé à un institut de recherche militaire, des tentatives similaires liées à la grippe aviaire et à la création de bases de données optimisées de toxines de venin ont été identifiées.
Malgré la gravité des situations signalées, Anthropic a choisi de ne pas révéler l’identité des scientifiques ou des institutions impliqués. La société a précisé qu’il s’agissait de professionnels en activité et qu’il n’y avait pas de certitude absolue sur de mauvaises intentions, une divulgation publique risquant donc de nuire injustement à leurs carrières.
Avec ces mesures et la diffusion publique de ces données, la créatrice de Claude souhaite alerter les communautés technologique et scientifique sur la nécessité urgente de mettre en place des garde-fous solides pour empêcher que les outils d’IA générative ne soient détournés vers des fins potentiellement catastrophiques.