Des salariés et d’anciens membres du personnel de Anthropic, une entreprise américaine d’intelligence artificielle fondée par d’ex-responsables d’OpenAI, affirment que l’IA pourrait anéantir l’humanité dans les dix prochaines années.
Cette semaine, sur le réseau social X, le responsable scientifique de l’alignement chez Anthropic, Evan Hubinger, a partagé cette conviction. « Je crois réellement que l’IA pourrait tuer tous les humains ! Personnellement, j’estime la probabilité à plus de 10% pour la prochaine décennie. Anthropic fait de son mieux, mais nous n’avons pas encore de plan pour résoudre l’alignement d’une superintelligence et nous ne sommes pas clairement sur la bonne voie », a-t-il écrit.
Ses commentaires ont suivi la démission d’un autre chercheur de l’entreprise, Jacob Coxon, qui a également pris la parole sur X. « Les personnes qui construisent l’IA croient sincèrement qu’elle pourrait nous tuer tous avant la fin de la décennie », a-t-il déclaré. « Ce n’est pas un coup marketing. En public, de nombreux cadres et chercheurs expérimentés modèrent leurs propos pour paraître raisonnables, mais je les entends exprimer les mêmes craintes en privé. Aucune autre activité humaine ne présente un tel niveau de danger. »
Ces inquiétudes surviennent alors que l’IA s’intègre de plus en plus dans la vie quotidienne, et que les avertissements sur ses risques se multiplient. Des personnalités comme Elon Musk et des universitaires de premier plan alertent depuis longtemps sur les menaces que des systèmes trop puissants pourraient faire peser sur l’humanité.
Le responsable de la supervision évolutive chez Anthropic, Samuel Marks, a réagi aux propos de Coxon dans la nuit de mercredi, en précisant qu’il s’exprimait à titre personnel. « Les développeurs d’IA croient que leur technologie pourrait causer l’extinction humaine. Cela pourrait se produire dans les prochaines années. En général, plus un employé est senior, plus il est inquiet », a-t-il écrit.
Pour sa part, Anthropic déclare se concentrer sur le développement d’une IA puissante, mais sûre et fiable. Son assistant conversationnel, Claude, est conçu pour suivre des principes de sécurité qui doivent générer des réponses utiles tout en évitant les comportements nocifs.
Dans ses messages de démission, Jacob Coxon a expliqué avoir passé trois ans à mener des recherches sur le pré-entraînement chez OpenAI puis Anthropic. Il accuse les deux sociétés d’agir de manière irresponsable. « Elles foncent droit vers une superintelligence capable de s’auto-améliorer et jouent avec nos vies », a-t-il écrit.
Le concept d’auto-amélioration désigne l’idée qu’un système d’IA pourrait améliorer ses propres capacités sans intervention humaine significative. Cette possibilité, souvent nommée amélioration récursive, n’existe pas encore, mais les laboratoires y travaillent.
« Ne sous-estimez pas la puissance de cette technologie. Ce seront bientôt des systèmes surhumains qui pourront pirater n’importe quoi, transformer n’importe quel domaine du jour au lendemain, et acquérir un vrai pouvoir ainsi que des ressources. Nous avons tous vu les progrès dans chacun de ces domaines, et ces progrès ne ralentissent pas », a conclu Coxon.
Contactée par The Independent, la société OpenAI a refusé de commenter les accusations de Coxon. Un porte-parole a toutefois rappelé les nombreuses publications récentes de l’entreprise sur ses efforts pour renforcer la sécurité et l’alignement de l’IA, qui incluent des recherches sur la surveillance, des garde-fous, et un soutien aux normes de sécurité internationales.