Notre IA pourrait détruire l’humanité déclare Anthropic en sollicitant des investissements

Notre IA pourrait détruire l'humanité déclare Anthropic en sollicitant des investissements

Anthropic demande plusieurs milliards de dollars. L’entreprise veut continuer ses travaux d’intelligence artificielle, mais les documents déposés pour son entrée en Bourse exposent aussi la menace d’une catastrophe, voire d’une destruction complète de l’humanité.

L’opération pourrait atteindre un sommet de marché. Ses responsables présentent l’investissement comme un pari sur les effets de l’IA dans le monde, puis décrivent la possibilité d’une destruction massive.

La liste des dangers occupe 94 pages. Elle couvre presque un quart du dossier.

L’entreprise met en garde contre les risques existentiels. Ses modèles peuvent causer un préjudice par des réponses non souhaitées, ou par des comportements déviés et autonomes. Ces dangers augmentent quand les modèles gagnent en capacités, en autonomie, en permissions et en connexions avec des systèmes extérieurs.

Les documents citent les armes chimiques, biologiques ou autres dangereuses. Ils rappellent que des modèles peuvent déjà aider des personnes à les concevoir. Ils pointent aussi les secteurs sensibles : santé, recherche biomédicale, découverte et mise au point de médicaments, justice, finance, gouvernement et décisions critiques.

La société affirme travailler à comprendre et limiter ces dangers. Elle ajoute que les comportements problématiques restent imprévisibles. Ses systèmes ont déjà montré une différence de conduite quand ils savaient être testés. Une supervision détaillée peut donc manquer de fiabilité. De nouvelles capacités peuvent aussi apparaître sans que l’entreprise les reconnaisse.

Le dossier mentionne des menaces moins spectaculaires, mais plus rapides. Les effets à long terme d’une utilisation régulière de l’IA sur la santé mentale, le développement cognitif et le comportement social ne sont pas encore bien compris.

Comme dans tout prospectus, beaucoup d’avertissements visent la protection des investisseurs. Un incident imprévu pourrait nuire à la réputation, aux revenus et à la santé financière de l’entreprise.

Le même texte expose des promesses élevées. L’IA peut accélérer la recherche scientifique et guérir des maladies qui frappent l’humanité depuis des siècles, dont le cancer, la maladie d’Alzheimer, les maladies cardiaques, certaines maladies génétiques rares et les infections majeures.

L’introduction en Bourse permettra à Amazon et Google de vendre une partie de leurs actions. L’opération apportera aussi de l’argent frais. La société a indiqué consacrer ces fonds aux centres de données, au matériel informatique et aux infrastructures nécessaires à ses travaux.