Un ancien responsable d’OpenAI, Miles Brundage, exprime de vives critiques à l’égard de l’entreprise, accusant celle-ci de modifier sa stratégie au détriment de la sécurité face aux avancements rapides de l’IA. Ce débat soulève des questions cruciales sur l’avenir de cette technologie révolutionnaire et ses implications sociétales.
L’ancien directeur des politiques d’OpenAI critique l’entreprise pour avoir réécrit ses stratégies et priorisé des produits innovants et leur évolution, même au détriment de la sécurité face à une technologie aussi dangereuse que l’IA
Au cours de la semaine du Mobile World Congress, le débat autour du développement de l’IA et des limites de l’éthique ainsi que de l’évolution durable reste au cœur des discussions, cette technologie disruptive promettant de révolutionner nos vies et nos sociétés. Bill Gates lui-même confie que « l’IA remplacera presque tout » dans l’avenir, rendant essentiel d’écouter les voix les plus autorisées de l’industrie en ce moment.
Dernièrement, Miles Brundage, ancien directeur d’OpenAI et l’un des architectes de ses politiques de R&D, a vivement critiqué l’entreprise pour « réécrire l’histoire » et modifier son approche en matière d’implémentation de systèmes à potentiel risqué. À noter que Brundage avait déjà démissionné de ses fonctions chez OpenAI il y a quelques mois, affirmant sans ambages que « le monde n’est pas prêt » pour l’avènement d’une IA générale.
Grâce à une publication de TechCrunch, nous avons des détails supplémentaires sur un document d’OpenAI qui décrit sa nouvelle philosophie en matière de sécurité dans le développement de systèmes d’IA assurant un comportement souhaitable et explicable à l’échelle humaine. Il est intéressant de constater comment OpenAI définit une AGI (intelligence artificielle générale) comme un système d’IA capable de réaliser n’importe quelle tâche qu’un humain peut également accomplir, dans un « parcours continu » nécessitant une mise en œuvre et un apprentissage itératif.
De plus, ils discutent ouvertement de l’excès de précaution face au pouvoir apparent de l’IA, une stratégie de prudence qu’ils avaient adoptée durant l’époque de Miles Brundage dans l’entreprise, et qu’ils souhaitent désormais modifier pour accélérer le développement en prenant plus de risques :
« Les leçons de sécurité proviennent de la manière de traiter les systèmes contemporains avec une prudence excessive par rapport à leur pouvoir apparent, [ce qui] est l’approche que nous avons adoptée pour [notre modèle d’IA] GPT-2. Nous voyons maintenant la première AGI comme simplement un point de plus dans une série de systèmes à utilité croissante […]. Dans un monde d’évolution continue, la manière de garantir que le prochain système soit sûr et bénéfique est d’apprendre du système actuel ».
Miles Brundage affirme que même GPT-2 aurait mérité plus de précautions, et que le monde « n’est pas encore préparé pour une AGI »
Pour Brundage, la position est claire. Cet ancien cadre affirme que même GPT-2 aurait nécessité beaucoup plus de précautions lors de son lancement, et que ses stratégies étaient toujours « 100 % cohérentes » avec la politique de déploiement itératif décrite par OpenAI dans le récent document.
La vision de Brundage, dès son arrivée en tant que chercheur en 2018 chez la société, était de se concentrer sur un déploiement responsable de systèmes génératifs de langage, tel que le chatbot ultérieurement déployé de manière limitée pour permettre à quelques développeurs, journalistes et experts du secteur de l’expérimenter et de partager leurs impressions.
« Le lancement de GPT-2 par OpenAI, auquel j’ai participé, était 100 % cohérent et définissait déjà la philosophie actuelle d’OpenAI, qui parle de déploiement itératif. Le modèle a été lancé de manière incrémentielle, avec des leçons partagées à chaque étape, et de nombreux experts en sécurité de l’époque nous ont remerciés pour cette prudence.” Miles Brundage.
À l’époque, GPT-2 offrait des résultats qui semblent aujourd’hui basiques, mais qui étaient à la pointe de la technologie à l’époque et préfiguraient des usages malveillants de cette technologie, une crainte qui est désormais plus pressante que jamais. OpenAI n’a pas publié le code initialement, ce qui a suscité des critiques, en affirmant que la menace posée par GPT-2 était exagérée et que ses possibilités étaient trop importantes pour être contenues. Cependant, Brundage pense que cette décision était plus que justifiée et que toute précaution est cruciale.
« Si je travaillais encore chez OpenAI, je me demanderais pourquoi ce document a été rédigé de cette manière et ce qu’OpenAI espère réaliser en rejetant la prudence de façon si déséquilibrée. » Miles Brundage.
Pour cet expert, la plus grande crainte que nous devrions avoir est que l’objectif d’OpenAI soit d’établir des tests où « toute préoccupation sera considérée comme alarmiste » et que de faits très accablants de danger imminent soient exigés pour agir et stopper certains développements. Brundage affirme que cette attitude est dangereuse puisque nous ne connaissons pas encore les possibilités avancées qu’une IA peut atteindre.
Il est vrai que la pression concurrentielle est forte, surtout avec le changement de gouvernement à la Maison Blanche. Historiquement, OpenAI a toujours été accusée de « prioriser des produits brillants aux dépens de la sécurité », en précipitant tous ses lancements pour devancer la concurrence dans un marché en évolution rapide où la Chine avec son DeepSeek a surpris bien des observateurs.
Il convient de rappeler que l’entreprise perd des milliards chaque année en raison de ses dépenses colossales en R&D, une projection qu’elle prévoit de maintenir et même de tripler d’ici 2026. Évoluer plus rapidement ses produits leur sera bénéfique au moins à court terme, mais il se pourrait que la sécurité et les politiques de prudence maximale soient moins prises en compte, une situation qui pourrait avoir des conséquences désastreuses… À suivre !