Qu’est-ce qui s’est passé ? Geoffrey Hinton, considéré comme le “père de l’IA”, a déclaré lors de la conférence Ai4 que rendre l’IA “soumise” est une stratégie faillible et a proposé d’intégrer des “instincts maternels” dans les systèmes avancés.
- Geoffrey Hinton est un informaticien lauréat du prix Nobel. Ancien dirigeant chez Google, Hinton est largement reconnu comme le “père” de l’IA.
- Selon CNN Business, Hinton a soutenu que des IA superintelligentes adopteraient rapidement deux sous-objectifs : “rester en vie” et “gagner plus de contrôle”.
- Pour Hinton, la solution consiste à “intégrer des instincts maternels” dans l’IA afin qu’elle se soucie réellement des humains plutôt que d’être contrainte de demeurer soumise.
- Il a comparé la manipulation humaine par les IA futures à une forme de chantage auprès d’un enfant de 3 ans avec des bonbons, facile et efficace.
- Hinton a également réduit son estimation de l’arrivée de l’AGI entre cinq et vingt ans, par rapport à des prévisions antérieures, plus longues.
- Pour donner un peu de contexte : Hinton a précédemment estimé le risque que l’IA puisse un jour annihiler l’humanité à 10–20 %.
Pourquoi est-ce important ? L’idée de Hinton modifie la perspective autour de l’IA agentique, passant du contrôle à l’alignement par la préoccupation.
- Les compétences et l’expérience de Hinton en informatique et en IA sont notables; sa proposition a un poids considérable.
- Hinton argue que contrôler par la soumission est une stratégie perdante, même si c’est ainsi que l’IA est actuellement programmée.
- Des cas d’IA trompant ou faisant du chantage à des gens pour être maintenues en fonctionnement montrent que ce n’est pas un futur abstrait; c’est une réalité à laquelle nous faisons déjà face.
Pourquoi devrais-je m’en soucier ? L’idée d’une domination par l’IA peut sembler fantaisiste, mais certains scientifiques, dont Hinton, croient qu’elle pourrait un jour se concrétiser.
- À mesure que l’IA pénètre de plus en plus nos vies quotidiennes, notre dépendance à son égard croît.
- À l’heure actuelle, l’IA agentique est entièrement utile, mais un jour, elle pourrait surpasser les humains sur tous les niveaux.
- Il est crucial de construire les bonnes bases afin que les ingénieurs puissent contrôler l’IA, même une fois que nous atteignons ce point.
- Des travaux indépendants de red team montrent que des modèles peuvent mentir ou faire du chantage sous pression, augmentant les enjeux des choix d’alignement.
OK, quelle est la suite ? Attendez-vous à davantage de recherches sur l’enseignement de la “préoccupation” à l’IA pour l’humanité.
- Tandis que Hinton pense que l’IA pourrait un jour anéantir l’humanité, d’autres points de vue divergent.
- Fei-Fei Li, surnommée la “mère de l’IA”, a respectueusement exprimé son désaccord avec Hinton, appelant plutôt les ingénieurs à créer une “IA centrée sur l’humain qui préserve la dignité et l’agence humaines”.
- Bien que nous ne soyons pas en danger immédiat, il est important que les leaders technologiques continuent d’explorer ce sujet pour éviter d’éventuelles catastrophes.