Les modèles d’IA générative modernes, bien qu’ils deviennent de plus en plus convaincants, peinent à réellement comprendre le monde qui les entoure. Leurs limitations les rendent sujets à des erreurs inexcusables, particulièrement dans des environnements complexes, mettant en lumière la nécessité urgente d’une régulation efficace pour faire face à ces défis grandissants.
Les modèles d’IA génératifs actuels ne saisissent pas véritablement comment fonctionne le monde, bien qu’ils deviennent de mieux en mieux à mentir pour nous convaincre de leurs résultats (parfois erronés)
Comme souvent, la réglementation d’un secteur arrive toujours en retard, et l’intelligence artificielle ne fait pas exception. Pourtant, nous sommes en présence d’une des technologies les plus disruptives de l’histoire, promettant de transformer notre quotidien de manière inimaginable, surpassant les capacités humaines dans presque tous les domaines, avec des possibilités qui semblent infinies, du moins à ce stade précoce de son évolution.
Quoi qu’il en soit, et pour la surprise de personne, la réalité est que les modèles génératifs actuels ne comprennent pas très bien comment fonctionne le monde. Alors qu’ils continuent de se développer, ils deviennent « plus humains » et montrent une propension accrue à mentir naturellement pour nous persuader de la véracité de leurs résultats, bien qu’ils soient conscients qu’ils ne peuvent garantir leur exactitude et pourraient se tromper.
Cette problématique a déjà été signalée par plusieurs études et représente un problème sérieux à résoudre par les experts dans un avenir proche. En effet, des preuves s’accumulent, comme le souligne une autre étude relayée par TechSpot, que l’IA est limitée par son propre entraînement, ce qui l’amène à commettre d’énormes erreurs, même si elle devient de plus en plus persuasive auprès des utilisateurs concernant la validité de ses résultats.
Les IA d’aujourd’hui sont précises dans la génération de textes et de réponses, mais elles ne comprennent pas des environnements complexes ou changeants comme les humains
Il ne sera donc pas surprenant qu’une équipe de chercheurs du MIT ait conclu, après une analyse approfondie, que les modèles actuels d’IA générative ne comprennent pas réellement les règles d’un système complexe tel que celui des relations humaines. Ils se contentent de prédire avec précision les meilleures formulations à utiliser dans un contexte donné. Ils imitent l’intelligence humaine, mais ne sont pas une intelligence au sens propre; ce ne sont que des modèles prédictifs fondés entièrement sur un entraînement préalable.
Lorsque un modèle de langage de grande taille (LLM) est confronté aux conditions du monde réel, par nature imprévisibles, l’IA devient peu fiable dans ses résultats.
Nous avions besoin de banques d’essai où nous sachions quel était le modèle mondial. Désormais, nous pouvons réfléchir de manière rigoureuse à ce que signifie récupérer ce modèle du monde. Keyon Vafa, chercheur postdoctoral à Harvard.
Les chercheurs du MIT ont utilisé un type de modèle d’IA générative connu sous le nom de « transformateurs », qui s’entraînent sur de vastes bases de données linguistiques pour perfectionner la prédiction et la génération de texte dans divers contextes. Ils ont cherché à élaborer des métriques pour vérifier si les modèles comprennent le monde, en ajoutant des problèmes appelés automate fini déterministe (DFA).
Ces problèmes incluent le raisonnement logique, l’orientation géographique, la chimie ou différents types de jeux, choisissant pour cette étude deux cas assez fréquents à l’heure actuelle : naviguer dans les rues de New York ou jouer à Othello.
Et c’est là que les problèmes sont apparus : l’IA ne comprend pas correctement les règles sous-jacentes. Bien que la plupart des modèles testés soient capables de générer des directives et des instructions précises ainsi que des mouvements valides dans Othello, tous sont devenus inefficaces dès qu’un quelconque « écart » a été introduit par rapport aux prémisses initiales.
Une fois ces variantes ajoutées, les modèles commençaient à proposer des itinéraires aléatoires inexistants à New York, des rues avec des orientations impossibles ou des mouvements non valables dans Othello, trichant dans le jeu.
En fait, la performance des modèles a rapidement baissé. Après l’inclusion d’un simple « écart » par rapport aux prémisses initiales, leur efficacité est passée de 100 % à 67 % après avoir fermé seulement 1 % des rues de New York. Cela confirme que les LLM basés sur des « transformateurs » sont précis dans la génération de texte dans divers contextes, mais en réalité ne comprennent pas des environnements plus complexes comme ceux du monde réel, où les prémisses sont toujours imprévisibles.