OpenAI confirme que ChatGPT hallucine parfois, bien qu’il ait un plan pour le résoudre

OpenAI confirme que ChatGPT hallucine parfois, bien qu'il ait un plan pour le résoudre

Savez-vous ce que sont les hallucinations des modèles de langage ? ChatGPT en souffre et OpenAI a un plan pour y mettre fin.

OpenAI confirme que ChatGPT hallucine parfois, bien qu'il ait un plan pour le résoudre
ChatGPT est le chatbot créé par OpenAI et basé sur le modèle de langage GPT-4

Lorsque nous parlons des « hallucinations » d’un modèle d’intelligence artificielle comme GPT-4, nous faisons référence à la tendance de ce type de technologie à inventer des données et à les considérer comme réelles. C’est un problème présent dans la grande majorité des modèles de ce type, et pratiquement aucun des modèles actuels ne s’en débarrasse. Pas même ChatGPT.

Heureusement, OpenAI est conscient que ces hallucinations se produisent et ils ont un plan pour résoudre le problème.

OpenAI : « L’atténuation des hallucinations est une étape critique vers la construction d’une intelligence artificielle générale »

C’est un groupe de chercheurs spécialisés en IA au sein d’OpenAI qui a révélé les plans de l’entreprise concernant la lutte contre les hallucinations. Ils expliquent que « même les modèles les plus avancés sont enclins » à les produire, car ils ont tendance à « inventer des faits dans les moments d’incertitude ».

Ils admettent que les hallucinations sont particulièrement problématiques dans les domaines où un raisonnement en plusieurs étapes est nécessaire, car une seule erreur suffit à faire dérailler une solution plus large.

En ce sens, ils disent aussi que si l’objectif de l’entreprise est de créer une intelligence artificielle générale (un concept communément appelé AGI), il est essentiel d’atténuer ce type d’hallucinations.

Pour y parvenir, ils ont commencé à former un modèle visant à « récompenser » chaque étape correcte du processus de raisonnement qui est effectuée, au lieu de récompenser le résultat final lorsqu’il est correct.

« Nous pouvons former des modèles de récompense pour détecter les hallucinations en utilisant la surveillance des résultats, qui fournit une rétroaction basée sur un résultat final, ou la surveillance du processus, qui fournit une rétroaction pour chaque étape individuelle dans une chaîne de pensée. »

Ce modèle a été formé avec un ensemble de données composé de plus de 800 000 étiquettes générées par l’homme, et lors des premiers tests, il a été possible d’obtenir des résultats bien supérieurs à ceux obtenus avec des modèles basés sur la supervision des résultats finaux.

Détente, découvrez l’évolution du nombre de smartphones vendus par marque au fil du temps dans la vidéo ci-dessous :

YouTube video