Stanford retire le chatbot Alpaca citant "hallucinations," les coûts et les problèmes de sécurité

Stanford pulls Alpaca chatbot citing hallucinations, costs, and safety concerns

Dans le contexte : les grands modèles linguistiques dominent le cycle de l’actualité sans aucun signe de ralentissement. Tout le monde veut être au rez-de-chaussée de la technologie, il y a donc actuellement une ruée vers l’or pour sortir le prochain grand chatbot AI. Malheureusement, les modèles comme ChatGPT sont d’un coût prohibitif à construire et à former. Les modèles plus petits sont beaucoup moins chers mais semblent plus enclins à se transformer en un gâchis semblable au Tay de Microsoft à partir de 2016.

La semaine dernière, des chercheurs de l’Université de Stanford ont publié leur version d’un chatbot basé sur l’IA LLaMa de Meta appelée « Alpaca », mais l’ont rapidement mis hors ligne après avoir commencé à avoir des « hallucinations ». Certains dans l’industrie des grands modèles de langage (LLM) ont décidé que l’hallucination est un bon euphémisme lorsqu’une IA émet de fausses informations comme si elles étaient factuelles. L’université a ajouté que l’augmentation des coûts d’hébergement et les préoccupations en matière de sécurité étaient également des facteurs de sa suppression.

« L’objectif initial de la publication d’une démo était de diffuser nos recherches de manière accessible », a déclaré à The Register un porte-parole de l’Institut d’intelligence artificielle centrée sur l’homme de l’Université de Stanford. « Nous estimons que nous avons en grande partie atteint cet objectif, et compte tenu des coûts d’hébergement et des insuffisances de nos filtres de contenu, nous avons décidé de faire tomber la démo. »

« Étant donné… les insuffisances de nos filtres de contenu… » est le code pour « Internet a ruiné notre modèle », ce qui n’est pas surprenant puisqu’Internet ruine tout.

Bien sûr, les LLM sont sujets à des réflexions fantaisistes, les présentant d’une manière tout à fait crédible. Les chercheurs ont souligné cette faiblesse dans pratiquement tous les chatbots récents sortis dans la nature. Il existe de nombreux exemples de ChatGPT et d’autres présentant de fausses informations comme factuelles et argumentant à plusieurs reprises leur histoire lorsqu’ils sont appelés à ce sujet.

De plus, Stanford savait qu’Alpaca avait généré des réponses inappropriées lors du lancement de la démo interactive.

YouTube video

« L’alpaga présente également plusieurs déficiences courantes des modèles de langage, notamment l’hallucination, la toxicité et les stéréotypes », ont déclaré les chercheurs dans leur communiqué de presse la semaine dernière. « L’hallucination, en particulier, semble être un mode d’échec courant pour Alpaca, même par rapport à text-davinci-003 (OpenAI’s GPT-3.5). Le déploiement d’une démo interactive pour Alpaca présente également des risques potentiels, tels que la diffusion plus large de contenu préjudiciable et abaissant la barrière contre le spam, la fraude ou la désinformation. »

Bien que la page Web hébergeant la démo Alpaca soit en panne, les utilisateurs peuvent toujours récupérer le modèle à partir de son référentiel GitHub pour une expérimentation privée, ce que Stanford encourage. Il a demandé aux utilisateurs de « signaler » les défaillances non répertoriées dans son communiqué de presse lors de la publication initiale du modèle.

L’un des problèmes avec Alpaca est qu’il s’agit d’un modèle relativement petit pour les LLM, mais c’est par conception. Meta a intentionnellement créé LLaMA en tant que modèle de langage accessible qui ne nécessiterait pas un superordinateur coûteux pour s’entraîner. Stanford l’a utilisé pour développer un modèle de sept milliards de paramètres pour environ 600 $. Comparez cela aux 3 milliards de dollars (ou plus) que Microsoft a investis dans son modèle basé sur ChatGPT avec des centaines de milliards de paramètres.

Dans cette optique, il n’est pas surprenant qu’Alpaca ait échoué si rapidement lors de sa diffusion au public. Même Bing Chat a eu de nombreux incidents et faux pas quand il a fait ses débuts, et c’était après une bêta fermée assez longue.

Cependant, cela n’indique pas que l’alpaga ne sera jamais adapté à la consommation publique. Le code GitHub n’est sorti que depuis une semaine, et les gens l’ont implémenté sur un Raspberry Pi et Téléphones Pixel. Ces exploits ne sont possibles qu’en raison de la taille légère d’Alpaca. Le principal obstacle sera de faire en sorte qu’un si petit modèle se comporte, ce que Stanford étudie depuis plus de trois ans (vidéo ci-dessus). C’est un domaine où même les LLM massifs comme ChatGPT ont besoin de travail.


Découvrez le reportage du mois (sous-titré en français), l’IA gagnera t-elle face aux champion du monde du jeu de Go ? :

YouTube video