Une étude récente menée par des chercheurs de Cardiff University et Ca’ Foscari Venezia révèle que les modèles de langage avancés peinent à comprendre l’ironie et les jeux de mots. Malgré leur sophistication, ces intelligences artificielles manquent d’une réelle compréhension humoristique, soulevant des questions sur leur capacité à saisir les nuances du langage.
L’Intelligence Artificielle semble être capable de tout, mais son sens de l’humour laisse à désirer. Une recherche de Cardiff University et Ca’ Foscari Venezia, présentée à la Conference on Empirical Methods in Natural Language Processing (EMNLP) 2025 en Chine, montre que les Large Language Models (LLM) ne saisissent pas l’ironie des blagues ou des jeux de mots.
Pourquoi les jeux de mots posent problème aux machines
Un jeu de mots, ou pun en anglais, joue sur des sonorités similaires ou des significations pour créer une surprise. Par exemple, la phrase : « Long fairy tales have a tendency to dragon« . Comprendre cette blague nécessite une certaine maîtrise de l’anglais. Le verbe to drag on indique « traîner », mais en l’écrivant comme un seul mot, on obtient dragon, un monstre classique des contes qui apporte une nouvelle dimension à la phrase.
Cette petite astuce linguistique est facilement perçue par un humain, mais pour un modèle comme Gemini ou ChatGPT, cette complexité reste difficile à reproduire.
Tester la compréhension de l’humour par l’IA
Pour évaluer la compréhension des jeux de mots par les LLM, les chercheurs ont utilisé une méthode simple : modifier une blague existante en changeant un mot clé, la transformant ainsi. Le résultat ? Les IA continuaient de repérer des jeux de mots inexistants. L’étude publiée sur Arxiv cite l’exemple suivant : « I used to be a comedian, but my life became a joke« . En remplaçant « joke » par « chaotic », la blague disparaît, mais les modèles insistent pour dire qu’il s’agit d’un jeu de mots.
José Camacho Collados, co-auteur de l’étude, résume : « Leur compréhension de l’humour est une illusion. Ils reconnaissent des schémas appris, mais pas le mécanisme qui rend une blague amusante ».
Des phrases qui mettent l’IA au défi
Pour aller au-delà des tests standards, souvent trop simples, les chercheurs ont créé deux nouvelles collections de phrases, nommées PunnyPattern et PunBreak. Ces outils avaient pour but de révéler les véritables limites des IA. Les questions à traiter étaient principalement trois :
- Comprennent-ils un nouveau jeu de mots, jamais vu auparavant ?
- Maintiennent-ils le sens si la blague est « brisée » par une modification ?
- Savent-ils expliquer pourquoi une phrase est (ou n’est pas) un jeu de mots ?
Les résultats ont été clairs : lorsque le jeu de mots était légèrement modifié, la capacité de reconnaissance chutait jusqu’à 20%. Cela indique que si la blague n’est pas celle que le modèle a déjà enregistrée, l’IA échoue.
Le problème central : compréhension vs mémorisation
Le cœur du problème identifié par l’équipe de recherche réside dans le fait qu’alors que les humains interprètent, les modèles linguistiques associent. Si l’on lit « Mi chiamo Marina, ma non amo il mare », on sourit à la coïncidence, mais on comprend qu’il ne s’agit pas d’un jeu de mots. Un LLM, par contre, pourrait facilement se méprendre. C’est la limite d’un apprentissage basé sur des similitudes statistiques plutôt que sur une véritable compréhension contextuelle. Comme l’expliquent les chercheurs, de nombreux modèles « voient des jeux de mots où il suffit de deux sons similaires, même si la blague n’a pas de sens ».
Pourquoi c’est pertinent au-delà des laboratoires
Ce sujet, qui peut sembler léger, ne l’est pas. Comprendre un jeu de mots implique bien plus que du simple humour : cela indique interpréter le langage non littéral.
Les implications se retrouvent dans plusieurs domaines :
- Les traductions automatiques, où les jeux de mots représentent un véritable défi
- Les analyses automatiques des commentaires en ligne, souvent teintés d’ironie
- Les assistants virtuels, qui doivent éviter les réponses inappropriées
- L’étude des textes littéraires ou publicitaires, riches en nuances et en sous-entendus.
Le constat : l’humour reste un talent humain
L’étude conclut que la prétendue capacité de l’IA à comprendre l’humour est en grande partie exagérée. Cela fonctionne tant que les blagues sont prévisibles, cataloguées et familières. Lorsque les phrases s’écartent des modèles mémorisés, les IA vacillent. Même quand elles réussissent, c’est souvent par imitation et non par réelle compréhension. Une nuance subtile mais essentielle. « Les machines reconnaissent les contours de la blague, pas son essence« , a observé un des auteurs.