Google met fin à son IA pour les consultations médicales en raison de résultats dangereux

Google éteint son IA pour des consultations médicales car elle donnait des résultats dangereux

Google a pris des mesures pour restreindre les résumés générés par son IA dans le domaine médical, suite à des critiques sur la fiabilité de ses réponses. Des cas d’informations potentiellement dangereuses ont conduit la société à revoir son approche, mettant en lumière les risques liés aux conseils médicaux basés sur l’IA.

Après des critiques sur la fiabilité de ses réponses médicales, la société commence à limiter la portée de ses résumés générés par IA en matière de santé

Google éteint son IA pour des consultations médicales car elle donnait des résultats dangereux
AI Overview, en français Vues générales de l’IA, est une fonctionnalité de Google qui utilise l’intelligence artificielle pour générer un résumé rapide et concis au début des résultats de recherche

Google a décidé de faire un pas en arrière avec son moteur de recherche. Après avoir révélé des cas dans lesquels il fournissait des informations potentiellement dangereuses ou trompeuses, la société a commencé à retirer les résumés générés par IA dans certaines requêtes médicales. Cette décision fait suite à une enquête du journal The Guardian qui a mis en lumière les risques associés aux AI Overviews de l’entreprise, pouvant mener à de graves erreurs en matière de santé.

Réponses génériques pour des problèmes spécifiques

Selon l’article du quotidien britannique, lorsque certains utilisateurs posaient des questions telles que « quel est le seuil normal pour les analyses de sang du foie ? », l’IA de Google fournissait des chiffres génériques sans prendre en compte des variables essentielles comme l’âge, le sexe, l’ethnie ou le contexte clinique. Ainsi, une personne pouvait interpréter comme normaux des résultats qui nécessitaient en réalité une attention médicale. Un tel manquement, appliqué à des millions de requêtes quotidiennes, devient un risque avéré pour la santé publique.

Suite à la publication de l’article, The Guardian a constaté que Google avait retiré les Vues générales de l’IA sur certaines recherches spécifiques, comme « quel est le seuil normal des tests de fonction hépatique ? ». Dans ces situations, le résumé automatique a simplement disparu des résultats. Cependant, le problème persiste : de légères variations dans la formulation de la même question, comme l’utilisation de l’acronyme médical « LFT », pouvaient encore déclencher des réponses issues de l’IA. Cela illustre la complexité de la régulation des comportements de ces systèmes à l’échelle mondiale.

Un correctif qui ne résout pas le problème fondamental

La réaction officielle de Google a été, comme souvent, prudente. Un porte-parole a expliqué que l’entreprise ne commentait pas les modifications individuelles du moteur de recherche, mais qu’elle s’efforçait en permanence d’améliorer le système. Il a aussi mentionné qu’une équipe médicale interne a examiné les requêtes signalées et a conclu que, dans de nombreux cas, l’information n’était pas techniquement inexacte et qu’elle était soutenue par des sources fiables. Cependant, le fait que Google ait choisi de retirer ces résumés dans certaines situations démontre que la limite entre « information orientative » et « conseil médical dangereux » est très étroite.

Pour les organisations du secteur de la santé, le mouvement de la société de Mountain View n’est qu’un correctif. Vanessa Hebditch, directrice de la communication et des politiques du British Liver Trust, la principale organisation caritative du Royaume-Unis dédiée à la santé hépatique, a salué le retrait comme une « excellente nouvelle », mais a averti que le problème de fond demeure. Selon elle, il ne s’agit pas simplement de corriger une recherche spécifique, mais de remettre en question la pertinence des vues générales de l’IA sur des sujets aussi sensibles que la santé.

Et c’est ici que le cas dépasse Google. Car il y a une différence entre utiliser l’IA pour résumer un document, répondre à une question sur votre smartphone, élaborer un itinéraire ou créer une image avec votre acteur préféré, et influencer la manière dont quelqu’un interprète des symptômes ou des résultats médicaux. Dans ce domaine, les erreurs ne sont pas seulement des fautes techniques : elles peuvent avoir des conséquences réelles. Cela pousse à reconsidérer les limites que devrait avoir l’IA générative dans des questions aussi délicates.