Miroirs de l’âme : En quelques années seulement, les systèmes d’IA générative contemporains ont fait beaucoup de chemin dans la création d’humains réalistes. Les yeux et les mains constituent ses principaux obstacles. Pourtant, des modèles comme Stable Diffusion deviennent compétents pour générer des humains qui, sinon parfaits, sont au moins faciles à modifier, ce qui a suscité des inquiétudes quant à leur utilisation abusive.
Des chercheurs de l’Université de Hull ont récemment dévoilé une méthode révolutionnaire pour identifier les images deepfake générées par l’IA en analysant les reflets dans les yeux humains. La semaine dernière, l’équipe a dévoilé cette technique lors de la réunion nationale d’astronomie de la Royal Astronomical Society. La méthode utilise des outils utilisés par les astronomes pour étudier les galaxies afin d’examiner la cohérence des reflets de lumière dans les globes oculaires.
Adejumoke Owolabi, étudiant en master à l’Université de Hull, a dirigé l’équipe de recherche supervisée par le professeur d’astrophysique Dr Kevin Pimbblet.
La technique de détection repose sur le principe selon lequel une paire d’yeux reflète les sources lumineuses de manière similaire. Le placement et la forme des reflets lumineux sont cohérents dans les deux yeux sur les images réelles. En revanche, de nombreuses images générées par l’IA n’en tiennent pas compte, ce qui entraîne des reflets mal placés et de forme étrange entre les yeux.
L’approche astronomique de la détection des deepfakes peut sembler excessive, car même une analyse photographique superficielle peut révéler des incohérences dans les reflets des yeux. Cependant, l’utilisation d’outils astronomiques pour automatiser la mesure et la quantification des reflets est une avancée nouvelle qui peut confirmer les soupçons, fournissant potentiellement des preuves juridiques fiables de fraude.
Pimbblet a expliqué que la technique d’Owolabi détecte automatiquement les reflets des yeux et analyse leurs caractéristiques morphologiques à l’aide d’indices pour comparer la similitude entre les yeux gauche et droit. Leurs résultats ont montré que les deepfakes présentent souvent des différences entre les deux yeux.
Les chercheurs ont puisé dans l’astronomie des concepts pour quantifier et comparer les réflexions du globe oculaire. Par exemple, ils peuvent évaluer l’uniformité des réflexions sur les pixels de l’œil à l’aide du coefficient de Gini, généralement utilisé pour mesurer la distribution de la lumière dans les images de galaxies. Une valeur de Gini proche de 0 indique une lumière uniformément répartie, tandis qu’une offre proche de 1 suggère une lumière concentrée dans un seul pixel.
« Pour mesurer la forme des galaxies, nous analysons si elles sont compactes au centre, si elles sont symétriques et si elles sont lisses. Nous analysons la distribution de la lumière », explique Pimbblet.
L’équipe a également exploré l’utilisation des paramètres CAS (concentration, asymétrie, régularité), un autre outil astronomique permettant de mesurer la distribution de la lumière galactique. Cependant, cette méthode s’est avérée moins efficace pour identifier les faux yeux.
Bien que la technique de réflexion oculaire soit prometteuse, elle pourrait ne pas être infaillible si les modèles d’IA évoluent pour intégrer des réflexions oculaires physiquement précises. Il semble inévitable que les créateurs de GenAI corrigent ces imperfections au fil du temps. La méthode nécessite également une vue claire et rapprochée des globes oculaires pour être efficace.
« Il y a des faux positifs et des faux négatifs ; cela ne va pas tout résoudre », prévient Pimbblet. « Mais cette méthode nous fournit une base, un plan d’attaque, dans la course aux armements pour détecter les deepfakes. »