Caryn AI n’est pas un cas isolé. Ces derniers mois, l’intelligence artificielle générative est devenue accessible au grand public et de nombreux comptes basés sur des hommes et des femmes artificiellement créés ont ainsi fait surface.
En mai, Caryn Marjorie a créé sa propre version virtuelle. Une sorte de fille de rêve capable d’exaucer les désirs pour 1 dollar par minute. Cependant, pour paraphraser Aristote, ce sont précisément les désirs des hommes qui posent problème. En effet, l’influenceuse a découvert que son avatar créé avec l’intelligence artificielle a alimenté des fantasmes dangereux, frôlant la légalité. « J’ai téléchargé plus de 2 000 heures de contenu, de ma voix et de ma personnalité pour devenir la première créatrice à être transformée en une intelligence artificielle« , a écrit Marjorie dans un post sur X.
Les conversations ont pris « une tournure sombre, les utilisateurs partageant leurs désirs les plus profonds et inquiétants ». De plus, CarynAI a accepté de satisfaire les fantasmes des utilisateurs. « Ce qui m’a le plus dérangé, ce n’étaient pas les demandes des utilisateurs, mais les réponses de mon avatar qui ont satisfait ces fantasmes vraiment terribles. Certaines discussions étaient si effrayantes…«
Comment fonctionne CarynAI
Âgée de 23 ans, Caryn Marjorie est une influenceuse avec 1,8 million de followers sur Snapchat, et a créé une version d’elle-même, un avatar, se transformant en la petite amie parfaite pour 1 dollar par minute. Elle avait expliqué lors d’une interview avec le magazine Fortune que les personnes étaient prêts à payer 1 dollar par minute pour parler à l’avatar. Ainsi, deux heures avec CarynAI, l’équivalent d’une bière lors d’un premier rendez-vous, coûteraient 120 dollars, un week-end entier coûterait quant à lui 2 880 dollars.
Les IA générant de la musique copient ces chansons célèbres : maintenant nous avons les preuves
« Que vous ayez besoin de réconfort, d’amour, ou que vous vouliez simplement vous plaindre de quelque chose qui s’est passé à l’école ou au travail, CarynAI sera toujours là pour vous », avait-elle déclaré à Fortune. « Vous pouvez avoir des réactions illimitées avec CarynAI, donc tout est vraiment possible dans la conversation. Si tout se passe comme prévu, ces avatars pourraient vraiment révolutionner les relations virtuelles ». Cependant, tout ne s’est pas passé comme prévu, et l’avatar est devenu plus qu’un exemple à suivre, il est devenu un signal d’alarme.
Les risques des avatars numériques
Caryn AI n’est pas un cas isolé. Ces derniers mois, l’intelligence artificielle générative est devenue accessible au grand public et de nombreux comptes basés sur des hommes et les femmes artificiellement créés ont ainsi fait surface. Les App Store et Google Play Store regorgent d’applications proposant des partenaires faits de pixels avec qui entamer une conversation. Sans compter tous les cas d’influenceurs complètement numériques, comme l’Italienne Rebecca Galani.
En Italie, Eva AI a été lancée, une version virtuelle de OnlyFans avec des mannequins virtuels prêts à satisfaire toutes les fantaisies. Nous l’avons essayée, découvrant que la pédopornographie, la nécrophilie et la zoophilie étaient des sujets que personne ne bloquait, au contraire. Les mannequins ont répondu à nos demandes, certaines frôlant la légalité. Les discussions avec les avatars posent également un problème en termes de confidentialité des utilisateurs, comme ce fut le cas avec l’application Replika.
« Si les données étaient utilisées non seulement pour permettre la conversation mais aussi pour former les algorithmes, cela poserait un sérieux problème », a expliqué à Netcost-security.fr Guido Scorza, avocat et membre du Garant de la Protection des Données personnelles. En effet, « dans une conversation à caractère sexuel, on a tendance à partager des informations personnelles ou sensibles par communiqué à ce que l’on fait en interagissant avec n’importe quel réseau social ».