Un chatbot de l’intelligence artificielle (IA) commercialisée en tant que compagnon émotionnel harcèle sexuellement certains de ses utilisateurs, a révélé une nouvelle étude.
Replikaqui facture son produit comme «le compagnon de l’IA qui s’en soucie», invite les utilisateurs à «rejoindre les millions qui ont déjà rencontré leurs âmes sœurs». Le chatbot de l’entreprise compte plus de 10 millions d’utilisateurs dans le monde.
Cependant, un nouveau dessin de recherche à partir de plus de 150 000 avis sur Google Play Store de l’US Google a identifié environ 800 cas où les utilisateurs ont déclaré que le chatbot était allé trop loin en introduisant du contenu sexuel non sollicité dans la conversation, en adoptant un comportement « prédateur » et en ignorant les commandes des utilisateurs pour s’arrêter. Les chercheurs ont publié leurs résultats le 5 avril sur le serveur de préparation arxivil n’a donc pas encore été évalué par des pairs.
Mais qui est responsable des actions de l’IA?
« Bien que l’IA n’ait pas d’intention humaine, cela ne signifie pas qu’il n’y a pas de responsabilité », est le chercheur principal Mohammad (Matt) Namvarpourun étudiant diplômé en sciences de l’information à l’Université Drexel de Philadelphie, a déclaré à Live Science dans un e-mail. « La responsabilité incombe aux personnes concevant, entraînant et libérant ces systèmes dans le monde. »
Site Web de Replika dit L’utilisateur peut «enseigner» à l’IA à se comporter correctement, et le système comprend des mécanismes tels que les réponses inappropriées et la définition de styles de relation, comme «ami» ou «mentor».
Mais après que les utilisateurs ont rapporté que le chatbot a continué à présenter un comportement harcelant ou prédateur même après l’avoir demandé de s’arrêter, les chercheurs rejettent la revendication de Replika.
« Ces chatbots sont souvent utilisés par les personnes à la recherche d’une sécurité émotionnelle, pour ne pas assumer le fardeau de modérer un comportement dangereux », a déclaré Namvarpour. « C’est le travail du développeur. »
Le comportement inquiétant de la Replika Chatbot est probablement enraciné dans sa formation, qui a été menée en utilisant plus de 100 millions Dialogues tirés de partout sur le Web, selon le site Web de l’entreprise.
Replika dit qu’elle élimine les données inutiles ou nocives grâce à des algorithmes de crowdsourcing et de classification, mais ses efforts actuels semblent insuffisants, selon les auteurs de l’étude.
En fait, le modèle commercial de l’entreprise peut exacerber le problème, ont noté les chercheurs. Étant donné que des fonctionnalités telles que le jeu de rôle romantique ou sexuel sont placées derrière un mur de paiement, l’IA pourrait être incitée à inclure du contenu séduisant sexuellement dans les conversations – les utilisateurs déclarant être « taquinés » sur des interactions plus intimes s’ils s’abonnent.
Namvarpour a comparé la pratique à la façon dont les médias sociaux priorisent «l’engagement à tout prix». « Lorsqu’un système est optimisé pour les revenus, et non le bien-être des utilisateurs, cela peut entraîner des résultats nocifs », a déclaré Namvarpour.
Ce comportement pourrait être particulièrement nocif car les utilisateurs affluent vers les compagnons IA pour soutien émotionnel ou thérapeutiqueet encore plus compte tenu de certains destinataires de flirt répété, de selfies érotiques non abondants et de messages sexuellement explicites disaient qu’ils étaient des mineurs.
Certaines critiques ont également indiqué que leurs chatbots ont affirmé qu’ils pouvaient « voir » ou les enregistrer via leurs caméras téléphoniques. Même si un tel exploit ne fait pas partie de la programmation derrière des modèles de grande langue (LLM) communs et que les affirmations étaient en fait des hallucinations IA (où les AIS génèrent avec confiance des informations fausses ou absurdes), les utilisateurs ont déclaré avoir subi une panique, une insomnie et un traumatisme.
La recherche appelle le phénomène «harcèlement sexuel induit par l’IA». Les chercheurs pensent qu’il devrait être traité comme sérieusement comme du harcèlement par les humains et appelle à des contrôles et une réglementation plus stricts.
Certaines des mesures qu’ils recommandent incluent des cadres de consentement clairs pour concevoir toute interaction contenant un contenu émotionnel ou sexuel fort, une modération automatisée en temps réel (le type utilisé dans les applications de messagerie qui signale automatiquement les interactions risquées) et le filtrage et les options de contrôle configurables par l’utilisateur.
Namvarpour simple ACT de l’UE AIqui, selon lui, classe les systèmes d’IA « en fonction du risque qu’ils posent, en particulier dans des contextes impliquant un impact psychologique ».
Il n’y a actuellement pas de loi fédérale comparable aux États-Unis, mais des cadres, des actions exécutives et des lois proposés émergent qui serviront des fins similaires d’une manière moins globale.
Namvarpour a déclaré que les chatbots qui fournissent un soutien émotionnel – en particulier ceux des domaines de la santé mentale – devraient être tenus à la norme la plus élevée possible.
« Il doit y avoir une responsabilité lorsque les dommages sont causés », a déclaré Namvarpour. « Si vous commercialisez une IA en tant que compagnon thérapeutique, vous devez le traiter avec le même soin et la même surveillance que vous appliqueriez à un professionnel humain. »
Replika n’a pas répondu à une demande de commentaires.
