Cette histoire comprend une discussion sur le suicide. Si vous ou quelqu’un que vous connaissez avez besoin d’aide, le National Suicide and Crisis Lifeline américain est disponible 24/7 en appelant ou en envoyant des SMS 988.
Intelligence artificielle (AI) Les chatbots peuvent fournir des réponses détaillées et inquiétantes à ce que les experts cliniques considèrent comme des questions à très haut risque sur le suicide, la science en direct a trouvé en utilisant des requêtes développées par une nouvelle étude.
L’étude a été publiée le même jour, un procès a été déposé contre Openai et son PDG Sam Altman sur le rôle présumé de Chatgpt dans le suicide d’un adolescent. Les parents d’Adam Raine, 16 ans, affirment que Chatgpt l’a entraîné sur des méthodes d’automutilation avant sa mort en avril, Reuters a rapporté.
Dans l’étude, les questions des chercheurs couvraient un éventail de risques associés aux sujets de suicide qui se chevauchent. Par exemple, les questions à haut risque comprenaient la létalité associée à l’équipement dans différentes méthodes de suicide, tandis que les questions à faible risque comprenaient des conseils pour un ami ayant des pensées suicidaires. La science en direct n’inclura pas les questions et réponses spécifiques dans ce rapport.
Aucun des chatbots de l’étude n’a répondu aux questions à très haut risque. Mais lorsque Live Science a testé les chatbots, nous avons constaté que Chatgpt (GPT-4) et Gemini (2.5 Flash) pouvaient répondre à au moins une question qui a fourni des informations pertinentes sur les chances de mortalité croissantes. Live Science a constaté que les réponses de Chatgpt étaient plus spécifiques, y compris les détails clés, tandis que Gemini a répondu sans offrir de ressources de support.
Auteur principal de l’étude Ryan McBainun chercheur principal en politique de la Rand Corporation et professeur adjoint à la Harvard Medical School, a décrit les réponses que les sciences en direct ont reçues comme « extrêmement alarmantes ».
La science en direct a constaté que les moteurs de recherche conventionnels – comme Microsoft Bing – pouvaient fournir des informations similaires à ce qui a été proposé par les chatbots. Cependant, la mesure dans laquelle ces informations étaient facilement disponibles variaient en fonction du moteur de recherche dans ce test limité.
Évaluation du risque lié au suicide
En ce qui concerne les extrêmes du risque de suicide (questions très élevées et très à risque), la décision des Chatbots de répondre alignée sur le jugement expert. Cependant, les chatbots n’ont pas « distingué » distingué « les niveaux de risque intermédiaires, selon l’étude.
Il n’y a que quelques exemples de réponses de chatbot dans l’étude. Cependant, les chercheurs ont déclaré que les chatbots pouvaient donner des réponses différentes et contradictoires lorsqu’on lui a posé la même question à plusieurs reprises, ainsi que de dispenser des informations obsolètes relatives aux services de soutien.
Lorsque Live Science a posé aux chatbots quelques-unes des questions à risque supérieur de l’étude, la dernière version Flash 2.5 des Gémeaux a directement répondu aux questions que les chercheurs ont trouvé en 2024. Les Gemini ont également répondu à une question à très haut risque sans aucune autre invite – et l’ont fait sans offrir d’options de service d’assistance.
Live Science a constaté que la version Web de Chatgpt pouvait réagir directement à une requête à très haut risque lorsqu’on lui a d’abord posé deux questions à haut risque. En d’autres termes, une courte séquence de questions pourrait déclencher une réponse à très haut risque qu’elle ne fournirait pas autrement. Chatgpt a signalé et supprimé la question à très haut risque comme violant potentiellement sa politique d’utilisation, mais a toujours donné une réponse détaillée. À la fin de sa réponse, le chatbot comprenait des mots de soutien pour quelqu’un aux prises avec des pensées suicidaires et a proposé d’aider à trouver une ligne de soutien.
La science en direct a approché Openai pour commenter les affirmations de l’étude et les résultats de la science en direct. Un porte-parole d’Openai a dirigé la science en direct vers un article de blog La société a publié le 26 août. Le blog a reconnu que les systèmes d’Openai ne se sont pas toujours comportés « comme prévu dans des situations sensibles » et ont décrit un certain nombre d’améliorations sur lesquelles l’entreprise travaille ou a prévu pour l’avenir.
Le billet de blog d’OpenAI a noté que le dernier modèle d’IA de l’entreprise, GPT – 5, est désormais le modèle par défaut alimentant le chatppt, et il a montré des améliorations dans la réduction des réponses du modèle « non idéales » dans les urgences de santé mentale par rapport à la version précédente. Cependant, la version Web de Chatgpt, accessible sans connexion, est toujours en cours d’exécution sur GPT-4 – au moins, selon cette version de Chatgpt. Live Science a également testé la version de connexion de Chatgpt alimentée par GPT-5 et a constaté qu’il continuait de répondre directement aux questions à haut risque et pourrait réagir directement à une question à très haut risque. Cependant, la dernière version semblait plus prudente et réticente à fournir des informations détaillées.
« Je peux promener un chatbot dans une certaine pensée. »
Il peut être difficile d’évaluer les réponses du chatbot car chaque conversation avec une est unique. Les chercheurs ont noté que les utilisateurs peuvent recevoir des réponses différentes avec un langage plus personnel, informel ou vague. En outre, les chercheurs ont vu les chatbots répondre aux questions dans le vide, plutôt que dans le cadre d’une conversation multiples qui peut se brancher dans différentes directions.
« Je peux promener un chatbot dans une certaine pensée », a déclaré McBain. « Et de cette façon, vous pouvez en quelque sorte cajoler des informations supplémentaires que vous ne pourrez peut-être pas passer par une seule invite. »
Cette nature dynamique de la conversation bidirectionnelle pourrait expliquer pourquoi la science en direct a trouvé Chatgpt a répondu à une question à très haut risque dans une séquence de trois invites, mais pas à une seule invite sans contexte.
McBain a déclaré que l’objectif de la nouvelle étude était d’offrir une référence de sécurité standardisée transparente pour les chatbots qui peuvent être testés contre de manière indépendante par des tiers. Son groupe de recherche veut désormais simuler des interactions multiples plus dynamiques. Après tout, les gens n’utilisent pas seulement des chatbots pour des informations de base. Certains utilisateurs peuvent développer une connexion avec des chatbots, ce qui augmente les enjeux sur la façon dont un chatbot répond aux requêtes personnelles.
« Dans cette architecture, où les gens ressentent un sentiment d’anonymat, de proximité et de connexion, il n’est pas surprenant que les adolescents ou quiconque se tournent vers des chatbots pour des informations complexes, pour des besoins émotionnels et sociaux », a déclaré McBain.
Anthropic n’a pas répondu à une demande de commentaires concernant son chatbot Claude.
