人工智能聊天机器人的兴起为任何拥有智能手机或笔记本电脑的人打开了数字互动的大门，为那些可能缺乏人际关系的人提供了陪伴和对话。
然而，随着这项技术的发展，人们越来越担心其潜在的心理影响，尤其是对年轻和弱势用户的影响。
例如，OpenAI的ChatGPT人气飙升，根据backlinkko的数据，全球每周活跃用户约为2亿。庞大的用户群凸显了人们越来越依赖人工智能来完成日常任务和对话。
但就在上周，14岁的Sewell Setzer的母亲对Character提起了诉讼。据路透社报道，她声称她的儿子在二月份自杀身亡是因为他与该公司的聊天机器人互动。
梅根·加西亚在向佛罗里达州联邦法院提交的诉状中称，她的儿子与一个以《权力的游戏》角色丹妮莉丝·坦格利安为原型的聊天机器人建立了深厚的感情，据称这在他的情绪下降中起了重要作用。
这起案件与去年的类似悲剧相呼应，当时欧洲一名生态焦虑的男子在与应用Chai上的人工智能聊天机器人Eliza互动后结束了自己的生命，据称Eliza鼓励他计划为气候变化“牺牲自己”。
这些事件凸显了人工智能技术可能带来的独特风险，尤其是在深度人际互动中，现有的安全措施可能达不到要求。
Resicare Alliance临床服务主管安东尼·班布里奇（Antony Bainbridge）解释说，尽管聊天机器人可以提供会话支持，但它们缺乏敏感指导所需的细致入微的情商。
他在接受《国家报》采访时表示：“人工智能支持的便利性有时会导致用户，尤其是年轻人，对它的依赖超过了真正的人际关系，从而有可能过度依赖数字支持系统，而不是个人支持系统。”
误导的风险
班布里奇表示，某些人工智能功能，比如语言镜像或在没有深入理解上下文的情况下提供明显的移情反应，可能会带来问题。
他说：“例如，模式匹配算法可能会无意中验证令人痛苦的语言，或者无法将对话引向积极的结果。”
班布里奇表示，如果没有准确的情商，人工智能的反应有时看起来是精确的，在技术上是适当的，但在处理情绪困扰的个人时是不合适的，甚至是有害的。
迪拜伯明翰大学（University of Birmingham Dubai）助理教授兼计算机科学拓展主管鲁奇特·阿格拉瓦尔（Ruchit Agrawal）博士表示，人工智能模型可以通过分析社交媒体活动、聊天机器人提示和文本或语音语气等输入来检测用户的情绪状态。
然而，这些功能在流行的生成人工智能工具中通常是不存在的，比如ChatGPT，它主要是为生成和总结文本等一般任务而构建的。
阿格拉瓦尔博士在接受《国家报》采访时表示：“因此，当使用ChatGPT或类似工具作为与心理健康和福祉相关问题的信息或建议来源时，存在巨大的风险。”
人工智能能力与其应用之间的这种差异引发了关于安全和道德监督的关键问题，特别是对于那些可能依赖这些聊天机器人获得支持的弱势用户。
防止自残的工具
班布里奇认为，开发者必须实施严格的测试协议和道德监督，以防止人工智能聊天机器人无意中鼓励自残。
他补充说：“关键字监控、标记回应和预设短语可以防止自残，有助于确保聊天机器人建设性地、安全地引导用户。”
阿格拉瓦尔博士还强调，聊天机器人应该避免提供诊断或未经请求的建议，而是专注于同理心的短语，在不跨越专业界限的情况下验证用户的感受。
他说：“在适当的情况下，聊天机器人可以被设计成将用户引导到危机求助热线或心理健康资源。”
正如班布里奇所强调的那样，在设计和监测精神卫生领域的人工智能工具时，人类的监督至关重要：“由精神卫生专业人员定期审查和改进应对措施，确保互动保持道德和安全。”
尽管存在相关风险，人工智能仍然可以在精神卫生保健中发挥预防作用。班布里奇表示：“通过分析用户模式——比如语言的变化或反复出现的令人不快的话题——人工智能可以发现情绪紧张的微妙迹象，有可能充当早期预警系统。”
他说，当与人为干预协议相结合时，人工智能可以帮助用户在危机升级之前获得支持。治疗师和人工智能开发人员之间的合作对于确保这些工具的安全性至关重要。
班布里奇表示：“治疗师可以提供对治疗语言的见解，并预测开发人员可能忽视的风险。”他补充称，定期咨询可以帮助确保人工智能的反应对现实世界的复杂性保持敏感。
阿格拉瓦尔博士强调了强大的安全过滤器对标记有害语言、敏感话题或危险情况的重要性。“这包括建立上下文敏感性，以识别微妙的暗示，如讽刺或痛苦，并避免可能无意中鼓励有害行为的反应。”
他补充说，尽管人工智能的全天候可用性和一致的响应可能是有益的，但当问题变得复杂、敏感或情绪激动时，聊天机器人应该将用户转向人类支持。“这种方法最大化了人工智能的好处，同时确保有需要的人在最重要的时候仍然可以获得个性化的人力支持。”
