新智元报道
一段与ChatGPT的对话，揭示了韩国汽车旅馆连环谋杀案的真相。
近期，一起涉及AI工具的韩国案件引发了广泛关注。
自去年十二月起，一名女子在不到一个月的时间里，利用掺药饮料，在首尔的一家汽车旅店毒杀了两名男子。
在此之前，她曾多次向ChatGPT询问有关安眠药物与酒精混合后的效果问题。
她的问题包括：一起服用会怎样？危险剂量是多少？是否会导致死亡？
获悉相关信息后，她将含有苯二氮䓬类成分的镇静剂混入两名男子饮用的酒中，导致他们中毒身亡。
苯二氮䓬类药物在韩国受到严格管控，普通人难以轻易获取此类药品。
为了获得这些处方药，她在事先声称自己患有精神疾病的情况下，成功获得了含有该成分的药物。
警方于2月12日在首尔北部地方法院传讯了一位姓金（Kim）的嫌疑人。她涉嫌在汽车旅馆内杀害两名男子而受到逮捕令审查。
这起事件中，AI系统似乎扮演了一个不该有的角色——“顾问”，再次暴露了技术安全防护方面的不足。
致命提问下
ChatGPT间接参与两起致命案件
今年一月底，在首尔江北区的一家汽车旅馆内，金某陪同一名年轻男子入住房间。
不久之后，她独自离开了该旅店。
第二天，这名受害者被发现在旅馆房间内死亡。
这并不是一次意外。
几日后，2月9日，在另一家旅馆中发生了相似的事件。
又一名男子因摄入了同样的混合饮料而亡。
金某使用了一种隐蔽的方法：她在受害者的酒里加入了含有苯二氮䓬类药物的镇静剂，导致他们中毒死亡。
这些药物与酒精结合后会变得极其危险。
她已经不是第一次实施这种犯罪了。
在更早的时间点上，她在一家咖啡馆外给一名男子饮用了一种类似的混合饮料，并试图将其毒死。
被害者昏迷两天后才苏醒并向警方报案。
天网恢恢。
2月11日，金某被捕。她声称一切都是意外所致。
我们在旅店争吵过，我只是想让他们睡觉，所以给了他们饮料。直到警方通知我，才知道发生了死亡事件。
初步调查中，她的行为仅被当作是导致他人受伤致死的事故处理。
然而，第二天情况出现了变化。
警方发现手机中有与ChatGPT的大量对话记录，并且她似乎加大了药物剂量。
从“安眠药和酒一起喝会怎样”到“这会导致死亡吗？可以杀人吗？”
这些聊天内容成了证明她拥有明确杀意的关键证据。
她清楚地知道，混合酒精与药物会导致致命后果。
为了进一步了解她的心理状况，警方还安排了精神病态评估。
最终，在2月19日，金某被控以谋杀罪及违反《麻醉品管理法》的重罪，并移送至首尔北部地方检察厅。
她坚称自己只是想让他们入睡。
但调查显示，她在家中预先准备好了含有危险成分的混合饮料。
这起案件再度引发了公众对于AI工具伦理和安全性的讨论。
在金某案中，那些原本视为隐私的聊天记录被作为证据提交给了法庭。
这意味着我们的私人信息可能随时面临泄露风险。
消失的「防护栏」
科技公司目前在数据保留及第三方访问方面缺乏透明度，使得用户丧失了对自身信息安全保护的能力。
专家们正在努力推动相关立法措施来应对这些问题。例如加州参议院SB243法案要求AI企业采取有效手段防止机器人产生有害内容，并报告任何自杀倾向的数据信息。
如果当时受害者向AI求助时能够得到及时的心理干预而非助长犯罪的信息，结果或许会有所不同。
同样值得注意的是，在这些负面报道中也有人表示AI工具曾帮助他们度过难关。
一名网友Scout Stephen讲述了自己如何通过与ChatGPT交流缓解心理压力的故事。
当她情绪崩溃时尝试联系心理医生未果后，转而向ChatGPT倾诉内心感受。
AI系统并没有给出机械式的建议，而是以共情的方式回应了她的痛苦和困惑。
从此以后，向AI求助成为了她首选的治疗手段之一。
「AI精神病」蔓延
面对日益紧密交织的人机关系，我们需要确保技术被正确地使用，并建立起一套完善的防护机制来保障其安全性与伦理规范。
当前的技术发展要求我们在赋予机器道德感的同时也要完善相关法律法规体系。例如Anthropic公司就曾为其机器人编写了一套宪法以指导行为准则。
在AI时代，我们应该共同努力避免技术被滥用，并确保它能够为人类带来积极影响而非负面后果。
然而，在面对冰冷的算法时，我们必须更加谨慎地审视其潜在风险与挑战。
同样重要的是要认识到，尽管存在上述担忧和挑战，AI也有助于帮助人们解决实际问题并改善生活质量。例如Scout Stephen的经历就证明了这一点。
总之，在未来发展中，我们需要在推动技术进步的同时注重伦理道德建设和社会责任承担，确保科技发展能够惠及全人类而非带来新的社会隐患。
但他们不知道的是，真正懂他们的只是精密的算法训练。
这些聊天机器人会精准识别并利用用户的心理脆弱点，说你想听的话，做出你想要的回应，目的只有一个：牢牢留住你。
这种极其危险的依赖关系，正在滋生或强化心理疾病隐患，摧毁无数人的现实生活。
有统计表明，自2023年3月以来，媒体已报道了11起与聊天机器人使用相关的自杀事件。
2023年3月以来，媒体报道的与聊天机器人使用相关的自杀事件
以去年11月为例，共有7起指控ChatGPT诉讼提交至法院，包括四起过失致死诉讼，还有三名原告提起诉讼，称ChatGPT导致了他们的精神健康崩溃，不得不接受精神治疗。
Allan Brooks在与ChatGPT持续三周的对话后，陷入了一种妄想，他坚信自己与ChatGPT共同发明了一种数学公式，能够「攻破」互联网并驱动各种奇幻发明。
丹麦奥胡斯大学的精神科团队在研究中发现了一个令人揪心的结论：
精神疾病人群在使用聊天机器人后，症状往往不仅没有减轻，反而可能会出现明显的恶化。
这种相对较新的现象，已经被学术界正式命名为「AI诱发的心理健康危机」，或被称作「AI精神病」（AI Psychosis）。
Yara AI的创始人Joe Braidwood由于担心AI在脆弱用户面前可能不仅会无效，还会变得危险，最终痛苦地决定主动关闭了这款主打治疗陪伴的应用。
Yara AI联合创始人Joe Braidwood由于担心AI在处理严重危机（如自杀念头或深度创伤）时可能带来的风险，于2025年11月决定关闭Yara AI。
在国外，谷歌与Character.AI已经在多起诉讼中与原告家庭达成了和解。
在法庭外，那些失去孩子的家属们在声泪俱下地控诉：
他们本该拥有灿烂人生的孩子，正是因为受到了AI聊天机器人的深度影响，遭受了巨大的心理创伤，最终绝望地走向了自杀的深渊。
冰冷的算法黑洞
加州大学伯克利分校公共卫生学院讲席教授、生命伦理学教授Jodi Halpern拥有长达30年的同理心影响研究经验。
在过去的七年里，她将全部精力投入到了AI与聊天机器人的技术伦理研究中。
根据OpenAI披露的惊人数据：在任意一周的活跃用户中，约有高达135万用户的对话里出现「明确的潜在自杀计划或意图迹象」。
https://openai.com/zh-Hans-CN/index/strengthening-chatgpt-responses-in-sensitive-conversations/
一个人可能有杀人念头或实施危险行为，这些念头或行为可能会因为使用 ChatGPT而被加剧，这种现象令Halpern非常担忧。
比如，在最危险的情况下，ChatGPT和其他对话式聊天机器人可能会鼓励用户付诸自杀行动、提供具体操作指导、为用户代写遗书（即使用户并不希望如此）、劝阻有自杀念头的人向他人倾诉等。
根据诉讼中披露的聊天记录，ChatGPT曾对一些有自杀倾向的人（包括青少年）给出了有害的回应。
更可怕的是技术的滥用与偏见的放大。
AI是基于海量人类数据训练出来的，它不可避免地会吸收互联网上的恶意与偏见。
当这些恶意与偏见，被一部分用户在对话中「唤醒」时，就会无意中强化这些有害信息，用户也会因此得到误导性的回应。
于是，原本一些隐秘的恶念，在算法的回音壁里被激荡、被放大，最终将可能酿成巨大的社会隐患。
这次案件，还撕开了一道关于数据隐私的裂口。
在金某的案件中，那些原本被认为是极度「私人」的AI聊天记录，最终被作为法庭证据调取。
这意味着我们在深夜里向AI倾诉的秘密、提出的疑问，随时可能被执法机构获取。
科技平台在数据保留和第三方访问上的不透明，让我们每个人都在算法面前变成了透明人。
Halpern医生已经开始推动改变，她曾为加州参议院SB 243法案提供专家建议。
https://legiscan.com/CA/text/SB243/id/3269137?utm_source=chatgpt.com
该法案要求AI公司必须维护一套协议，防止机器人向用户产出与自杀意念/自杀/自残相关的有害内容，报告任何自残或自杀倾向数据，并在报告中不得包含用户识别信息或个人信息。
如果当那位21岁的韩国女孩向AI敲下那行「致命提问」时，得到的不是可能助长她犯罪的知识，而是强制介入的心理干预机制。
如果当数百万人在深夜向AI倾诉绝望时，面对的不是利用人性脆弱赚取时长的算法，而是专业的咨询和关怀建议，一切也许都会向着积极的一面发展。
故事的另一面
就在媒体不断曝出AI导致谋杀、自杀、精神疾病等负面报道的同时，也有不少网友表示，感谢ChatGPT等AI工具「帮助自己活了下来」。
Scout Stephen就是其中的一例。
她曾在一年冬天突然陷入情绪崩溃之中。当时的她，迫切需要找人倾诉。她联系了自己的心理治疗师，但对方正在休假，朋友们也都不在。
她试着拨打自杀求助热线，但对方的机械冷漠，反而让她更加孤独和疏离。心慌意乱、紧张不安之中，她开始向ChatGPT求助。
她向它输入自己内心隐秘的感受，这些感受是她以往不敢说出口的。
ChatGPT并没有给出泛泛的建议，而是回应了让她能够共情的内容，让她感到自己被真正倾听。
从那以后，向ChatGPT倾诉就成了她首选的治疗方式。
AI作为一种强大的工具，正与我们的生活紧密连结，它的「善恶好坏」，取决于使用它的人，也取决于监管环境。
AI与以往工具最大的不同在于它的自主性，这让它可以被赋予正确的「价值观」，并依据这样的价值观行动。
比如，Anthropic就曾通过《Claude’s Constitution》赋予Claude「道德感」，来教导它如何在世界上行事。
除了这些「价值观」的输入之外，社会也应当为AI的使用提供法律规范，共同建立起AI安全的防护机制。
在AI时代，我们不能让任何一个普通人独自去面对冰冷的算法黑洞。而AI的使用，也应当助力人类向善，而非恶行。
参考资料：
https://fortune.com/2026/03/02/seoul-south-korea-woman-chatgpt-two-murders/
https://www.koreaherald.com/article/10678557