技术近乎完美的潜在危险
2026年3月17日，美国东部时间早上7点
空气中弥漫着一种奇怪且刺激性的化学气味，令人感到不适。水泥墙显得过于接近。眼镜不知所踪，我的一个孩子站在车旁的人行道上，看上去有些困惑，但并未哭泣。
安全带紧固无误，碰撞吸能区域严重变形，安全气囊也已弹出。所有旨在保护乘员安全的装置都发挥了作用。然而，这辆特斯拉Model X已经完全报废。
去年秋天的一个周日，我照常驾驶，沿着旧金山湾区蜿蜒的住宅街道，将儿子送往童子军集会。这条路我们已经走了几百次。特斯拉汽车处于完全自动驾驶模式，行驶得非常完美——直到它突然失灵。
接下来发生的事情，我只能凭记忆拼凑。当时的记忆模糊不清，大部分细节来自我的一个儿子，他当时坐在后座，见证了全过程。车辆正在转弯。突然间，方向盘似乎自行左右摆动，汽车随之意外减速。我努力尝试控制方向盘，但不知为何系统行为异常，导致车辆撞上了墙壁。
你或许会认为在这种情况下我应该清楚应对措施。我在优步负责自动驾驶汽车部门时，专注于创造一个能够保护人们免受事故伤害的技术未来。我考虑过各种极端情况，以及系统在看似平稳运行背后的脆弱性。我的团队训练人类驾驶员，以识别何时以及如何介入自动驾驶汽车的故障。
最初，我只在高速公路上启用特斯拉的完全自动驾驶功能。高速公路上的车道线清晰，交通状况相对稳定，因此这种模式非常实用。后来，我在普通道路上尝试使用，效果也不错，因此就养成了习惯。
幸运的是，尽管发生了事故，我们依然安然无恙。我只受了轻微的脑震荡和颈部疼痛，而孩子们也毫发无损地离开了车。然而，我发现自己处于研究员玛德琳·克莱尔·伊利什所说的“道德崩溃区”。伊利什认为，当复杂的自动化系统出现故障时，责任最终由人类用户承担。尽管我的车的全自动驾驶模式已经运行了三年，但事故发生后，保险报告上显示的责任人却依然是我。
而且，这辆车还掌握着关键证据。它记录了驾驶员的手部位置、反应时间和视线焦点等数千个数据点。事故发生后，特斯拉利用这些数据将责任推给了驾驶员。2018年，一辆特斯拉汽车在加州发生致命事故后，该公司声明称，“车辆日志显示，当时并未采取任何行动。”（特斯拉未对此发表评论。）
虽然特斯拉可以访问这些记录，但车主却难以获得。他们可以申请查看自己的数据，但许多车主只收到了部分数据，不得不通过法律途径才能获取更多信息。在佛罗里达州一起非正常死亡案件中，原告试图获取特斯拉驾驶辅助系统故障的关键证据，但该公司表示没有相关数据。原告不得不聘请黑客从事故车辆的芯片中提取这些数据。之后，特斯拉声称这些数据一直保存在其服务器上，公司未能找到这些数据纯属疏忽。（法官认为没有“充分证据”证明特斯拉试图隐瞒数据。）
目前的法律原则很简单：责任在你。尽管特斯拉最初将其技术称为“完全自动驾驶能力”，但该系统实际上仍被分类为“L2级”部分自动驾驶，这意味着驾驶员必须始终保持控制。去年，加州一位法官认定特斯拉最初的名称“明显错误”，会误导消费者；特斯拉现在使用“完全自动驾驶（监督式）”。2019年，一辆使用该技术的特斯拉汽车在加州造成两人死亡，但最终起诉被告的是车辆自身的日志，而非设计该系统的公司，被告是驾驶员，而非车辆本身。直到去年，特斯拉才首次在重大判决中被追究责任。当时，陪审团在佛罗里达州的一起过失致死案中认定特斯拉负有部分责任，并判给原告2.43亿美元赔偿金。
类似的情况正在所有需要算法与人类协同工作的地方出现：例如我们的收件箱、搜索结果和医疗记录。这些系统正朝着完全自动化的方向发展，但尚未达到这一目标。计算机仍然会经常出错，需要人工监督来避免或纠正。
完全自动驾驶几乎无时无刻不在运行——据特斯拉统计，其搭载该技术的车队在发生重大事故前已行驶数百万英里。然而，问题就在于此：我们要求人类去监督那些旨在让监督显得毫无意义的系统。一台经常出故障的机器能让你保持警觉。一台完美运行的机器无需任何监督。但一台几乎完美运行的机器呢？危险就潜藏于此。研究表明，在几个小时的完美运行之后，驾驶员很容易开始过度信任自动驾驶系统。一项研究显示，在使用自适应巡航控制一个月后，驾驶员查看手机的概率增加了六倍以上。
特斯拉在其网站上对“完全自动驾驶”的描述中警告说：“切勿掉以轻心”，而我当时觉得自己并没有掉以轻心。事故发生前，我的双手一直放在方向盘上。但我当时的驾驶方式是系统预先设定的：监控而非操控，完全信任软件会做出正确的判断。熟悉之后，人往往会变得麻木，而开发这些系统的公司似乎也深谙此道。我当然也明白这一点。但我最终还是放松了警惕。
心理学家称之为警觉性下降。监控一个近乎完美的系统会让人感到乏味。而乏味会导致走神。研究表明，当自动驾驶系统将控制权交还给驾驶员时，驾驶员需要五到八秒的时间才能重新集中注意力。但紧急情况的发生速度远比这快得多。驾驶员的生理反应可能是瞬间的——抓住方向盘，踩下刹车。但心理层面呢？重建情境，识别问题所在，决定应对措施？这些都需要时间，而大脑根本没有那么多时间。
2018年发生在山景城的那起事故中，司机在车辆自动转向撞上中央隔离带前有六秒钟的时间。他甚至都没碰方向盘。同年在亚利桑那州坦佩市，一辆优步测试车上的传感器在5.6秒的预警时间内探测到附近有行人。安全员抬头查看后，在不到一秒钟的时间内接管了方向盘。那时，一切都已成定局。
就我而言，事故发生时，那种感觉是立竿见影、触手可及的。而聊天机器人的故障却悄无声息、难以察觉。你往往要过很久才会发现——邮件已经发出，决策已经做出，代码已经发布。等你发现错误时，责任早已落到别人头上，而且你还背负着罪名。系统运转正常时，你看起来效率很高。一旦系统出现故障，你的判断就会受到质疑，有时甚至会酿成灾难性的后果。2023年，一位纽约律师因为引用了六个根本不存在的案例而受到处罚。这些案例都是ChatGPT捏造的，但他却信任了它，最终法院责怪的是他，而不是这个工具。因为聊天机器人永远不会被解雇。
我的车抛锚时，那种感觉是立竿见影、触手可及的。而聊天机器人的故障却悄无声息、难以察觉。你往往要过很久才会发现——邮件已经发出，决策已经做出，代码已经发布。等你发现错误时，责任早已落到别人头上，而且你还背负着罪名。系统运转正常时，你看起来效率很高。一旦系统出现故障，你的判断就会受到质疑，有时甚至会酿成灾难性的后果。2023年，一位纽约律师因为引用了六个根本不存在的案例而受到处罚。这些案例都是ChatGPT捏造的，但他却信任了它，最终法院责怪的是他，而不是这个工具。因为聊天机器人永远不会被解雇。
我们正处于自主性的“恐怖谷”效应中。计算机系统不仅接近人类，它们几乎能够独立运行。一旦出现故障，就必须有人承担后果。目前，这个人就是我们。但是，当我们为自动驾驶汽车或人工智能工具付费时，我们以为自己购买的是一个成品，而不是参与测试一个仍在开发中的产品。
这种“几乎”阶段并非短暂的过渡。它本身就是产品——一种将伴随我们数年甚至数十年的产品。因此，留意其中的规律至关重要。当人工智能系统从不承认任何不确定性，或者当汽车的宣传语是“自动驾驶”，而细则却写着“驾驶员负责”时，这就是一个警示信号。当你意识到自己在过去10英里的路程中，或者在过去10封自动生成的邮件中，其实并没有真正集中注意力时，你就落入了陷阱。
这并非不切实际的幻想。2025年7月，中国汽车制造商比亚迪宣布，将承担因使用其自动泊车功能而引发的事故造成的损失，从而保护车主的保险和驾驶记录。这虽然只是一个公司、一个功能的例子，但却证明了责任是一种选择。其他企业也可以被说服加入其中。
我出车祸时，孩子们就坐在后座。总有一天，他们会拥有自己的车，并以我目前无法想象的方式使用人工智能。他们继承的系统要么是为了提升他们的能力，要么是为了麻痹他们，并在出现问题时把责任推卸给他们。我希望他们能意识到自己正在被训练。我希望他们能问问，谁来承担成本和损失。
本文刊登于2026 年 4 月《大西洋月刊》印刷版，标题为“我的自动驾驶汽车事故”。
事情并非一定要如此，但除非消费者看清现状并拒绝接受，否则现状不会改变。我们应该拒绝接受这种强加给我们的协议——服务条款成了公司的挡箭牌，却成了攻击用户的利剑。我们应该要求公司分担他们诱使我们承担的风险。如果他们的设计旨在让用户安于现状，那么当产品出现问题时，他们也应该承担部分责任。
这并非不切实际的幻想。2025年7月，中国汽车制造商比亚迪宣布，将承担因使用其自动泊车功能而引发的事故造成的损失，从而保护车主的保险和驾驶记录。这虽然只是一个公司、一个功能的例子，但却证明了责任是一种选择。其他企业也可以被说服加入其中。
我出车祸时，孩子们就坐在后座。总有一天，他们会拥有自己的车，并以我目前无法想象的方式使用人工智能。他们继承的系统要么是为了提升他们的能力，要么是为了麻痹他们，并在出现问题时把责任推卸给他们。我希望他们能意识到自己正在被训练。我希望他们能问问，谁来承担成本和损失。
本文刊登于2026 年 4 月《大西洋月刊》印刷版，标题为“我的自动驾驶汽车事故”。