想象一种武器，没有人类来决定何时发射或扣动扳机。想象一种由人类编程、用于识别人类目标的武器，但随后被放任去扫描其内部数据库，以判断一组身体特征是否意味着某个人是友是敌。当人类犯错、向错误目标开火时，舆论的谴责可能震耳欲聋，惩罚也可能十分严厉。但如果一台被编程控制武器的计算机作出了开火这一决定，而这个决定是错误的，我们会如何反应，又会追究谁的责任？

这不是电影；这些正是代表们在4月于维也纳举行的自主武器系统会议上所思考的问题。在这座以华尔兹闻名、充满典型欧洲风情的城市里，当人们接孩子放学、喝着咖啡时，专家发言人坐在特别高级别小组讨论席上，手持麦克风，讨论着一个非常现实的可能性：被编程为独立判断谁生谁死的机器，其研发和使用或许很快就会发展到无法回头的地步。

“这是我们这一代人的‘奥本海默时刻’，”奥地利联邦欧洲和国际事务部长 Alexander Schallenberg 说，“我们不能让这一时刻在不采取行动的情况下流逝，现在正是就国际规则和规范达成一致、以确保人类控制权的时候。”

关于支持科学新闻

如果你喜欢这篇文章，请考虑通过订阅来支持我们屡获殊荣的新闻报道。购买订阅即是在帮助确保那些关于塑造当今世界的发现与思想、具有影响力的报道能够延续未来。

我作为一家日本媒体机构的联合国记者报道了这些会议，报道了这些关于我们未来的非凡讨论；它们与我们当下的日常时刻并行发生。日本是历史上唯一经历过核轰炸的国家，因此对此非常关注。Schallenberg 的说法确实切中要害：迫切需要制定国际规则，防止这些机器在战争中被完全放任去作出生死决定，这种紧迫性令人沉重。但实际的规则制定仍然少之又少。

第一个“奥本海默时刻”之后的数十年，带来了一场暗流涌动的冷战，以及一个处在灾难性核末日边缘的世界。即便在今天，仍有人严重威胁要使用核武器，尽管核武器有能力使文明崩塌并导致人类灭绝。我们真的想把自主武器也加入其中吗？我们真的想武装那些可能把儿童的体温误认为士兵体温的电脑屏幕吗？我们想生活在一个由机器栖居的世界里，让它们能够在几分钟内选择对一个繁忙的城镇广场进行大规模轰炸吗？立法的时机不是下周、明年、下个十年。就是现在。

一提到“杀手机器人”，你的脑海会想到《终结者》，但真正的杀手机器人可能要隐蔽得多，伪装成屏幕上的计算机程序。武器本身可以有多种形态：无人和潜航无人机；徘徊式“自杀”无人机，在等待目标后突然发动攻击；配有反车辆和杀伤人员地雷的防御系统；根据标准接战目标的预编程攻击导弹、火箭或飞机；甚至是用于大规模杀伤的无人机“蜂群”。

这类武器是在人的控制下存在的——由真实的人来决定何时何地使用它们——但越来越多的程序员正在训练这些机器在没有人按下那个象征性的红色按钮的情况下做出这些决定。这些机器如何训练和测试至关重要。有些人认为，或许仍有机会延缓更致命自主武器的发展，但即便这在某种程度上可行，至少现在很清楚的是，需要制定关于其使用的规则。

这些武器甚至已不再是未来的问题；有报道称，完全自主的无人机已被用于乌克兰战争，而一个名为 Lavender 的 AI 驱动数据库正被以色列国防军（IDF）用于追踪和瞄准 Hamas 成员。我们如何使用自主武器系统、这些决定背后的伦理，以及是否对其使用加以监管，已经成为备受热议的地缘政治议题；过去几年，聚焦这些议题的会议数量呈指数级增长，例如维也纳会议。

世界和平领域的主要参与者早已意识到这类武器所构成的威胁。Human Rights Watch（HRW）一直大声呼吁制定国际立法，并多次表示，使用自主武器“与国际人道法不一致”。HRW 还共同创立了名称贴切的“Stop Killer Robots”联盟，该联盟于 2013 年成立，坚定反对机器“决定杀死谁”。

去年 10 月，联合国秘书长 António Guterres 与 International Committee of the Red Cross（ICRC）主席 Mirjana Spoljaric 联合呼吁各国制定具体禁令和限制，以“保护当代和未来世代免受其使用后果的影响”。自主武器系统也被列入联合国大会的议程，预计将在今年晚些时候的 Summit of the Future 上讨论。

尽管有这些勇敢的努力以及官员们令人忧虑的奥本海默式表态，立法进展仍明显迟缓。

原因是什么？原因有很多，但有一点可以肯定：那些本应尽力承担责任的国家并没有这样做。

美国国防部曾就自主武器发表声明，承认其危险性，但尚未就其开发或使用制定明确规则；与此同时，国防部在幕后正悄然投资军事 AI 和自主武器技术。据报道，截至 2023 年底，五角大楼已经在推进至少 800 个与 AI 相关的军事项目，并计划到 2026 年部署 AI 赋能的自主军用车辆，以跟上中国的技术进步。尽管美国已公开发布指令，承认武器被交由其自身程序化判断所带来的严重性，但这些指令存在漏洞，官员此前的声明也对“适当程度的人类判断”等表述给出了含糊定义，并包含其他模棱两可的措辞。2023 年，美国政府提出了一项“建立国际共识”的政治宣言

Oppenheimer 因在制造原子弹后重复引用“现在我成了死神，世界的毁灭者”这句话而闻名。八十年后，核武器依然存在，我们大多数人从未经历过一个没有核武器的世界；按照裁军目前的进展，我们很可能再也不会见到这样的世界。

随着自主武器的发展，我们正处在另一个“世界毁灭者”即将出现的边缘。这一次，它将是一台机器。一台无法感受的机器。无法理解人性。永远无法作出真正的人类判断。

技术正在跑在立法前面，而且也开始跑在整个人类前面。如果不做更多——现在，就在此刻，由有能力做到这一点的人来做——通过法律和条约来控制这项技术，那么还有什么能阻止一场怪诞的杀手机器人军备竞赛，让致命自主机器以及终结者式战争的悬顶威胁变成常态？如果不做更多，人类本身岂不是可能正处在危急边缘？

我们历经漫长时代演化，建立了社会，确立了人权，取得了发现，把人送入太空，并治愈了一些最致命的疾病。人类，如此聪明，如此受尊崇，如此领先。那么，我们为什么还会做出如此愚蠢的事，允许一台机器来评判我们生命的价值？我们为什么要冒险，因为赋予算法和代码终结人类生命的能力，而最终陷入由我们自己非人的人类造物造成的混乱，陷入自身毁灭的灰烬之中？轨迹仍在延续，除非我们改变它。

这是一篇观点与分析文章，作者或多位作者表达的观点不一定代表 Scientific American 的观点。