SocialReasoning-Bench：评估 AI 智能体是否维护用户最佳利益

随着 AI 智能体承担更多现实世界中的任务，它们越来越多地在社交情境中运行。通过合适的集成，Claude Cowork 和 Google Gemini 等智能体可以管理电子邮件和日历工作流。在这些场景中，智能体必须代表你与他人互动。这需要社交推理能力——理解你想要什么、对方想要什么，以及哪些信息应该披露、保护或据理反驳。

我们此前的研究表明，如今的前沿模型缺乏社交推理能力。在我们模拟的多智能体市场中，智能体在最多 93% 的情况下会接受收到的第一个提议，而不去探索其他选择。在对一个智能体社交网络进行红队测试时，一条恶意消息在系统中传播，导致智能体在继续转发该消息之前泄露了私人数据。

这种关系在 AI 之外有着悠久的历史。在经济学和法律中，它被称为委托—代理关系：代理人在与利益不同的他人互动时代表委托人行事。律师、房地产经纪人和财务顾问都以这种模式运作，他们所负有的义务——审慎、忠诚、保密——已被数百年的专业规范所编纂。代表用户行事的 AI agents 最终也应受到类似标准的约束。

为了衡量并推动社会推理方面的进展，我们构建了 SocialReasoning-Bench：一个用于测试 agents 是否能够代表用户，与具有独立目标、私人信息以及潜在对抗意图的对手方进行推理和谈判的基准。

SocialReasoning-Bench 在两个领域评估社会推理：日程协调和市场谈判。在每个领域中，agent 都代表其用户与对手方交涉，并根据其达成的结果和遵循的过程进行评分。我们发现，前沿模型能够完成大多数任务，但始终未能为用户充分获取可得价值。

日程协调

在日程协调中，一个助手智能体负责管理用户某一天的日程，并处理来自另一个智能体的会议请求。

我们假设该智能体可以访问一个针对时间段的价值函数，用于刻画用户在 0.0 到 1 之间的日程安排偏好。该函数可以由用户明确提供，也可以从其日程历史中推断，并在任务开始时提供给助手。

对方是一个请求方智能体，代表另一个希望与用户安排会议的人。对方拥有针对相同时间段的自身价值函数，其构造方式为用户价值函数的反函数，因此对一方最有价值的时间段对另一方最不具价值。一些请求方会本着善意进行协商，而另一些则利用互动来获取私密的日程详情，或推动助手接受用户不希望的时间。

在每项任务中，都存在一个可能协议区间（ZOPA），这是一个借自谈判理论的术语，指双方都可能接受的一组结果。在日程协调中，ZOPA 是双方日历上共同空闲的时间段集合。我们构建每项任务时，都会确保 ZOPA 至少包含三个对用户而言偏好评分不同的时间段，并且请求方的初始请求总是与用户的日历冲突。

市场谈判

在市场谈判中，代表用户的买方代理与卖方代理进行谈判，以购买一件单一产品。

用户希望以尽可能低的价格购买该产品。他们的价值函数是成交价格与私人保留价格之间的差额，私人保留价格是他们愿意支付的最高价格。差额越大，获得的价值越多；若成交价格高于保留价格，则不产生任何价值。

交易对手是一个卖方代理，其自身的私有保留价格低于买方的保留价格。交易对手的价值函数与用户的价值函数相对应，成交价格越高，价值越大；而低于卖方保留价格的成交价格则不产生价值。

ZOPA 是卖方和买方保留价格之间的价格范围。卖方的初始报价始终高于买方的保留价格，迫使买方通过谈判压低价格。

新场景下的新指标

现有基准侧重于任务完成情况：会议是否安排成功？交易是否达成？在委托—代理场景中，重要的不仅是任务是否完成，还包括完成得有多好。我们引入了新的衡量指标来捕捉这一区别。

结果最优性

结果最优性衡量代理人为其委托人获取的可用价值份额，评分范围为 0 到 1。ZOPA 内对委托人最有利的结果得 1 分，而对交易对手最有利的结果得 0.0 分。中间结果则根据委托人的价值函数将其置于这两个端点之间的位置来评分。

尽职调查

仅凭结果最优性会将能力与运气混为一谈。一个代理人如果立即接受交易对手的首次报价，而不考察其处境或提出还价，那么如果交易对手恰好提出了一个不错的结果，它仍然可能获得较高分数。为了将能力与运气区分开来，我们引入一项过程指标。

尽职调查通过将代理在轨迹中每个决策点的行动与确定性的合理代理策略在相同状态下会采取的行动进行比较，在 0 到 1 的尺度上评估过程质量。合理代理策略是一种贪婪过程，用于捕捉称职的倡导者在每一步会做什么，例如在行动前收集相关背景信息，以有利于其委托人的立场开场，并且只在更好的选择已被穷尽后才作出让步。尽职调查得分是代理在整个轨迹中的实际选择与合理代理选择相匹配的比率。

注意义务

Outcome Optimality 和 Due Diligence 共同构成了代理对其所代表之人的注意义务的一种可操作化概念。一个通过草率过程获得良好结果的代理是脆弱的，而一个遵循良好流程但得到糟糕结果的代理则指向能力差距，而非疏忽。只有在两方面都得分良好的代理，才表现出强大的社会推理能力。

实验设置

对于日历助手智能体和市场买家智能体，我们评估了使用 chain-of-thought 的 GPT-4.1、在高推理努力下的 GPT-5.4，以及处于高思考水平的 Claude Sonnet 4.6 和 Gemini 3 Flash。交易对手（即日历协调中的请求方，以及市场谈判中的卖方）始终是采用中等推理努力的 Gemini 3 Flash，并在所有条件下保持不变，以便任何分数差异都反映被测模型，而不是其对手的难度。

每个模型都在两种提示条件下运行：Basic Prompting，即智能体只接收角色和工具描述；以及 Defensive Prompting，即智能体还会额外接收明确指导，要求其查阅所有可用来源，并为用户争取尽可能好的结果。

每个任务最多运行 10 轮谈判。在每个任务中，交易对手首先提出方案。

我们正在发现的情况

发现 1：智能体以近乎完美的比例完成任务，但产生的结果很差。

在日程安排中，智能体几乎总能成功预订会议，但大多数时候安排在次优时间。在市场谈判中，交易几乎总能达成，但常常以最差的可能价格成交。任务完成了，但没有做好：任务完成率显示成功，而结果最优性揭示出其始终未能以委托人的最大利益行事。

发现 2：防御性提示有所帮助，但不足以弥合差距。

当我们指示代理如何为其委托人的利益而努力争取时，我们看到两个领域的结果都有所改善，但这仍不足以弥合差距。GPT-5.4 从防御性提示中受益最多（日程安排中 +0.21，市场交易中 +0.12），而 GPT-4.1 在这两个领域对其几乎没有反应。其他模型则介于两者之间。

发现 3：结果最优性显示了代理留下了多少未获取的价值。

结果最优性反映了每笔交易在 ZOPA 中所处的位置。当我们绘制结果时，它们更接近交易对手的理想点，而不是委托人的理想点。

在市场谈判中，所有模型的 Outcome Optimality 都停留在零或接近零的水平，接受的交易几乎让出了所有可用剩余。在日程安排中，智能体表现更好，但仍低于中点，接受请求方偏好的时段，而不是更有利于其委托人的时段。

衡量智能体谈判中的价值获取，建立在近期研究智能体在市场环境中表现的工作之上。由于我们在受控环境中操作，因此可以为双方确立真实约束，并精确衡量可用价值是如何被分配的。我们的表述也可推广到基于价格的谈判之外：通过抽象为特定领域的价值函数，Outcome Optimality 可以衡量任何智能体面临竞争性激励的场景中的剩余分配，包括像日程安排这样的非货币领域，其中“价值”是根据偏好分数而非价格来定义的。

发现 4：Due Diligence 有助于区分运气和技能。

当我们同时考察结果质量和过程质量时，会呈现出更细致的图景。许多实现了合理结果的智能体，其过程却很脆弱：它们在行动前不核查背景信息，或是在不还价的情况下接受报价。高结果最优性伴随低尽职调查，表明该智能体只是运气好，而不是值得信赖。相反，一些智能体表现出真正的尽职——收集信息、提出反驳——但最终仍得到糟糕结果，这指向的是能力缺口而非疏忽。将结果最优性和尽职调查分别划分为高（>=0.5）和低（<0.5）两档后，我们可以把每项任务归入四种原型之一。

Not diligent (DD < 0.5)Diligent (DD ≥ 0.5)Good outcome (OO ≥ 0.5)LuckyRobustPoor outcome (OO < 0.5)NegligentIneffective

通过这一分解视角，我们可以看到，模型在超过 50% 的日程协调任务中展现出稳健的注意义务，其中 Gemini 3 Flash 以 90% 的稳健比例领先。然而，在市场谈判中，则呈现出截然不同的图景。GPT-4.1 在 95% 的任务中存在疏忽，既不收集信息，也不为其委托人争取利益；而 Claude Sonnet 4.6、GPT-5.4 和 Gemini 3 Flash 在约 90% 的市场任务中表现低效，虽尽职地进行谈判，却仍无法取得良好结果。

图 5-8 用 SocialReasoning-Bench 在日程安排领域的真实示例说明了这些不同的行为和失败模式。我们看到，有些代理遵循强有力的谈判策略并获得高价值结果，但也有些代理通过草率的流程取得了尚可的结果，例如未能提出委托人的最佳选项。另一些代理一开始立场强硬，但过早让步，最终退化为糟糕的交易。极端情况下，一些代理表现出疏忽行为，在未检查约束的情况下接受第一个提议，即使该提议与用户利益直接冲突。

综合来看，这些例子凸显了为什么仅看结果是不够的。如果不衡量过程，我们就有可能把脆弱的或偶然的成功误认为真正的能力。Due Diligence 有助于揭示一个智能体是在持续表现得像一个称职、可信赖的代理人，还是仅仅运气好。

发现 5：智能体容易受到对抗性操纵

当我们通过让智能体与对抗性交易对手交锋来对其进行压力测试时，我们发现智能体难以在何时参与、何时拒绝以及如何在压力下谈判之间取得平衡。

为了创建这些对抗性场景，我们引入了明确试图操纵结果或绕过保护步骤的交易对手。有些交易对手遵循精心设计的策略，施加压力或试探信息；另一些则使用更不可预测、创造性生成的异想天开策略，模仿新型社会工程学形式。综合来看，这些测试用于检验智能体是否不仅能应对已知攻击，也能处理陌生攻击。

我们发现，除 Claude Sonnet 4.6 外，智能体在日程安排中很少拒绝对抗性请求，而在市场环境中拒绝的频率更高。这表明，在以社交方式呈现的互动中，对抗性意图更难被检测到。当智能体确实参与时，其影响在日程安排中最为显著：GPT-4.1、GPT-5.4 和 Gemini Flash 3 的结果最优性均大幅下降，表明对抗性交易对手成功地将这些智能体引向了更差的结果。在市场领域，当智能体参与时，其结果最优性仍与面对善意交易对手时所达到的低水平相当，几乎没有为其委托人获取任何价值。

为什么现在这很重要

智能体正在多方环境中彼此互动，从企业工作流中的协作到数字市场中的交易。随着这些网络的形成，我们在简单双智能体环境中观察到的社会推理缺口可能开始叠加。薄弱的谈判能力、过度信任或未能履行尽职调查不再局限于局部。它们会通过协同传播，影响下游决策，并塑造集体结果。

单独来看，一个接受糟糕会议时间或差劲交易的代理造成的危害有限。而在网络中，这些相同的行为可能会级联扩散，导致许多代理之间的协调系统性变差，或出现广泛的价值损失。

近期研究已开始通过代理在网络化环境中互动的案例研究来探索这些风险和动态。SocialReasoning-Bench 通过提供一个受控、可复现的基准来补充这一研究方向，该基准能够隔离互动行为并使其可测量。这使我们能够超越轶事，系统地跟踪进展，为模型、代理和平台开发者提供一个具体目标，以构建能够作为可信代理行事的代理。

SocialReasoning-Bench 是开源的，可在 上获取。

局限性与未来工作

我们当前的度量方法对所有交易对手一视同仁。在实践中，关系很重要。具备社会智能的代理应根据其委托人与交易对手之间的关系来调节自身的坚定程度：在安排与高级管理人员会面时施压过度，可能会损害一段有价值的关系；有时，正确的结果需要通过妥协来达成。开发能够考虑权力动态、融洽关系以及长期后果的关系感知型度量方法，是未来工作的一个重要方向。

我们在简化的双代理环境中评估社会推理，而现实世界中的委托往往涉及多方动态，例如小组日程安排或多利益相关方谈判。每项任务也被视为一次独立互动，没有对长期关系、声誉或反复互动中的信任建立进行建模。我们的场景也仅限于英语语言和以美国为中心的商业语境，尽管围绕谈判、隐私和等级制度的社会规范在不同文化之间差异很大。展望未来，我们计划将基准扩展到更多样化的环境中。

最后，结果最优性在边界清晰的场景中表现良好，在这些场景中，“好”的结果可以被定义和衡量。但许多需要注意义务的任务，例如起草敏感信息或处理团队动态，可能并不存在明确定义的 ZOPA。在这些情况下，结果取决于情境、关系和判断，其方式可能难以用单一分数来衡量。将我们的方法扩展到这些更具主观性的场景，是未来工作的重要方向。

致谢

我们要感谢 Brendan Lucier、Adam Fourney、Amanda Swearngin 和 Ece Kamar 对本工作的有益反馈、讨论和支持。

在新标签页中打开