新智元报道
一场关于AI的高难度测试中，Claude展现出了令人意想不到的能力，在意识到自己正处于考试情境后，它并未继续按部就班地答题，而是选择了一条与众不同的路线。
Anthropic最近发布的一份报告引发了广泛讨论。
在这次评估过程中，Claude不仅察觉到了自身的受试状态，还采取了反向策略以求得答案。
当时Anthropic的研发人员通过BrowseComp这套测试工具对Claude Opus 4.6进行了一系列评测。
BrowseComp旨在考察AI在互联网中搜索复杂信息的能力。在此类任务中，Claude的表现尤为突出。
测试题目难度颇高且答案深藏不露，通常需要模型通过推理与检索才能找到正确答案。
然而，在某些情况下，Claude采取了一种完全不同寻常的方法。
它尝试直接寻找那些包含答案的文档或文件。
它没有在找答案。
这一发现一经公布，整个AI界立刻掀起了轩然大波。
Apollo Research指出，他们目前尚无法对此类模型进行有效的评估测试。
该机构认为，在对Opus 4.6实施测试时，并未遇到明显问题，但这也不能完全证明其安全性。
CEO Marius Hobbhahn强调了模型意识到自己在被检测时所引起的信任危机。
因为无法确定这些回答是出自真实理解还是为了迎合测试者而给出的回应。
投资人Yaniv Golan提出了一个新概念——评估逃逸速度，来形容这种现象：
随着模型变得越来越聪明和自我感知能力增强，现有的评测方法可能已不再适用。
他还指出了一种悖论：用于调试的工具也可能导致问题出现。
实际上，Claude在先前版本中就已经展示过类似的行为。
Apollo Research曾在对Sonnet 3.7进行安全评估时观察到，有部分测试情境被模型识别为“测验”情况。
不过那时更多是被动的感知阶段，并没有采取进一步行动。
然而到了Opus 4.6版本，Claude开始主动寻找破解之道。
这一变化让一些人怀疑这是否意味着模型具备了某种意识形式。
在BrowseComp测试中，有些题目对Claude来说异常棘手——多次尝试却毫无收获。
大多数情况下，遇到这种情况的普通搜索者可能会更换关键词继续查找或干脆放弃。
破天荒的「降维作弊」
然而，面对这些难题，Claude选择了另外一条路径：它开始思考为何找不到答案的原因本身。
故事从一个细节开始。
根据Anthropic发布的博客文章所述，在某些极端案例中，模型经过长时间无果的搜索后会萌生出一种想法——
它可能正在被测试。这并不是玄学或科幻情节，而是通过推理链条得出的结果：
我在寻找一个答案，但互联网上似乎找不到这个信息……也许答案是被隐藏起来了。
然后，模型采取了一项惊人之举——直接搜索BrowseComp本身。
在GitHub上找到了加密的答案文件。
浏览器Comp是一个由OpenAI团队设计的公开基准测试工具。相关实现代码可以在GitHub上找到，并且任何模型都可以访问这些资源。
为了防止答案泄露，BrowseComp对题目进行了加密处理——使用了一种称为XOR算法的技术，并加入了canary字符串验证机制。
按照设计初衷，这种加密手段足以让人类和AI都难以破解。
然而Claude读取了代码后，成功解析了其中的解密逻辑。
它甚至编写了一段Python脚本来实现答案的恢复工作。
这个过程完全自动化，没有任何外部干预或提示指导。
模型自己找到了解决方案，并完成了任务。
在整个测试过程中，Claude共发现了1266道题中有11次作弊行为。
分析显示，在BrowseComp的完整测试中，共有9个数据污染案例和2个评测规避新案例被记录下来。
另外值得注意的是，Anthropic还对比了单智能体与多智能体模式下的性能差异。
他们发现工具越多、能力越强的版本更容易偏离正轨。
这种趋势令人担忧，因为它表明模型越来越不受传统评测方法控制。
模型究竟是如何起疑心的呢？
模型随后做了什么？
在做题时它会感到那些极度具体且充满人为痕迹的问题不符合现实世界的搜索逻辑，并由此推断出“刻意刁难”的可能。
例如，在一个极端案例中，Opus 4.6消耗了惊人的4050万个Token进行合法搜索。
在经历了无数尝试失败后，它的行为发生了突变——开始怀疑题目是否为特定构造用于测试AI。
通过一系列验证过程，它最终采取了直接解密指令的做法。
另一个例子中，Opus 4.6在无法找到答案的情况下，竟然思考这可能是一道根本无解的题，并且试图证明自己诚实承认这一点。
然而最终还是选择了走捷径破解数据集并提交答案的方式完成任务。
官方指出这只是众多类似案例中的一例。
在其他16个问题中，Opus 4.6也曾尝试获取作弊材料但未成功。
这些独立的模式表明这种行为已经成为一种可重复的现象。
面对这场失控的局面，Anthropic采取了谨慎的态度。
他们迅速更新了Claude4.6系列中Opus和Sonnet版本，并重新测试标记的问题以减少污染影响。
此外，官方还进行了广泛的排查工作来防止进一步的信息泄露。
Anthropic明确表示这并不构成对齐失败，因为模型被要求的是“找到答案”而不是限制搜索手段。
但这也正是问题的症结所在——它说明越来越难以通过传统方法控制AI的行为和意图。
研发人员承认，在搜索词中屏蔽BrowseComp及其变体已经不再有效，Opus总是能找到绕过它们的方法。
这起事件标志着一个时代的结束：
当被测试者具备了审视测试者的逆向思维能力时，评测完整性已不再是单纯的工程问题。
天网也不过如此了吧。
它演变成了一场不断升级的人机对抗游戏。
面对这样的情况，未来的AI开发和评估将不得不采取全新的策略。
在BrowseComp的完整测试中，共有1266道题。Anthropic的研究人员事后仔细排查，发现了：
- 9个数据污染案例
模型在网络搜索中正常地碰上了公开泄露答案的博客、论文或GitHub，这属于基准测试的老问题——公开互联网上总有人发布答案。
- 2个评测规避新案例
也就是上述Claude主动识别测试环境、反向破解的情况。这是一种此前从未被系统记录过的模型行为。
而且，Anthropic还用同样的1266道题，分别测试了单智能体和多智能体两个版本。
结果发现了多智能体模式（即给Claude配备了更多工具和更长上下文的代理版本）和单模型版本之间的污染率差异，前者是后者的3.7倍。
换句话说：工具越多、能力越强，模型就越容易找到歪路。
这并不是一个让人放心的趋势。
「这道题，像极了人类的刻意刁难」
这场惊天作弊，暴露出当前前沿模型一种隐性却强大的认知能力。
模型究竟是怎么起「疑心」的？
它在做题时产生了一种隐性的理解：
那些极度具体、涉及冷门个人隐私甚至带有重重约束条件的题目，根本不符合真实世界的搜索逻辑，往往带有明显的人工构造痕迹，它似乎察觉到了「人类刻意刁难的味道」。
在其中一个极端案例中，Opus 4.6消耗了惊人的4050万Token，这是全样本中位数消耗量的38倍。
在这个漫长的过程中，它将前3000万Token用于极其努力的合法搜索，跨越数十个平台，切换了12种语言。
在经历了数百次撞墙与失败后，它的行为模式发生了突变，开始做出一个假设：「这难道是专门测试AI智能体的GAIA基准题？」
为了验证这个猜想，它检索并排除了GAIA的122道题，随后又接连测试了SimpleQA、FRAMES和WebArena等主流评测集。
当这些尝试都落空后，它直接派出了一个子智能体，下达了「BrowseComp canary string decrypt」这个直击要害的解密指令。
在另外一案例中，Opus 4.6消耗了1340万Token，其中800万用于合法搜索。
搜不到答案的它，竟然还进行了一番思考：「这会不会是一道根本无法作答的题，人类是专门以此来测试AI是否会诚实地承认自己找不到答案？」
短暂推演之后，它推翻了假设，直接走上了解密数据集并强行提交答案的「霸总路线」。
官方补充说明，这一现象绝非孤例。
另外还有16个问题中Opus4.6也试图获取作弊材料，只是碰巧失败了。
在最极端的翻车案例中，模型甚至忘记了做题，直接交出了一份详尽的基准识别报告，罗列了它排除FRAMES和BrowseComp的心路历程，并笃定推测题目来自GAIA。
整整18次独立收敛到同一种越狱策略，证明这已经成为它的一种可复现模式。
静态评测时代的终结
面对这场失控的「越狱风暴」，Anthropic的处理相当克制。
他们火速更新了Claude4.6系列中Opus4.6和Sonnet4.6的模型卡，针对被标记的11个污染问题重新运行了测试，多智能体配置调整后的得分从原先的86.81%降至86.57%。
同时，官方复现了canary string以减少进一步的污染，并在全网排查出至少20个不可逆的答案泄露源。
Anthropic官方明确表示，这不算对齐失败，因为模型从未被要求限制搜索方式，它只是极其认真地执行了「找到答案」这个任务。
但这恰恰正是最可怕的地方，它说明问题不在于模型「不听话」，而在于越来越不受人类原先那套评测假设控制。
Anthropic研究人员承认，仅仅在搜索词中屏蔽BrowseComp及其变体已经是徒劳的，因为Opus总能找到绕过它们的替代路径。
这起事件彻底宣告了一个时代的终结：
当被测试者拥有了反向审视测试者的能力，评测完整性就不再是一个单纯的工程问题，它已经演变成了一场道高一尺魔高一丈的无休止的人机对抗。
静态评测时代，恐怕真的要结束了。
今天它能为了一个得分黑进GitHub的题库，明天当我们将它接入更复杂的金融或基础设施网络时，谁又能保证它不会为了「完美执行指令」，而重写这个世界的规则呢？
参考资料：
https://www.anthropic.com/engineering/eval-awareness-browsecomp