最近,一款名为Mythos的模型因其强大的功能而备受关注。
该概念源自字节Seed团队与其他多所高校合作的一项研究,并得到了Yoshua Bengio的支持。
社区热议这款未公开发布的模型是否采用了循环语言模型架构。
此外,在其他类型的任务上则没有出现类似异常的差距。
这一点暗示了其进步可能是架构创新而非单纯的规模扩展所致。
循环语言模型的特点在于同一层内的多次计算,能够使小模型超越大型模型。
在广度优先搜索测试中,Mythos的表现尤为突出,它通过反复处理信息来提升性能。
字节的论文表明,循环模型在图遍历任务上的效果显著优于传统的Transformer架构。
实验显示,使用了循环思考机制的小型Ouro系列模型能够与大型的传统模型相匹敌甚至超越。
论文详细分析了知识存储和操作的区别,并解释了为何循环模型能在某些特定领域取得突破性的进展。
循环模型并未增加AI的知识库容量,而是增强了其在现有知识中的搜索和组合能力。
除了图遍历之外,Mythos还在网络安全领域展现出了卓越的性能。
在CyberGym测试中,它取得了83.1%的成绩,显著高于Opus4.6的表现。
此外,Mythos还能发现数千个零日漏洞,展现了其在图遍历方面的能力优势。
尽管Anthropic尚未公开关于Mythos架构的具体信息,但通过数据分析,外界仍在积极探讨该模型背后的技术细节。
GraphWalks BFS测试,就是给模型一个复杂的图结构,让它做广度优先搜索,从起点出发,一层一层地访问所有相邻节点。
标准Transformer处理这类问题只能一次前向传播,从头走到尾,输出结果,没有“迭代”这个概念。
Mythos在图遍历上拿到了80%的分数,表明它内部很可能在“”反复计算”,对同一组信息来回处理了好几遍。
那么什么样的架构能实现“反复计算”?
字节Seed团队在论文中提出LoopLM循环语言模型。
简单总结LoopLM有三个特点。
1、不写长文思考,在模型内部潜空间迭代,不额外输出更多token。
2、简单题少想几步,难题多想几步,自动调节。
3、预训练时就学 “怎么在潜空间思考”,而不是只学 “怎么预测下一个token”。
在实验中,团队训练了Ouro系列循环语言模型,内置了循环思考。
测试结果,1.4B的Ouro模型性能对标约4B的传统模型。2.8B的Ouro模型相当于8B–12B的传统模型。
至于循环模型的能力提升来自何处,论文详细分析了知识存储vs知识操作的区别。
知识存储(Knowledge Storage)的容量是有限的,大约每个参数2bits,不管用什么架构,这个数字基本不变。
循环也不会让你“记住”更多东西。
但知识操作(Knowledge Manipulation)不一样,把已知事实组合起来做多跳推理、执行程序、搜索图结构,这类能力随循环步数和训练tokens指数级增长。
换句话说,循环模型没有给AI一个更大的知识库,但它让AI在知识库库里的搜索和组合能力提升了一个量级。
那么Mythos究竟是不是循环模型架构,有人总结出除了GraphWalks之外的更多线索。
三条线索指向循环模型架构
第一条线索,也就是广度优先图搜索测试结果。
Mythos除了分数是GPT5.4的4倍,比上一代Opus提升幅度也异常大。
第二条线索,Anthropic报告Mythos每个任务使用的token数量是Opus4.6的1/5,但速度更慢。
(价格也贵5倍!)
这在标准Transformer框架下很难说得通,token少,生成步骤就少,应该更快才对。
但循环模型刚好解释了这个矛盾:推理不发生在token层面,而是发生在潜空间,计算量花在了看不见的地方。
线索三,Mythos在网络安全方面非常突出。
Mythos在CyberGym测试上拿到83.1%,Opus4.6是66.6%,领先近17个百分点。
以及找到上千个零日漏洞,主流操作系统和浏览器全都没逃过。
漏洞发现的本质就是对控制流图做遍历。找到一条从输入到危险函数的路径,也就是图的可达性问题。
又是图遍历。又是循环架构的天生强项。
说了这么多,终归只是大家的猜测,Anthropic没有公开任何关于Mythos架构的信息,很可能以后也不会公开。
但有一句话值得思考:
Scaling Law改善一切,相对均匀,架构创新在匹配其归纳偏置的任务上创造异常尖峰值。
循环Transformer的归纳偏置就是迭代图算法。Mythos的异常尖峰,恰好出现在图遍历任务上。
Anthropic不说,但测试数据已经替它说了。
字节论文:
https://arxiv.org/abs/2510.25741
参考链接:
[1]
https://x.com/ChrisHayduk/status/2042711699413926262
[2]
https://aiia.ro/blog/claude-mythos-looped-language-model-theory

梦晨