搜索: "线性注意力"

共找到 1 篇相关文章

阿里、Kimi与蚂蚁联手加码,混合注意力成行业标配?

阿里、Kimi与蚂蚁联手加码,混合注意力成行业标配?

昨日,小米发布了Mimo-V2 Pro大模型,引起了行业对混合注意力架构的关注。该大模型拥有万亿级别的参数,采用了1:7的混合注意力比例,其性能接近Claude Opus 4.6,但API定价仅为后者五分之一。近期,国内多家领先的大模型企业均在混合注意力架构的研究上取得了进展,小米的这项技术也延续了国内顶尖厂商在效率优化上的共识。在今年2月,蚂蚁集团发布了全球首个混合线性注意力架构的思考模型;而阿

科技2 阅读