雷军宣布：未来三年将在人工智能领域投资不少于600亿人民币
3月19日，小米在SU7发布会上公布了其在AI大模型领域的最新研发成果和关键数据。小米公司创始人雷军表示，公司正在加大硬核科技领域的投入，计划在未来三年内至少投入600亿元人民币用于AI研发，而今年的支出已超过160亿元。在大模型基座方面，小米推出了面向智能体时代的旗舰大模型。这款模型采用了总参数量达1万亿的MoE架构，激活参数为420亿，并运用了小米自主研发的混合注意力机制，支持百万级的上下文长
科技2 阅读
搜索: "混合注意力机制"
共找到 2 篇相关文章
阿里巴巴开放三款升级版的中型通义千问3.5模型源代码
科技日报记者 崔爽2月25日，在春节期间开源了Qwen3.5-397B-A17B之后，阿里巴巴继续发布了千问3.5系列模型的源代码。此次发布的三款新模型分别是Qwen3.5-35B-A3B、Qwen3.5-122B-A10B和Qwen3.5-27B，它们都采用了创新架构并经过了优化训练，在性能上超越了前一代的大规模旗舰模型。千问3.5系列模型运用了一种混合注意力机制，并结合高稀疏的MoE架构进行设
科技2 阅读