120亿参数跑在16G笔记本上，谷歌Gemma 4新成员杀来了
机器之心编辑部在下载量突破 1.5 亿次之际，谷歌 Gemma 4 系列模型迎来了新的家族成员！今天，谷歌正式推出Gemma 4 12B，目标是把具备智能体能力的多模态智能，直接带到笔记本电脑上。根据介绍，Gemma 4 12B 介于面向边缘设备的 E4B 与能力更强的 26B 混合专家模型（MoE）之间，在更小的内存占用下提供了强大的能力。另外，Gemma 4 12B 也是谷歌首个支持原生音频输
科技1 阅读
搜索: "混合专家模型"
共找到 4 篇相关文章
突破摩尔定律限制！英伟达软件让性能激增2.8倍无需更换GPU
新智元报道MoE模型的稀疏激活原本是一项显著的优势，但往往面临通信瓶颈的问题。NVIDIA通过软件创新，在三个月内成功将GB200单GPU吞吐量提升了2.8倍，充分发挥了Blackwell硬件的实力。2026年1月8日，NVIDIA再次以硬核数据刷新了AI推理的性能上限。英伟达官网透露：基于Blackwell架构的推理软件栈升级，使混合专家模型（MoE）在效率上实现了突破性进展——单GPU吞吐量显
科技6 阅读
姚顺雨初试锋芒，腾讯AI迎来全新基石
腾讯近日发布并开源了新一代大语言模型混元Hy3 preview，填补了4月在AI领域的关键空白。作为混元3.0的早期版本，这款混合专家模型结合了快慢思考模式，拥有总计295B个参数和21B个激活参数，并能支持长达256K的上下文长度。据腾讯介绍，这是迄今为止最智能的混元模型，在复杂推理、指令遵循、代码处理及智能体功能等方面实现了显著提升。上月，腾讯在其2025年度业绩公告中首次提及“混元3.0”，
科技3 阅读
交通大学推出JTok模块：在密集计算与混合专家模型之外的全新扩展方案，能耗降低三分之一
最近的研究表明，通过改进模型架构可以显著提升大型语言模型的性能和效率。本文介绍了一项由交通大学团队开发的新技术——JTok-M。JTok-M是一种创新性的方法，它利用token-indexed参数来扩展模型容量，从而提高计算资源的有效利用率。传统的Scaling Law主要关注于两个方面：增加模型参数的数量（N）和使用更多的训练数据（D）。然而，这种方法在实际应用中面临着诸多挑战，如成本高昂、效率
科技11 阅读