
英伟达MIT出手!华人团队重磅开源,大模型推理内存暴降10倍
新智元报道【新智元导读】一张普通的24G家用显卡,竟然能让一个32B的超大模型一口气读完6份长文档、自动写出周报?英伟达、MIT、浙大华人研究者联合出新招,让内存消耗直接暴降10倍,不降智也不爆显存,彻底击穿硬件天花板。一张RTX 4090,24GB显存,跑一个32B参数的大模型做agent任务。不做任何KV压缩,显存直接爆掉,连模型都跑不起来。换上TriAttention,模型稳稳跑起来,顺利读
共找到 4 篇相关文章

新智元报道【新智元导读】一张普通的24G家用显卡,竟然能让一个32B的超大模型一口气读完6份长文档、自动写出周报?英伟达、MIT、浙大华人研究者联合出新招,让内存消耗直接暴降10倍,不降智也不爆显存,彻底击穿硬件天花板。一张RTX 4090,24GB显存,跑一个32B参数的大模型做agent任务。不做任何KV压缩,显存直接爆掉,连模型都跑不起来。换上TriAttention,模型稳稳跑起来,顺利读

除了香蕉和GPT Image之外,一支华人团队开发的图像生成模型Uni-1.1在国际上崭露头角。 思邈 2026-05-06 17:24:27 量子位

最近,Anthropic 发布了 Managed Agents 功能,让人惊讶的是,一个硅谷华人团队早已为这一趋势做好准备。 衡宇 2026-04-09 15:08:02 量子位

Claude引发争议,因新研究未引用华人团队的工作而道歉。 听雨 2026-04-07 17:09:48 量子位 Anthropi