搜索: "华人团队"

共找到 4 篇相关文章

英伟达MIT出手!华人团队重磅开源,大模型推理内存暴降10倍

英伟达MIT出手!华人团队重磅开源,大模型推理内存暴降10倍

新智元报道【新智元导读】一张普通的24G家用显卡,竟然能让一个32B的超大模型一口气读完6份长文档、自动写出周报?英伟达、MIT、浙大华人研究者联合出新招,让内存消耗直接暴降10倍,不降智也不爆显存,彻底击穿硬件天花板。一张RTX 4090,24GB显存,跑一个32B参数的大模型做agent任务。不做任何KV压缩,显存直接爆掉,连模型都跑不起来。换上TriAttention,模型稳稳跑起来,顺利读

科技2 阅读