解码加速15倍！EdgeRazor助推大模型在PC/移动端“狂飙”
近年来，大语言模型参数的持续膨胀，带来了极高的显存占用和算力需求，在 PC、手机和 IoT 等资源受限的端侧设备上部署前沿大模型十分困难。因此大语言模型轻量化的研究势在必行，量化（Quantization）成为主流的轻量化方案。然而，量化端侧部署目前受制于 “不可能三角”：后训练量化（PTQ）在极低比特下精度崩塌；量化感知训练（QAT）算力成本极高；而现有的量化感知蒸馏（QAD）又缺乏灵活性。由南
科技1 阅读
搜索: "量化感知训练"
共找到 2 篇相关文章
QVGen使「超低比特率视频生成与量化」成为现实
视频生成扩散模型体积日益增大：从 2B 到 5B 再到 14B 等，效果显著提升的同时，训练和推理的成本也急剧上升。社区希望利用量化技术缩小模型规模，降低显存及计算成本，使其能在更多设备上运行并实现低成本部署。然而实际情况并不乐观：一旦使用 3/4 比特，视频生成的量化感知训练（QAT）相比图像更加难以处理且稳定性较差，画质下降幅度更大——不是轻微减少质量，而是变得无法接受。图表展示了 CogVi
科技9 阅读