华为昇腾超节点助力DeepSeek-V4发布 迈向百万级上下文处理新时代
今日，DeepSeek-V4 的预览版本正式上线，并同步开放了源代码。该模型将上下文处理长度从原先的128K大幅扩展至1M，支持百万字级别的超长文本处理。同时，输出的最大长度可达384Ktokens，还首次引入了KV Cache滑窗和压缩算法以减少Attention计算的成本。国内多家芯片制造商，包括华为昇腾、天数智芯以及寒武纪等公司已经成功支持DeepSeek-V4的新模型，并且它们的产品全面兼
科技17 阅读
搜索: "压缩算法"
共找到 2 篇相关文章
谷歌突破内存限制！新算法内存使用减少83%，性能飙升8倍！
近日，谷歌发布了一种新的无损极限压缩算法TurboQuant，该算法专门针对大语言模型的键值缓存设计，旨在解决向量量化中的内存占用问题。谷歌声称，TurboQuant能够将大语言模型的键值缓存内存使用量至少减少至原来的六分之一，并且在推理速度上可以提升八倍，同时保持模型的精度不变。Matthew Prince，Cloudflare的创始人、首席执行官兼执行主席，将TurboQuant的发布视为谷歌
科技4 阅读