搜索: "异构集群"

Kimi发表新论文：创新KVCache商业模式

衡宇 发自 凹非寺量子位 | 公众号 QbitAI把长上下文做到极致的Kimi又发新成果！这一次瞄准的是大模型推理架构跨机房调度沉疴。他们提出了一套全新范式，Prefill-as-a-Service（简称PrFaaS），预填充即服务。其核心突破是让KV Cache可以跨数据中心传输，把Prefill和Decode彻底解耦到不同的异构集群。有了PrFaaS，Prefill和Decode之间可以跨越城