3月17日，Kimi官方账号回应了马斯克对其最新成果的点赞，表示“你的火箭也很不错”。
最近，Kimi团队发布了一份技术报告，提出了一个创新性的Attention Residuals（注意力残差）机制，对深度学习领域内沿用多年的传统残差连接进行了彻底的革新，迅速吸引了全球的关注。
传统的残差连接通过“固定等权累加”的方式传递信息，随着层数的增加，容易导致浅层信息被稀释，训练效率降低，稳定性减弱。
而Kimi的创新则相当于给AI装上了“智能筛选器”，将Transformer注意力机制应用到模型的深度维度，使每一层都能动态筛选出此前有用的资讯，减少冗余信息，从而提高信息传递的效率。
实验数据显示，48B参数模型的训练效率提升了1.25倍，科学推理和数学问题解答的成绩分别提升了7.5%和3.6%，有效解决了传统模型训练中出现的平衡问题。
一向以挑剔闻名的马斯克转发了这项研究，并评论说“Kimi的作品令人印象深刻”，他的公司xAI正处于重组阶段，此次的认可充分展示了这项技术的重要性。