Kimi的「注意力残差」引发热议，重新定义焦点方向
自2015年ResNet诞生以来，「将输入直接加到输出上」这一简单的机制，几乎统治了所有神经网络架构。近期，沿用了十年的残差机制迎来了重大变革，「注意力机制」成为了其替代方案。这一创新甚至影响到了OpenAI的研究人员，包括负责开发o1/o3系列、Codex编程模型及GPT-4 STEM能力的Jerry Tworek，他深受启发，认为需要重新评估现有的一切，「深度学习2.0」时代即将到来。这一突破
科技1 阅读
搜索: "神经网络架构"
共找到 2 篇相关文章
香港大学研究院与宇树科技共建具身智能联合实验室
3月9日，据相关报道显示，在2月28日当天，宇树科技与香港大学上海智能计算研究院在上海举行战略合作协议的签署仪式，并正式成立了具身智能联合实验室。马毅教授作为香港大学计算与数据科学学院院长在会上表示，该新成立的研究机构将主要关注下一代白盒神经网络架构以及世界模型等核心领域。他强调了通过与宇树科技这样的企业进行深度合作的重要性，并希望中国的人工智能技术不仅能够跻身全球领先行列，更能在定义未来人工智能
科技1 阅读