
模型瘦身进行时:LeCun与清华团队提出创新方案
机器之心编辑部最近,“世界模型”这一领域受到了广泛的关注,有两项相关工作备受瞩目。其中一项是由 Yann LeCun 团队提出的 LeWorldModel,该研究尝试通过更简洁的 JEPA 方法,实现从像素端到端训练的世界模型,以此降低训练复杂度,并验证了潜在空间中对物理结构的刻画能力。另一项是清华大学团队的 Fast-WAM,这项工作从应用角度出发,重新审视了当前主流 World Action
科技1 阅读
共找到 2 篇相关文章

机器之心编辑部最近,“世界模型”这一领域受到了广泛的关注,有两项相关工作备受瞩目。其中一项是由 Yann LeCun 团队提出的 LeWorldModel,该研究尝试通过更简洁的 JEPA 方法,实现从像素端到端训练的世界模型,以此降低训练复杂度,并验证了潜在空间中对物理结构的刻画能力。另一项是清华大学团队的 Fast-WAM,这项工作从应用角度出发,重新审视了当前主流 World Action

在 MVBench 和 VideoMME 等离线基准测试中,视频大模型表现优异,然而在实际交互场景中,仍面临两个主要挑战:如何处理无边界视频流以及如何在动态视频流中确定响应时机。最近,香港浸会大学与腾讯优图实验室合作,提出了 Streamo,其创新之处在于将“何时回答”这一决策纳入模型预测,通过端到端训练框架直接将离线视频模型转换为实时流视频助手。Streamo 能处理真实场景中的视频流,支持实时