
国产团队突破长视频3D重建技术,实现公里级场景稳定处理
在长视频的三维重建中,"看不清" 并不是最让人头疼的问题。虽然短片段拍摄效果很好,但一旦序列变长,问题就会逐渐显现出来,导致模型在处理大场景时产生累积误差。最近,浙江大学、地平线机器人和之江实验室合作推出了一项名为Scal3R的新技术,旨在解决这一难题。以前的研究主要集中在如何将长序列分割成小块并重新组合上。Scal3R 则侧重于从训练阶段就开始处理超长序列的问题。通过测试时的训练方法,作者设计了
科技3 阅读
共找到 2 篇相关文章

在长视频的三维重建中,"看不清" 并不是最让人头疼的问题。虽然短片段拍摄效果很好,但一旦序列变长,问题就会逐渐显现出来,导致模型在处理大场景时产生累积误差。最近,浙江大学、地平线机器人和之江实验室合作推出了一项名为Scal3R的新技术,旨在解决这一难题。以前的研究主要集中在如何将长序列分割成小块并重新组合上。Scal3R 则侧重于从训练阶段就开始处理超长序列的问题。通过测试时的训练方法,作者设计了

在 MVBench 和 VideoMME 等离线基准测试中,视频大模型表现优异,然而在实际交互场景中,仍面临两个主要挑战:如何处理无边界视频流以及如何在动态视频流中确定响应时机。最近,香港浸会大学与腾讯优图实验室合作,提出了 Streamo,其创新之处在于将“何时回答”这一决策纳入模型预测,通过端到端训练框架直接将离线视频模型转换为实时流视频助手。Streamo 能处理真实场景中的视频流,支持实时