可灵携手滑铁卢大学发布UniVideo：引领视频理解与创造新时代
在多模态内容的理解和生成领域，统一的多模型已经显示出显著的效果，但这些成果主要集中在图像处理上。近日，滑铁卢大学与快手可灵团队共同研发出了一种名为 UniVideo 的创新性系统。该系统能够在单一框架下执行视频理解、创建及编辑任务，并且基于一个多模态生成模型构建而成。UniVideo 采用双通道结构设计，将大规模多模态语言模型（MLLM）的指令理解和推理能力与多模态扩散 Transformer（M
科技8 阅读
搜索: "视频理解"
共找到 4 篇相关文章
多机构联手破解视频表征难题：UCSD与HKUST推出FlowRVS技术
本文的主要作者是王赞毅，他曾于西安交通大学取得学士学位，并现为加州大学圣迭戈分校（UCSD）电气与计算机工程系的一名硕士生。他的研究集中在视频理解以及生成式建模领域。这项工作是他实习期间，在国家电网思极AI实验室(SGIT AI Lab)完成的成果。计算机视觉长久以来一直执着于如何更有效地表征动态世界的复杂性，试图通过精心设计的各种编码器来压缩现实中的信息。然而，视频作为一种复杂的高维数据集，其内
科技4 阅读
第一次，多模态大模型学会边看边听，Meta新作性能暴涨113%
新智元报道【新智元导读】Meta联合多所高校发布首个可规模化自动生成第一视角音视频理解数据的引擎EgoAVU ，让多模态大模型首次真正「听懂世界」。现在最强的多模态大模型，虽然能接收声音和视频输入，但无法做到真正的「同时理解」。在第一视角视频任务中，模型经常会出现各种问题，比如完全忽略音频信息、错误判断声源位置、用视觉线索「猜声音」，也就是说，现在的多模态大模型只会看，但不会听。而这正是当前具身智
科技1 阅读
FOCUS 关键帧提取：长视频理解能力提升11.9%，只需采样<2% 帧
本文第一作者朱子瑞为新加坡国立大学四年级博士生，本科毕业于清华大学，研究方向为多模态大模型和后训练优化。通讯作者为 TikTok 内容智能负责人 Kanchan Sarkar、Meta杨振恒博士（相关工作完成于其在 TikTok 任职期间）以及新加坡国立大学校长青年教授尤洋老师。文章速览长视频会使 MLLM 的视觉 token 规模快速增长，但推理阶段的计算与上下文预算有限，难以对全量帧进行处理。
科技3 阅读