4月7日,京东探索研究院对外发布了其自主研发的JoyAI-Image-Edit图像处理模型,并宣布将其开源。
此款模型是业界首个深度融合“空间智能”的开放源代码解决方案,它使人工智能技术能够理解和编辑三维空间,超越了以往仅限于平面修改的能力。开发者可以直接利用该模型创建各种应用。

JoyAI-Image-Edit 模型全面模拟真实世界的空间结构规律,在多个方面进行了建模,包括视角一致性、相机感知和场景推理等维度,实现了多项技术创新,例如视角变换和物体空间移动等功能,并通过京东的测试验证了其卓越的技术性能。
该模型解决了先前开源技术难以克服的空间认知难题,具备三大独特的编辑功能:
- 视角转换 —— 用户可以通过简单的自然语言指令来调整相机的角度、方向及缩放比例,生成新的视角图像;
- 空间导航 —— 支持连续的视角移动,能够创建一系列连贯且逻辑清晰的不同视角图像;
- 物体空间互动 —— 在保持场景整体稳定性的同时,可以对特定物体进行位置调整和大小改变,并确保遮挡关系及光影效果的真实性和一致性。
除了上述的空间级突破,JoyAI-Image-Edit 还兼容15种基本编辑功能,涵盖了内容创作中的高频需求。无论是替换、删除或添加物品,还是风格迁移和细节修整等操作,该模型均表现出了高效的性能。

JoyAI-Image-Edit 模型的应用场景广泛,包括电商内容生成、创意设计制作、智能图像处理以及3D模型重建等领域,并且在具身智能视觉感知技术领域亦有重要的应用价值。
