Motion-I2V：利用显式运动建模生成一致且可控的图像到视频

Motion-I2V：利用显式运动建模生成一致且可控的图像到视频

清华和商汤的这个视频生成项目可以让开源视频模型也有类似 Runway 的运动笔刷能力。
而且比 Runway 更进一步支持涂抹区域后在用画笔描绘运动方向，也可以分开使用。
希望可以跟现有的开源视频生成模型兼容，我看论文里没写这块。

相较于现有技术，Motion-I2V 即便面对大幅度的运动和视角变化，也能创造出更为一致的视频。通过为第一阶段配备一个专门的稀疏轨迹控制网络（ControlNet），Motion-I2V 允许用户通过少量的轨迹和区域标注来精确控制运动轨迹和运动区域，这比单纯依赖文本指令进行控制提供了更多的灵活性。

此外，Motion-I2V 的第二阶段还自然地支持了不需要样本训练的视频到视频转换（零样本转换）。通过定性和定量的比较，我们发现 Motion-I2V 在生成一致性和可控性强的视频方面，优于以往的方法。