MotionCtrl是由来自腾讯、香港大学、上海AI实验室、清华大学、广东工业大学等机构的研究人员推出的一个为视频生成模型设计的统一且灵活的运动控制器，能够独立地控制视频中的相机运动和物体运动视角。该系统由两个主要模块组成：相机运动控制模块和物体运动控制模块，可以与潜在视频扩散模型协同工作，以实现对生成视频中运动视角的精确控制。

MotionCtrl的工作原理主要基于两个核心模块：相机运动控制模块（CMCM）和物体运动控制模块（OMCM），以及它们与潜在视频扩散模型（LVDM）的协同工作。

以下是MotionCtrl工作原理的详细步骤：

MotionCtrl – 腾讯等推出的视频生成模型的运动控制器 第1张
（图片来源网络，侵删）
MotionCtrl – 腾讯等推出的视频生成模型的运动控制器 第2张
（图片来源网络，侵删）