[发明专利]基于非同步视频的运动捕捉方法

权利要求书

1.一种基于非同步视频的运动捕捉方法，其特征在于，该方法包括以下步骤：

(1)获取多段目标人物的非同步视频；对于每一段视频，通过深度神经网络预测每一帧的三维人体姿态；

(2)基于步骤(1)中得到的三维人体姿态，计算任意两段视频之间每帧的相似性，构建相似性矩阵，利用动态规划求解得到两段视频之间每帧的对应关系，完成视频同步；

(3)根据步骤(2)中得到的两段视频之间每帧的对应关系；当不同视频中记录的人体动作一致时，同时优化相机姿态和人体运动来最小化各个视角下的重投影误差，完成人体运动重建；当不同视频中记录的动作不完全一致时，同时优化相机姿态和不同视频中的人体运动来最小化各个视角下的重投影误差，并将所有不同视频中对应帧的三维人体姿态组成低秩矩阵作为优化过程中的约束条件，利用低秩矩阵进行建模运动差异性，完成人体运动重建。

2.根据权利要求1所述的一种基于非同步视频的运动捕捉方法，其特征在于，步骤(2)中，所述计算任意两段视频之间每帧的相似性，构建相似性矩阵具体为：把两段视频之间任意两帧的三维人体姿态对齐，然后计算任意两帧之间三维人体姿态的欧式距离，再把欧式距离映射为衡量任意两帧的相似性的值，相似性的值范围为0-1，将得到的任意两帧的相似性的值作为矩阵中的元素，构建相似性矩阵。

3.根据权利要求1所述的一种基于非同步视频的运动捕捉方法，其特征在于，步骤(3)中，所述优化相机姿态和人体运动具体为：以各个视角下的重投影误差为目标函数，根据各个相机下的三维人体姿态，将三维人体姿态作为参考来对齐各个相机，通过最小化三维人体姿态在各相机下的重投影误差，联合优化相机姿态和人体运动，得到每段视频每一帧的三维人体姿态。

4.根据权利要求1所述的一种基于非同步视频的运动捕捉方法，其特征在于，步骤(3)中，所述低秩矩阵进行建模具体为：在视频同步后，当不同视频记录的人体运动不完全一致时，约束不同视频中对应的同一帧的人体三维姿态组成的矩阵是低秩的，以此来表达不同视频中对应的同一帧的人体三维姿态的运动差异性。

5.根据权利要求1所述的一种基于非同步视频的运动捕捉方法，其特征在于，步骤(3)中，所述当不同视频中记录的动作不完全一致时，利用低秩矩阵进行建模运动差异性：

rank(θ_k)≤s，

其中表示不同视点下对应帧k的人体姿态参数的组合，θ_k1∈R^Q×1表示第1个相机下对应帧k的人体姿态参数，M表示视频的数量，Q表示人体姿态参数的维度，常数s表示控制相似的程度。