[发明专利]静态行人图像的运动动态化方法、系统、装置及介质

权利要求书

1.一种静态行人图像的运动动态化方法，其特征在于，包括以下步骤：

获取两张行人图像，根据所述行人图像提取一对人体的2D姿态；

根据动作相似度将一对所述2D姿态映射到3D空间，生成一对3D姿态；

根据一对所述3D姿态生成一组3D运动姿态序列，且所述3D运动姿态序列位于一对所述3D姿态之间；

将所述3D运动姿态序列进行2D投影，获得2D运动姿态序列；

根据一对所述2D姿态对所述2D运动姿态序列进行优化；

根据所述行人图像和优化后的2D运动姿态序列生成行人运动图像序列。

2.根据权利要求1所述的一种静态行人图像的运动动态化方法，其特征在于，所述根据动作相似度将一对所述2D姿态映射到3D空间，生成一对3D姿态，包括：

从预设的数据库中获取与所述2D姿态的动作相似度最大的预设2D姿态，获取与所述预设2D姿态对应的预设3D姿态；

根据一对所述2D姿态获得一对预设3D姿态，作为一对3D姿态。

3.根据权利要求2所述的一种静态行人图像的运动动态化方法，其特征在于，所述动作相似度包括角度相似度、相对位置相似度或者关节点相似度中的至少之一；

所述角度相似度用于衡量两个2D姿态之间肢体弯曲角度的相似程度；其中，肢体弯曲角度包括：左上臂与左下臂之间的角度、右上臂与右下臂之间的角度、左大腿与左小腿之间的角度、右大腿与右小腿之间的角度、左大腿与腰之间的角度、右大腿与腰之间的角度；

所述相对位置相似度用于衡量两个2D姿态之间关键关节点对的相对位置的相似程度；其中，关键关节点对的相对位置包括：左肩与右肩的相对位置、左膝与右膝的相对位置、左脚与右脚的相对位置；

所述关节点相似度用于衡量两个2D姿态之间关节点坐标的相似程度；其中，关节点包括左手、右手、左膝、右膝、左脚和右脚。

4.根据权利要求3所述的一种静态行人图像的运动动态化方法，其特征在于，所述角度相似度的计算公式为：

其中，A_i与A_i′分别表示两个2D姿态P^2D,P^2D′中第i个肢体角度；

所述相对位置相似度的计算公式为：

其中，R_i与R_i′分别表示两个2D姿态P^2D，P^2D′中第i对关键关节点的相对位置；

所述关节点相似度的计算公式为：

其中，与分别表示两个2D姿态P^2D,P^2D′中第i个关键关节点的2D坐标。

5.根据权利要求2所述的一种静态行人图像的运动动态化方法，其特征在于，还包括构建数据库的步骤，包括：

获取多个3D人体动作序列，将所述3D人体动作序列中所有预设3D姿态的根关节调整至原点坐标；

采用虚拟相机从多个角度对每一个所述预设3D姿态进行拍摄，获得并保存多个预设2D姿态，形成数据库；

其中，所述虚拟相机位于以原点坐标为圆心的圆上。

6.根据权利要求1所述的一种静态行人图像的运动动态化方法，其特征在于，所述根据一对所述2D姿态对所述2D运动姿态序列进行优化，包括：

将一对所述2D姿态和所述2D运动姿态序列输入预设的优化模型；

对所述2D姿态进行特征提取，将提取到的特征输入所述优化模型的双向LSTM网络，生成以所述提取到的特征为首尾的2D姿态特征序列；

利用所述优化模型的线性层将所述2D姿态特征序列映射到姿态空间，获得优化后的2D运动姿态序列。

7.根据权利要求6所述的一种静态行人图像的运动动态化方法，其特征在于，所述优化模型包括损失函数，所述损失函数包括：输出的序列首尾两个2D姿态与输入的两个2D姿态之间的均方误差、2D姿态序列的动作相似损失函数、2D姿态序列的连续性损失函数。