[发明专利]手与物体交互过程的实时重建方法及装置

权利要求书

1.一种手与物体交互过程的实时重建方法，其特征在于，包括以下步骤：

对待处理深度图像数据进行数据分割得到手与物体分割结果，且获得手势姿态预测数据，其中，所述手与物体分割结果包括物体数据和手部数据；

将预测数据和手与物体分割作为约束项对统一能量函数进行优化，以得到手部运动序列和物体非刚性运动序列，其中，所述统一能量函数为：其中，表示物体的非刚性运动，θ^t表示手势的姿态，是与物体运动相关能量，所述为：其中，是度量物体运动与物体的深度数据匹配程度的能量项，所述为：其中，D_obj表示属于物体的深度数据，u和n分别表示物体的三维点和法向，表示物体的静态模型上的点经运动后获得的实时动态点；和分别表示将物体运动约束到数据轮廓中和物体运动时要保持局部刚性的能量项，其中，所述E_hand(θ^t)是与手的运动相关的能量：所述E_d2m(θ^t)是度量手的运动与手的深度数据匹配程度的能量项：其中，D_hand表示属于手的深度数据，H(θ^t)表示姿态为θ^t的手的模型，Dist(×)表示点到手模型表面之间的有符号距离，其中正数表示点在模型外部，负数表示点在模型内部，E_m2d(θ^t)表示将手的运动约束到数据轮廓中的能量，E_pose(θ^t)、E_lim(θ^t)和E_colli(θ^t)分别表示手姿态运动的先验信息，E_pre(θ^t)表示LSTM网络给出的手的姿态约束项，可表示为：其中，表示LSTM给出的t时刻的手势，E_itc表示手与物体之间的相互作用，可表示为：当M是物体模型的表面点；以及

将所述物体数据融合到物体模型得到物体静态模型，并根据手部运动序列、物体非刚性运动序列和所述物体静态模型得到手与物体交互过程的实时重建结果。

2.根据权利要求1所述的手与物体交互过程的实时重建方法，其特征在于，所述对待处理深度图像数据进行数据分割得到手与物体分割结果，进一步包括：

通过手与物体分割数据库对深度神经网络算法DNN进行训练，并根据训练后的所述DNN对待处理深度图像数据进行数据分割，以得到手与物体分割结果。

3.根据权利要求2所述的手与物体交互过程的实时重建方法，其特征在于，所述待处理深度图像数据包括第一路深度图像数据和第二路深度图像数据，其中，所述第一路深度图像数据和所述第二路深度图像数据在时间上同步、且在空间上对齐。

4.根据权利要求1所述的手与物体交互过程的实时重建方法，其特征在于，所述获得手势姿态预测数据，进一步包括：

采集手部运动数据，并根据所述手部运动数据训练长短期记忆网络LSTM，以根据所述LSTM预测得到所述手势姿态预测数据。