[发明专利]手与物体交互过程的实时重建方法及装置

说明书

本发明公开了一种手与物体交互过程的实时重建方法及装置，其中，方法包括以下步骤：对待处理深度图像数据进行数据分割得到手与物体分割结果，且获得手势姿态预测数据，其中，手与物体分割结果包括物体数据和手部数据；将预测数据和手与物体分割作为约束项对统一能量函数进行优化，以得到手部运动序列和物体非刚性运动序列；将物体数据融合到物体模型得到物体静态模型，并根据手部运动序列、物体非刚性运动序列和物体静态模型得到手与物体交互过程的实时重建结果。该方法可以有效解决手与物体交互运动的实时重建问题，实时获得手的运动、物体的运动和物体的几何模型。

技术领域

本发明涉及计算机视觉、计算机图形学技术领域，特别涉及一种手与物体交互过程的实时重建方法及装置。

背景技术

手与物体的交互运动是人们日常生活中非常常见的活动，对手与物体的交互运动进行重建是人类活动全三维重建所必须解决的问题。而且，手与物体的交互过程中既包含了人的意图，又能反映一个人的健康状况。

因此，对手与物体的交互过程进行重建具有重要的科研意义。手势跟踪以及物体运动和模型重建是与手与物体交互运动重建直接相关的两个问题，也是计算机视觉与计算机图像学领域中两个重要且基础的问题，它们在人机交互，虚拟/增强现实等领域有着非常广泛的应用，学术界和工业界分别对这两个问题都进行了大量研究。

然而，目前对手与物体交互运动重建的研究非常不足。因此本发明针对这一现状，对手与物体的交互运动提出了一种实时重建方法。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种手与物体交互过程的实时重建方法，该方法可以有效解决手与物体交互运动的实时重建问题，实时获得手的运动、物体的运动和物体的几何模型。

本发明的另一个目的在于提出一种手与物体交互过程的实时重建装置。

为达到上述目的，本发明一方面实施例提出了一种手与物体交互过程的实时重建方法，包括以下步骤：对待处理深度图像数据进行数据分割得到手与物体分割结果，且获得手势姿态预测数据，其中，所述手与物体分割结果包括物体数据和手部数据；将预测数据和手与物体分割作为约束项对统一能量函数进行优化，以得到手部运动序列和物体非刚性运动序列；将所述物体数据融合到物体模型得到物体静态模型，并根据手部运动序列、物体非刚性运动序列和所述物体静态模型得到手与物体交互过程的实时重建结果。

本发明实施例的手与物体交互过程的实时重建方法，基于手与物体数据分割和手势姿态预测数据的统一能量优化，输入为两段采集的手与物体交互的时空对准的深度视频帧序列，输出为手的运动序列，物体的非刚性运动序列和一个物体的静态模型，从而有效解决手与物体交互运动的实时重建问题，实时获得手的运动、物体的运动和物体的几何模型。

另外，根据本发明上述实施例的手与物体交互过程的实时重建方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述对待处理深度图像数据进行数据分割得到手与物体分割结果，进一步包括：通过手与物体分割数据库对DNN(Deep NeuralNetwork，深度神经网络算法)进行训练，并根据训练后的所述DNN对待处理深度图像数据进行数据分割，以得到手与物体分割结果。

进一步地，在本发明的一个实施例中，所述待处理深度图像数据包括第一路深度图像数据和第二路深度图像数据，其中，所述第一路深度图像数据和所述第二路深度图像数据在时间上同步、且在空间上对齐。

进一步地，在本发明的一个实施例中，所述获得手势姿态预测数据，进一步包括：采集手部运动数据，并根据所述手部运动数据训练LSTM(Long Short-Term Memory，长短期记忆网络)，以根据所述LSTM预测得到所述手势姿态预测数据。