[发明专利]手与物体复杂交互场景重建方法及装置

说明书

本发明公开了一种手与物体复杂交互场景重建方法及装置，其中，方法包括：利用单RGBD相机采集手与物体交互场景的RGBD序列，得到RGBD图像；将RGBD图像送入手势预测神经网络中进行预测，得到左手的姿态预测数据与右手的姿态预测数据；将RGBD图像送入分割识别神经网络中，得到左手数据、右手数据、不同物体的分割数据；将分割所得的不同物体的深度数据和颜色数据融合进物体模型中，得到最终的物体模型。该方法可以针对人手与物体复杂交互过程，从单个RGBD相机所采集的序列中重建交互过程三维信息，能够获得人手的姿态运动和物体的表面，有效解决基于单个RGBD相机进行复杂交互过程重建中出现的高复杂性和强不确定的问题。

技术领域

本发明涉及三维重建技术领域，特别涉及一种手与物体复杂交互场景重建方法及装置。

背景技术

在人们的日常生活中，人使用手与环境中不同物体进行交互是最常见的行为。对人手与物体的交互过程进行重建对于AR/VR，人机交互以及智能机器人都具有非常重要的价值。

手与物体交互过程包含了丰富的信息。在很多应用中，如AR和智能机器人领域，需要对手与物体交互的过程进行重建，以获取交互过程的三维信息。现实中，手与物体交互的过程较为复杂。其复杂性体现在，交互过程中手的动作复杂，交互的物体复杂，手与物体间的相互遮挡导致的强模糊性。

使用单个RGBD相机进行重建具有系统简单的优点，但使用单个相机也使得观察的视角单一，限制了能获得的有效信息量，增加了重建的难度。综上所述，基于单个RGBD相机对交互过程进行重建是一件非常有意义同时非常具有挑战性的工作。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种手与物体复杂交互场景重建方法，该方法可以针对人手与物体复杂交互过程，从单个RGBD相机所采集的序列中重建交互过程三维信息，能够获得人手的姿态运动和物体的表面，有效解决基于单个RGBD相机进行复杂交互过程重建中出现的高复杂性和强不确定的问题。

本发明的另一个目的在于提出一种手与物体复杂交互场景重建装置。

为达到上述目的，本发明一方面实施例提出了一种手与物体复杂交互场景重建方法，包括以下步骤：利用单RGBD相机采集手与物体交互场景的RGBD序列，得到RGBD图像；将所述RGBD图像送入手势预测神经网络中进行预测，得到左手的姿态预测数据与右手的姿态预测数据；将所述RGBD图像送入分割识别神经网络中，得到左手数据、右手数据、不同物体的分割数据；将分割所得的不同物体的深度数据和颜色数据融合进物体模型中，得到最终的物体模型。

本发明实施例的手与物体复杂交互场景重建方法，基于单个RGBD相机进行重建，系统简单；既重建人手的运动，又重建物体的几何和运动，信息重建完整；且能处理包含双手和多物体的复杂交互情况；结合人手姿态估计，物体识别分割，统一能量优化以及多物体重建方法的复杂交互过程重建方案，最终获得交互过程的完整三维信息，从而可以针对人手与物体复杂交互过程，从单个RGBD相机所采集的序列中重建交互过程三维信息，能够获得人手的姿态运动和物体的表面，有效解决基于单个RGBD相机进行复杂交互过程重建中出现的高复杂性和强不确定的问题。

另外，根据本发明上述实施例的手与物体复杂交互场景重建方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述采集所述RGBD序列，包括：对RGB信息和D信息进行对齐。

进一步地，在本发明的一个实施例中，所述RGBD图像送入手势预测神经网络中进行预测，包括：使用开源库OpenPose，或者在所述开源库的基础上进行训练，以得到所述左手的姿态预测数据与所述右手的姿态预测数据。