[发明专利]带标注的手与物体复杂交互真实彩色数据生成方法及装置

说明书

本发明公开了一种带标注的手与物体复杂交互真实彩色数据生成方法及装置，该方法包括：通过使用两台相对放置的RGBD相机采集人手与物体交互过程，获得两组彩色‑深度数据对序列，使用深度数据对交互过程进行重建，获得人手姿态、物体几何和物体姿态，并将其转换到彩色相机坐标系下，建立单目RGB和人手姿态、物体几何和物体姿态的数据集。该方法在深度序列上分割人手与物体交互部分并重建人手姿态、物体几何和姿态，不会破坏彩色数据。

技术领域

本发明涉及神经网络技术领域，特别涉及一种带标注的手与物体复杂交互真实彩色数据生成方法及装置。

背景技术

人使用手与物体进行交互是日常生活中非常常见的场景，手与物体交互过程包含了丰富的信息。对人手与物体的交互过程进行重建是计算机视觉的重要研究领域，对于AR/VR，HCI以及智能机器人等产业都具有非常重要的应用价值。在计算机视觉领域和与视觉相关的产业中，彩色相机是应用最为广泛的视觉传感器。随着人工智能的发展，使用神经网络处理单目彩色图片序列对人手与物体交互过程进行重建是目前研究的热点问题也是最有应用前景的方案。为了训练能够通过处理单目彩色图像序列重建手与物体交互过程的神经网络，如何获得训练数据成为了最重要的问题。然而，目前少有成熟的，且不破坏视觉信息的真实彩色数据生成方案。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种带标注的手与物体复杂交互真实彩色数据生成方法，该方法在深度序列上分割人手与物体交互部分并重建人手姿态、物体几何和姿态，算法中不需要对彩色数据的特殊要求，不会破坏彩色数据。

本发明的另一个目的在于提出一种带标注的手与物体复杂交互真实彩色数据生成装置。

为达到上述目的，本发明一方面实施例提出了一种带标注的手与物体复杂交互真实彩色数据生成方法，包括：

S1，通过两台相对放置的RGBD相机采集人手与物体交互场景的彩色图片序列和深度图片序列；

S2，通过截取网络对所述深度图片序列进行截取，将截取的人手与物体交互部分的数据送入双视角人手与物体交互重建系统中进行重建，得到完整的物体几何以及逐帧的人手姿态和物体姿态；

S3，在所述彩色图片序列和所述深度图片序列中，利用深度阈值截取前景深度数据，将所述前景深度数据投影到彩色图像中作为模板得到前景的彩色图像，将所述逐帧的人手姿态和物体姿态变换到彩色相机坐标系下，得到所述彩色图片序列对应的人手姿态和物体姿态；

S4，将所述前景的彩色图像、所述彩色图片序列对应的人手姿态和物体姿态以及物体几何作为带标注的人手与物体交互过程前景数据集。

本发明实施例的带标注的手与物体复杂交互真实彩色数据生成方法，通过使用两台相对放置的RGBD相机采集人手与物体交互过程，获得两组彩色(RGB)-深度(D)数据对序列，使用深度数据对交互过程进行重建，获得人手姿态、物体几何和物体姿态，并将其转换到彩色相机坐标系下，建立单目RGB和人手姿态、物体几何和物体姿态的数据集。为了对数据进行增强，可采集不同场景的彩色-深度数据作为背景，然后将人体与物体部分作为前景根据深度融合到不同的背景中，即可得到增强的数据集。由此，在深度序列上分割人手与物体交互部分并重建人手姿态、物体几何和姿态，算法中不需要对彩色数据的特殊要求，不会破坏彩色数据。

另外，根据本发明上述实施例的带标注的手与物体复杂交互真实彩色数据生成方法还可以具有以下附加的技术特征：

在本发明的一个实施例中，在所述S1之前还包括：

S0，在人手上佩戴特殊颜色的护腕，通过RGBD相机采集人手与物体交互的彩色-深度图片序列，通过护腕对人手和物体交互部分的深度图片序列进行截取，构建深度图片序列上的截取训练数据集进行训练得到截取网络。