[发明专利]带标注的手与物体复杂交互真实彩色数据生成方法及装置

权利要求书

1.一种带标注的手与物体复杂交互真实彩色数据生成方法，其特征在于，包括以下步骤：

S1，通过两台相对放置的RGBD相机采集人手与物体交互场景的彩色图片序列和深度图片序列；

S2，通过截取网络对所述深度图片序列进行截取，将截取的人手与物体交互部分的数据送入双视角人手与物体交互重建系统中进行重建，得到完整的物体几何以及逐帧的人手姿态和物体姿态；

S3，在所述彩色图片序列和所述深度图片序列中，利用深度阈值截取前景深度数据，将所述前景深度数据投影到彩色图像中作为模板得到前景的彩色图像，将所述逐帧的人手姿态和物体姿态变换到彩色相机坐标系下，得到所述彩色图片序列对应的人手姿态和物体姿态；

S4，将所述前景的彩色图像、所述彩色图片序列对应的人手姿态和物体姿态以及物体几何作为带标注的人手与物体交互过程前景数据集。

2.根据权利要求1所述的带标注的手与物体复杂交互真实彩色数据生成方法，其特征在于，在所述S1之前还包括：

S0，在人手上佩戴特殊颜色的护腕，通过RGBD相机采集人手与物体交互的彩色-深度图片序列，通过护腕对人手和物体交互部分的深度图片序列进行截取，构建深度图片序列上的截取训练数据集进行训练得到截取网络。

3.根据权利要求2所述的带标注的手与物体复杂交互真实彩色数据生成方法，其特征在于，所述S0具体包括：

S01，使人手佩戴特殊颜色的护腕与物体在RGBD相机前进行交互；

S02，使用单台RGBD相机采集交互的彩色图片序列和深度图片序列；

S03，利用特殊颜色的护腕的彩色信息截取人手和物体的数据，获得截取框；

S04，构建深度图片序列与人手和物体有效信息截取框的数据集；

S05，训练输入为交互的深度信息，输出为人手与物体信息截取框的截取网络。

4.根据权利要求1所述的带标注的手与物体复杂交互真实彩色数据生成方法，其特征在于，所述将截取的人手与物体交互部分的数据送入双视角人手与物体交互重建系统中进行重建，包括：

通过两轮求解策略进行重建，在第一轮求解中，初始状态下没有物体几何，物体模型融合模块开启，通过第一轮求解获得逐帧的人手姿态、物体姿态和所述完整的物体几何；

在第二轮求解中，将第一轮获得的所述完整物体几何作为物体的已知模型，关闭所述物体模型融合模块，以第一轮得到的逐帧的人手姿态和物体姿态作为初始值，求解交互的逐帧人手姿态和物体姿态。

5.根据权利要求1所述的带标注的手与物体复杂交互真实彩色数据生成方法，其特征在于，在所述S4之后还包括：

S5，利用RGBD相机采集不同场景的彩色图片序列和深度图片序列作为背景，将所述前景的彩色图像与所述不同场景的背景进行深度检测融合，得到具有不同背景的带标注的人手与物体交互过程的增强数据集。

6.根据权利要求5所述的带标注的手与物体复杂交互真实彩色数据生成方法，其特征在于，所述S5具体包括：

S51，将背景深度数据中像素值为0的像素赋值为预设值；

S52，逐像素比较前景深度图和背景深度图，记录前景深度大于背景深度的像素数；

S53，计算前景深度大于背景深度的像素数与有效前景像素数的比值；

S54，在比值小于深度阈值时，将前景的有效彩色数据覆盖到背景彩色数据上，生成增强数据集。

7.根据权利要求1所述的带标注的手与物体复杂交互真实彩色数据生成方法，其特征在于，在所述S1中，将两台RGBD相机采集的彩色图片序列和深度图片序列进行时间对齐和空间位置标定。