[发明专利]一种手部图像分割方法及装置

权利要求书

1.一种手部图像分割方法，其特征在于，包括：

获取手部候选框RGB彩色图像，所述手部候选框RGB彩色图像为经过手部检测后得到的RGB彩色图像；

将所述手部候选框RGB彩色图像输入语义分割神经网络模型中进行处理，得到所述手部候选框RGB彩色图像的像素分割标签；其中，所述像素分割标签中所述手部候选框RGB彩色图像的手部前景像素的像素值为255，其他部分的像素值为0；

利用得到的像素分割标签对手部候选框RGB彩色图像进行语义分割，得到前景手部深度值和彩色手部分割区域数据；所述彩色手部分割区域数据为深度图和彩色图中除了手所在区域之外的其他所有数据；

利用所述彩色手部分割区域数据对所述前景手部深度值进行修正，得到准确的手部深度数据，具体为：判断前景手部轮廓中每个像素的深度值是否存在，若存在则不做任何处理；若不存在，则不存在深度值的像素为待修正像素，依据彩色手部分割区域数据中待修正像素的近邻像素的深度值修正待修正像素的深度值；

获取所述语义分割神经网络模型的训练数据，包括：

通过设置每个手部关键点的自由度参数，生成不同手部姿势的CG手部模型；分别将不同手部姿势的CG手部模型渲染到不同的彩色场景图像中，得到多个合成彩色图像；分别对每个所述合成彩色图像中CG手部模型映射在彩色场景图像中的形状进行打码，得到每个所述合成彩色图像的像素分割标签；对每个所述合成彩色图像及其像素分割标签进行归一化处理，得到具有预设分辨率的所述语义分割神经网络模型的训练数据，所述训练数据包括多个包含CG手部模型的合成彩色图像及其像素分割标签；

利用所述训练数据对预设神经网络模型进行训练，当所述预设神经网络模型输出结果的准确率大于阈值时，得到所述语义分割神经网络模型。

2.根据权利要求1所述的方法，其特征在于，所述获取手部候选框RGB彩色图像，包括：

利用手部识别算法对目标彩色图像进行手部检测，得到包含手部图像的RGB彩色图像；

对所述RGB彩色图像进行归一化处理，得到预设分辨率的所述手部候选框RGB彩色图像。

3.根据权利要求1所述的方法，其特征在于，在所述得到准确的手部深度数据之后，所述方法还包括：

对准确的手部深度数据进行关键点估计，得到每个手部关键点的三维坐标。

4.一种手部图像分割装置，其特征在于，包括：

图像获取单元，用于获取手部候选框RGB彩色图像，所述手部候选框RGB彩色图像为经过手部检测后得到的RGB彩色图像；

模型处理单元，用于将所述手部候选框RGB彩色图像输入语义分割神经网络模型中进行处理，得到所述手部候选框RGB彩色图像的像素分割标签；其中，所述像素分割标签中所述手部候选框RGB彩色图像的手部前景像素的像素值为255，其他部分的像素值为0；

语义分割单元，用于利用得到的像素分割标签对手部候选框RGB彩色图像进行语义分割，得到前景手部深度值和彩色手部分割区域数据；所述彩色手部分割区域数据为深度图和彩色图中除了手所在区域之外的其他所有数据；

数据修正单元，用于利用所述彩色手部分割区域数据对所述前景手部深度值进行修正，得到准确的手部深度数据；

训练数据获取单元，用于获取所述语义分割神经网络模型的训练数据，所述训练数据包括多个包含CG手部模型的合成彩色图像及其像素分割标签；

模型训练单元，用于利用所述训练数据对预设神经网络模型进行训练，当所述预设神经网络模型输出结果的准确率大于阈值时，得到所述语义分割神经网络模型；

所述训练数据获取单元，具体用于：通过设置每个手部关键点的自由度参数，生成不同手部姿势的CG手部模型；分别将不同手部姿势的CG手部模型渲染到不同的彩色场景图像中，得到多个合成彩色图像；分别对每个所述合成彩色图像中CG手部模型映射在彩色场景图像中的形状进行打码，得到每个所述合成彩色图像的像素分割标签；对每个所述合成彩色图像及其像素分割标签进行归一化处理，得到具有预设分辨率的所述语义分割神经网络模型的训练数据；

所述数据修正单元，用于判断前景手部轮廓中每个像素的深度值是否存在，若存在则不做任何处理；若不存在，则不存在深度值的像素为待修正像素，依据彩色手部分割区域数据中待修正像素的近邻像素的深度值修正待修正像素的深度值。