[发明专利]一种手部图像分割方法及装置

说明书

本发明提供了一种手部图像分割方法及装置，在获取手部候选框RGB彩色图像之后，通过语义分割神经网络模型进行处理，得到手部候选框RGB彩色图像的像素分割标签，并利用得到的像素分割标签对手部候选框RGB彩色图像进行语义分割，得到前景手部深度值和彩色手部分割区域数据，避免了背景深度值对手部深度数据的干扰，再利用彩色手部分割区域数据对前景手部深度值进行修正，得到准确的手部深度数据，由于本发明采用语义分割神经网络模型对手部候选框RGB彩色图像进行语义分割，降低了基于单目深度相机的手部关键点估计技术深度图数据质量的依赖性。

技术领域

本发明涉及图像处理技术领域，更具体的，涉及一种手部图像分割方法及装置。

背景技术

3D手势关键点估计为3D手势控制的关键技术，其中，基于双红外数据的手部关键点估计技术为一种准确度较高的3D手势关键点估计技术，利用外部参数标定好的双红外摄像头从不同角度拍摄手的姿态，从而在算法识别过程中可以有效利用不同角度的数据对算法结果进行修正，但是其算法和技术必须依赖于硬件设备(双红外摄像头)，不具有普适性。

基于单目深度相机的手部关键点估计技术不依赖双红外摄像头，直接或间接利用一个深度摄像头通过获取其红外图和彩色图，采用RGB空间的彩色图像算法识别出图像中手部关键点的二维坐标，然后在配准后的深度图像中找对应位置的深度值，作为其深度方向的数值，或直接采用单目深度图像数据算法识别出深度图像中手部关键点的三维坐标。

但是，这种基于单目深度相机的手部关键点估计技术依赖深度图数据的质量，当深度图像存在较多噪声、深度图不够精准、边缘轮廓不够平滑或背景深度值存在很大干扰等情况，使得手部前景的深度数据不够准确，影响手部关键点坐标估计的准确度。

发明内容

有鉴于此，本发明公开了一种手部图像分割方法及装置，对手部检测后得到的手部候选框RGB彩色图像进行优化处理，得到准确的手部深度数据。

为了实现上述发明目的，本发明提供的具体技术方案如下：

一种手部图像分割方法，包括：

获取手部候选框RGB彩色图像，所述手部候选框RGB彩色图像为经过手部检测后得到的RGB彩色图像；

将所述手部候选框RGB彩色图像输入语义分割神经网络模型中进行处理，得到所述手部候选框RGB彩色图像的像素分割标签；

利用得到的像素分割标签对手部候选框RGB彩色图像进行语义分割，得到前景手部深度值和彩色手部分割区域数据；

利用所述彩色手部分割区域数据对所述前景手部深度值进行修正，得到准确的手部深度数据。

可选的，所述方法还包括：

获取所述语义分割神经网络模型的训练数据，所述训练数据包括多个包含CG手部模型的合成彩色图像及其像素分割标签；

利用所述训练数据对预设神经网络模型进行训练，当所述预设神经网络模型输出结果的准确率大于阈值时，得到所述语义分割神经网络模型。

可选的，所述获取所述语义分割神经网络模型的训练数据，包括：

通过设置每个手部关键点的自由度参数，生成不同手部姿势的CG手部模型；

分别将不同手部姿势的CG手部模型渲染到不同的彩色场景图像中，得到多个合成彩色图像；

分别对每个所述合成彩色图像中CG手部模型映射在彩色场景图像中的形状进行打码，得到每个所述合成彩色图像的像素分割标签；

对每个所述合成彩色图像及其像素分割标签进行归一化处理，得到具有预设分辨率的所述语义分割神经网络模型的训练数据。

可选的，所述获取手部候选框RGB彩色图像，包括：