[发明专利]基于深度相机的手与物体交互分割方法及装置

说明书

本发明公开了一种基于深度相机的手与物体交互分割方法及装置，其中，方法包括：通过深度相机将深度图像与彩色图像对齐，以获取深度图像与彩色图像的对齐修正变换矩阵；根据深度信息进行背景剔除；通过HSV色彩空间进行分割；通过形态学开闭运算分别对人手和物体的mask进行滤波；分别对人手mask和物体mask分别提取轮廓，以得到多个对象轮廓，并选取其中满足预设条件的所有轮廓，重新生成相应的mask，以得到分割结果。该方法有效地完成了基于彩色图像对齐的手与物体的深度图像分割，且研究结果将用于为构建普适的深度分割方法制作数据集，并将为诸多人手任务提供便利。

技术领域

本发明涉及计算机图形学与成像技术领域，特别涉及一种基于深度相机的手与物体交互分割方法。

背景技术

相关技术中，对手与物体交互情形下的人手分割在姿态跟踪、行为识别与人机交互领域有着重要的作用。关于人手的研究也是相关领域的重点。深度相机的固有优势在姿态估计和三维重建领域十分突出，而使用深度相机的手与物体交互情形下的人手分割则没有一个成熟的技术。最近出现的深度相机人手分割方法有着一些先天的不足——必须佩戴特制的手套，造成与实际应用情形有差别；对手与物体交互情形下的分割不够细致等。如何在高分辨率下有效地完成手与物体的分割尚待解决。

发明内容

本申请是基于发明人对以下问题的认识和发现做出的：

近年来，基于红外结构光的深度相机因其独有的三维成像能力，在计算机视觉、计算机图形学领域有着广泛应用。在诸如姿态跟踪、人机交互领域，深度相机有其独特的优势，而手作为人体中最灵活的部分，也是相关研究中的重点。无论是姿态识别、三位重建还是其他应用，对同物体交互的人手的分割与背景剔除都起着重要的作用的。本发明实施例针对深度相机的特点，提出一种基于颜色空间与彩色深度融合的人手分割方法，可以有效识别人手与交互物体，完成深度图像的人手分割任务。

本发明实施例中使用的深度相机是Intel RealSense SR300。该相机使用红外结构光的方法生成深度图像，同时也会采集RGB(Red、Green、Blue，红、绿、蓝三色)图像作为参考。该相机在近距离的分辨率较高，非常适合高分辨率下细致的手与物体交互分割任务。但由于该设备还处于开发版测试阶段，一些功能还不稳定，比如不同批次的产品内参存在误差，无法自动完成RGB图像与深度图像的准确对其等。

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于深度相机的手与物体交互分割方法，该方法有效地完成了基于彩色图像对齐的手与物体的深度图像分割，且研究结果将用于为构建普适的深度分割方法制作数据集，并将为诸多人手任务提供便利。

本发明的另一个目的在于提出一种基于深度相机的手与物体交互分割装置。

为达到上述目的，本发明一方面实施例提出了一种基于深度相机的手与物体交互分割方法，包括以下步骤：步骤S1：通过深度相机将深度图像与彩色图像对齐，以获取所述深度图像与所述彩色图像的对齐修正变换矩阵；步骤S2：根据深度信息进行背景剔除；步骤S3：通过HSV(Hue Saturation Value，调色模型)色彩空间进行分割；步骤S4：通过形态学开闭运算分别对人手和物体的mask进行滤波；步骤S5：分别对人手mask和物体mask分别提取轮廓，以得到多个对象轮廓，并选取其中满足预设条件的所有轮廓，重新生成相应的mask，以得到分割结果。

本发明实施例的基于深度相机的手与物体交互分割方法，通过彩色与深度图像精确对齐，且对彩色图像的空间分布分析，完成物体与人手的分离，最终映射到深度图像上，无需佩戴专用手套，只需选择同人手颜色反差较大的物体，便可以实现深度图像下的人手分割，即实现高分辨率的手与物体交互情形人手分割，从而有效地完成了基于彩色图像对齐的手与物体的深度图像分割，且研究结果将用于为构建普适的深度分割方法制作数据集，并将为诸多人手任务提供便利。