[发明专利]一种基于高光谱成像的手势识别方法及装置

说明书

本发明公开了一种基于高光谱成像的手势识别方法及装置，其中，手势识别方法包括：通过高光谱成像系统采集处于可见光源和红外光源共同照射下的手势的图像，获得高光谱图像；对多通道高光谱图像进行目标特征融合，形成单通道图像；对所述单通道图像去噪处理，得到去噪图像；通过图像识别和动作追踪算法对所述去噪图像进行识别，获取手势识别结果。本发明可以同时采集可见光波段和红外光波段的手势图像信息，在手势识别中对多通道高光谱图像进行目标特征的有效融合，使得目标特征区域对比度增强，从而有效地进行图像分割，提取手的轮廓信息进行后续的手势识别，有助于提高手势识别的准确性和有效性。

技术领域

本发明属于手势识别技术领域，具体涉及一种基于高光谱成像的手势识别方法，同时涉及一种基于高光谱成像的手势识别装置。

背景技术

在计算机科学中，手势识别是通过数学算法来识别人类手势的一个议题。用户可以使用简单的手势来控制设备或与设备交互，让计算机理解人类的行为。其核心技术为手势分割算法、手势分析算法以及手势识别算法。

随着图像识别和动作追踪的技术的不断成熟，越来越多的设备都可以通过手势进行操作和交互。相比于传统鼠标键盘输入，手势操作更加方便，交互种类更加多样，交互过程更加直观。当今市场已出现多款通过手势控制的商用产品，比如微软的Kinect，谷歌的Google Glass，Leap Motion。用户对交互多样性的要求正在不断提升，手势识别的引用范围也会越来越广。

一般的手势识别过程为：图像采集，特征提取，分类匹配。目前常见产品大多都是基于可见光的识别系统，缺少其他波段光的成像结果，一旦使用场景过暗或者背景与手比较相似，信噪比较高，其识别的准确性和有效性都大大下降。即使使用主动红外成像设备，也有可能因为采集设备敏感程度过高而产生过曝和噪点的问题，影响之后识别效果。

发明内容

为解决现有技术中基于可见光的识别系统准确性和有效性不足的问题，本发明公开了一种基于高光谱成像的手势识别方法，以提高准确性和有效性；同时相应公开一种基于高光谱成像的手势识别装置。

本发明公开的一种基于高光谱成像的手势识别方法，包括以下步骤：

通过高光谱成像系统采集处于可见光源和红外光源共同照射下的手势的图像，获得高光谱图像；

对所述高光谱图像进行目标特征融合处理，形成单通道图像；

对所述单通道图像去噪处理，得到去噪图像；

通过图像识别和动作追踪算法对所述去噪图像进行识别，获取手势识别结果。

进一步方案中，对所述高光谱图像进行目标特征融合处理，形成单通道图像的步骤包括：将所述高光谱图像中不同波段的图像依据目标特征的匹配机制执行，剔除目标特征不符合匹配机制的波段的图像，并将目标特征符合匹配机制的波段的图像融合成单通道图像。

进一步方案中，所述匹配机制采用经过训练的卷积神经网络算法，所述匹配机制基于卷积神经网络算法将所述高光谱图像中不同波段图像的目标特征与训练集中各波段图像的目标特征做匹配。

进一步方案中，所述卷积神经网络算法的训练包括：将输入的各波段图像的目标特征与训练集中预置的各波段图像的目标特征作匹配，将匹配度大于预设匹配度阈值的图像更新至训练集中。

进一步方案中，所述图像识别和动作追踪算法具体采用卷积神经网络算法。当然，也可以采用其他适合手势图像识别或动作追踪的算法。

本发明相应公开的一种基于高光谱成像的手势识别装置，包括可见光源、红外光源、高光谱成像系统、图像处理单元以及手势识别单元；其中，

所述可见光源和红外光源共同照射目标手势；

所述高光谱成像系统采集处于可见光源和红外光源共同照射下的手势的图像，获得高光谱图像；