[发明专利]基于通道感知的手势图像特征融合方法

说明书

本发明公开了一种基于通道感知的手势图像特征融合方法。本发明包括如下步骤：1对原始手势图像进行预处理，获得手势图像；2手势图像输入到不同的卷积神经网络，分别获得高阶特征张量和低阶特征张量；3对高阶特征张量进行处理，获得通道压缩后的高阶特征张量；对低阶特征张量进行处理，获得通道扩增后的低阶特征张量；4将步骤3中获得的特征张量进行拼接融合，得到包含高低阶特征的特征张量；5将包含高低阶特征的特征张量输入到SE‑Net模块中，得到标定后的特征张量；6将标定后的特征张量输入到分类器中，得到分类结果。本发明能够提取手势图像的高低阶特征并进行组合，得到精确描述手势的特征张量，并通过其特征实现对手势图像的精确识别。

技术领域

本发明涉及了一种手势图像特征融合方法，具体涉及了一种基于通道感知的手势图像特征融合方法。

背景技术

手势识别主要应用于人机交互以及模式识别等领域，已成为当今时代人机交互的研究热点之一。但如何在现实应用中对复杂背景中的多样化手势进行精确的识别成为了一大难点。目前手势识别方法主要分为基于机器视觉的手势识别方法以及基于深度学习的手势识别方法两大类。

基于机器视觉的手势识别方法主要是通过图像检测、图像处理、图像分割等方法处理图像，获得多种可以描述手势的手势特征，并将这些特征按照一定的比例进行融合，并对融合后的特征进行识别；基于多特征融合的手势识别方法则是提取梯度直方图(HOG)和局部二值模式(LBP)等特征，并进行融合，进而得到更加全面的手势特征信息；基于深度学习的手势识别方法使用卷积神经网络通过卷积层自动提取手势的轮廓肤色等深度特征，并通过卷积层进行融合。

基于机器视觉的手势特征融合方法也能在一定程度上实现对复杂手势特征融合，但是其提取的特征易受光照背景的影响，使融合得到的特征难以精确描述手势图像，且速度较慢。目前基于深度学习的手势识别方法逐渐成为主流，但通过单一卷积神经网络提取到的特征尺度单一，无法全面的描述手势图像。

发明内容

针对传统手势图像特征融合与识别方法得到的特征难以精确描述手势图像的问题，本发明提出了一种更加全面有效的特征融合方法。实现对不同尺度的手势特征的有效融合，使融合后的特征能够精确的描述手势图像。本发明利用ResNet50以及Mini-ResNet两个卷积神经网络提取手势图像的高阶与低阶特征；对低阶特征依次进行空间特征增强、空间压缩以及通道扩增，得到低阶特征张量；对高阶特征进行通道压缩，得到高阶特征张量；将高低阶特征张量在通道维度上进行拼接融合，再使用SE-Net对融合后的特征进行通道特征重标定，强化主要特征同时抑制次要特征。本发明提出的方法完成了对手势图像的高低阶特征的融合，融合后的特征能够更加精确的描述手势图像，实现精确的手势识别。

本发明的技术方案如下：

本发明包括如下步骤：

1)对原始手势图像进行尺寸归一化处理，获得手势图像；

2)手势图像输入到ResNet50卷积神经网络和Mini-ResNet卷积神经网络分别提取手势图像的高阶特征和低阶特征，分别获得高阶特征张量和低阶特征张量；

3)对高阶特征张量进行通道压缩，获得通道压缩后的高阶特征张量；对低阶特征张量依次进行空间特征增强、空间压缩和通道扩增，获得通道扩增后的低阶特征张量；

4)将通道压缩后的高阶特征张量和通道扩增后的低阶特征张量在通道维度上进行拼接融合，得到包含高低阶特征的特征张量；

5)将包含高低阶特征的特征张量输入到SE-Net模块中，得到标定后的特征张量；

6)将标定后的特征张量输入到Softmax分类器中进行分类，得到手势图像的分类结果。

所述步骤2)中：