[发明专利]一种基于形态学的近景手势识别方法

说明书

本发明旨在提出一种基于形态学的近景手势识别方法。首先采集RGB彩色图像和深度图像，利用haar特征检测器，获取彩色图中的手部掩码box1；依次根据RGBD对齐原理、一阶差分和阈值处理获得分割后手部区域的RGBD图，并裁剪下感兴趣区域ROI得到手部掩码box3；再对手部掩码box3求解最大内切圆，通过内切圆的几何参数估计掌部大小与掌心位置；设计坐标淘汰机制提取指端区域和指端数N，并根据N的值选择提前训练好的CNN分类模型，对手势进行分类，得到最终手势类型。该方法在识别手部区域过程中特别地设计了一种坐标淘汰机制和一种新型的科学的图像卷积算子，该算子具有旋转不变性，能对近景的复杂手势进行快速识别。

技术领域

本发明涉及手势识别的算法。更详细的说，是一种基于形态学的近景手势识别方法，并且提出了实现该方法加速计算的具体办法。

背景技术

随着计算机的广泛应用，人机交互已成为人们日常生活中的重要部分。人机交互的最终目标是实现人与机器自然地交流，因此手势识别研究顺应了人们生活发展需要。目前，手势识别也已经应用在各个领域，例如视频直播、机器人和AR等领域。然而由于手势本身具有多样性、多义性以及时间和空间上的差异性等特点，同时人手的复杂性以及视觉本身的不适定性，导致手势识别成为一门多学科交叉的研究课题。

通常运用在手势识别的算法主要有以下三种：

1、skeleton算法。适用于刚性、自由度低的物体，对于手部这种具有较多自由度的物体不能准确识别；

2、poly算法。能得出手势的几何模型，但由于算法简单，仅仅使用图像轮廓求凸集来等效求解手指个数，鲁棒性差，不适合在复杂环境下使用。而且当手指距离较近时不能准确识别每根手指，手势识别效果不理想；

3、完全依赖深度学习识别的方法。该算法得到的手势识别精度较高，但计算时占用内存多，运行时间长，硬件成本高。

所以，以上三种方法都存在弊端：skeleton算法和poly算法并不适合用于手势识别；深度学习方法适合手部识别，但对硬件的要求较高，目前不适合嵌入型的实时性手部识别的运算。

[发明内容]

本发明的目的在于克服现有技术的不足，提出了一种基于形态学的近景手势识别方法。该方法在识别手部区域过程中涉及一种有效合理的坐标淘汰机制，包含一种新型的科学的图像卷积算子，该算子具有旋转不变性，能对近景的复杂手势进行快速识别，滤波能力强，解决了现有算法难以识别合并手指等难题。

利用设计的坐标淘汰机制，得出一种行之有效的手部识别方案，步骤如下：

1)获取手部掩码：采集RGB彩色图像和深度图像，利用haar特征检测器，获取彩色图中的手部掩码box1；

2)掩码RGBD配准：根据RGBD对齐原理，将手部掩码box1转化为与RGBD配准后的手部掩码box2；

3)去除背景：利用深度信息，对手部掩码box2使用一阶差分阈值处理去除背景，并裁剪下感兴趣区域ROI，获得分割区域中更精确的手部掩码box3；

4)初步估计掌心参数：对手部掩码box3求解最大内切圆，获得圆心的坐标（）和半径，即估计的掌心位置与掌部大小；

5)进行投票淘汰筛选，对手部掩码box3中的所有坐标进行投票，淘汰非手指区域，初步确定手指区域，说明如下：

a)总体思路：若手部掩码box3中某坐标点通过投票得分越高，则表示该点越有可能是非手指上的坐标点，越应该被淘汰，根据所有点经投票的最终得分准确判断手部掩码box3中代表手指的坐标点集合和非手指的坐标点集合；

b)定义座位：设置一个长为2b+1、宽为2b+1的卷积窗口；该卷积窗口有K个座位；