[发明专利]一种手势识别方法、装置、计算机设备及存储介质

说明书

本发明公开了一种手势识别方法、装置、计算机设备及存储介质，该方法包括采集构建包含多张训练手势图的手势数据集；利用预先构建的手势检测网络进行手势区域检测和提取，得到第一手势区域；利用改进的全卷积神经网络对第一手势区域进行手势提纯处理，得到第二手势区域；分别对第二手势区域提取Hu矩特征和Hog特征值，然后将Hu矩特征和Hog特征值进行融合，得到训练手势图对应的手势特征；对手势特征进行降维处理，得到一特征文件；基于SVM手势识别方法对特征文件进行模型训练，以构建得到手势识别模型；利用手势识别模型对指定的手势图进行识别。本发明通过融合手势图的Hu矩特征和Hog特征值，可提高对于手势识别的准确度。

技术领域

本发明涉及人机交互技术领域，特别涉及一种手势识别方法、装置、计算机设备及存储介质。

背景技术

手势识别作为一种人机交互方式，相比于使用鼠标、键盘，触摸屏等方式有着更加简便、自然、通俗易懂等优势。在PC端，在简单背景和较复杂背景条件下，手势识别的研究已趋于成熟，但在人手与人脸重叠、手势周围存在大面积类肤色、光照不均匀(光线太亮或太暗)等复杂背景下，其检测效果一般，识别率较低。手势识别在安卓系统平台(电子白板、智能电视等)的应用是一个趋势，但由于硬件平台受限，安卓系统平台的运算能力与内存容量相比PC端还是有较大的差距，因此实际硬件的处理能力也是一个需要考虑的重要因素。复杂算法通常有较好的识别率，但复杂算法通常具有复杂度高、运算量大、不满足实时性等缺点，降低用户体验；而简单算法虽然复杂度低、运算量小、可以满足实时性，但简单算法的识别率低，所以需要平衡好算法的复杂性和系统的实时性。

手势识别系统主要分为两个部分，第一部分是手势检测与分割，第二部分是手势特征提取及手势识别，其中第一部分是关键，直接影响到第二部分手势识别结果的好坏，特别是在复杂背景条件下。对于手势检测与分割技术，当前主要包括肤色检测与分割、区域对比度、肤色-区域对比度、贝叶斯推理视觉注意力、YOLO算法(一种对象检测算法)、Viola-Jones+Haar(一种人脸检测方法)、Viola-Jones+LBP(一种人脸检测方法)等，而对于手势特征提取及手势识别技术，主要有Hu不变矩+模板匹配、Hog特征+SVM、CNN等。

但是上述手势检测与分割技术通常具有一定的缺陷。例如肤色在简单背景中识别率较高，而在复杂环境条件下识别率较差；区域对比度技术在当前手势区域与相邻手势区域的颜色对比度不显著，或者背景中存在与周围区域对比度较大区域时，容易检测不到手势区域，误将背景中的显著区域分割出来；肤色-区域对比度方法是区域对比度方法的改进，该方法虽然引入肤色特征以进一步降低复杂背景中非类肤色区域的干扰，但并没有解决当手势在图中不显著或手势周围存在大面积类肤色区域而无法准确检测到手势并进行正确分割的问题；贝叶斯推理视觉注意力方法通过模仿人类视觉机制提取出特征，然后输入到基于贝叶斯推理的注意力模型中，这样虽然识别率有了较大的提升，但计算时间较长、实时性较差，且由于负责特征提取的注意力模型层数较少、简单，在光线照度不均匀、颜色不一、形状多样、类肤色等复杂环境下所提取的特征较低级，不够全面、丰富，无法有效表达手势信息，最终识别率达不到要求；YOLO算法虽然有优于其它所有目标检测算法的速度，能够满足实时性，但由于其结构复杂，需要借助GPU(图形处理器)才能满足实时性要求，因而导致Android平台下的硬件平台达不到要求；Viola-Jones+Haar和Viola-Jones+LBP虽然计算简单、运算速度快，可以满足实时性要求，并且在对目标进行检测时具有较高准确性与稳定性，但在复杂背景下特别是当人脸与手势重合时检测效果差，极易出现手势检测不完整的现象。