[发明专利]基于双路分割的MA-YOLO动态手势快速识别方法

说明书

本发明提供一种基于双路分割MA‑YOLO的动态手势快速识别方法，所述方法包括：101、提出MA‑YOLO算法，将YOLO主干网络换为更轻量的resnet‑34网络进行特征提取，加入了ASPP模块来改变感受野，同时也加入了注意力机制，可更好的进行自主学习；102、提出基于双路分割的复杂环境手势识别技术，可通过双路分割结合深度信息分割图与肤色分割图实现复杂环境下的手势识别。本发明相比于前人的基础方法精度提高了5.4％，识别速度降低到了50ms以下。

技术领域

本发明属于图像处理领域，具体设计一种基于双路分割的MA-YOLO动态手势快速识别方法。

背景技术

随着科学技术的发展，计算机已经渗透到平民百姓生活之中，且在各个领域发挥日愈重要的作用。当前科学研究领域越发重视与计算机的互动交流。近年来虚拟现实技术快速发展，极大地提高了人类的研究热情。现有研究主要集中在识别面部表情、嘴部、检测头部方向、跟踪视线、识别手势以及定位技术、解释人体姿势等方面。在科学领域、日常生活中普遍应用到各种手势，当前手势识别已经成为重点研究课题。与此同时，学术界结合研究目标，引入各类科学技术进行处理。手势作为普遍存在的交流方式，具有直观、自然等属性特点。因此，手势识别作为关键技术在人与计算机交流互动中充分发挥作用。

然而由于手本身是复杂的人体部位，其存在空间位置差异性及多样性、复杂性的特点，加之人体本身的不适应性。而且在手势识别过程中，现有的手势识别技术受外部环境、背景等因素影响较大，缺少降低手势识别中外部因素对识别过程的影响的办法，这是手势识别的一大瓶颈。同时，现有的手势识别技术在识别过程中耗费的时间过多，没有办法实时的完成手势指令的实施，然而无法实时的完成指令实施，手势识别对现实日常生活的作用就降低了很多，无法满足日常生活中的使用。

因此，我们需要一种新的手势识别方法以实现在复杂环境下的动态手势快速识别。

发明内容

本发明要解决的技术问题是提供一种新的基于双路分割的MA-YOLO动态手势快速识别方法，可实现复杂背景下的动态手势快速识别。

本发明的目的是这样实现的：

一种基于双路分割的MA-YOLO动态手势快速识别方法，包括如下步骤：

步骤1：利用RGB、TOF摄像头采集目标的RGBD信息，通过肤色分割和动态阈值法来处理RGB信息和深度信息，将两路信息融合得到最终分割图像；

步骤2：构建MA-YOLO网络模型：将分割后的图像进行分类信息以及检测框的标注，再将图像输入改进的MA-YOLO网络中进行训练，通过梯度下降等方法调整迭代过程中的参数值，最终获得训练完毕的MA-YOLO网络模型；

步骤3：将视频流截取图片先根据RGBD信息进行手部分割，再将分割好的图片送入训练好的模型中进行检测，输出检测后手部位置以及手势类型的分类信息，将分类信息传递给云端，再从云端传入终端，从而实现手势指令对信息设备、系统的控制

本发明还包括这样一些特征：

所述步骤一具体为：

步骤1.1：取得彩色图像后在HSV颜色空间与YCbCr颜色空间分别进行肤色阈值分割，取并集的肤色分割图；

步骤1.2：取得深度图像后求取前景背景最大方差，然后进行最佳阈值分割，得到深度信息分割图；

步骤1.3：将取得的肤色分割图与深度信息分割图取并集得到最终的分割图像；

所述步骤二中MA-YOLO模型包括：ResNet-34网络、ASPP模块和注意力机制；输入图像进入主干网络进行特征提取，将不同层次的特征图输出后分别进入一个ASPP模块来增加感受野以解决尺度变化的问题，将低级特征与高级特征融合以获得更多的图像信息，然后进入一个通道注意力模块来提升手势识别精度，最后将处理好的特征送入检测模块获得最终结果。