[发明专利]基于改进YOLOv5的中文标注手势识别方法与系统

说明书

本发明公开了一种基于改进YOLOv5的中文标注手势识别方法与系统，可用于智能驾驶手势控制。本发明首先对选取的0～5六种手势训练数据集进行图像增广；然后对数据集进行预处理操作，使用分段线性变换、直方图均衡化方法、平滑去噪以及边缘检测操作，得到目标图片；接着对预处理后的目标数据集添加具体指挥含义，并改进YOLOv5算法的FPN结构，引入快速归一化融合策略，使用改进后的算法对得到的目标数据集进行训练；训练完成后对待检测图片进行目标检测，并在图片上方显示中文标签和识别准确率。与现有技术相比，本发明采用高效的特征融合方式，能够提高识别准确率，减少过拟合现象的产生，并且以中文标签进行打标实现汉字显示，提高了应用广度。

技术领域

本发明涉及图像处理、目标检测与识别技术领域，特别涉及一种基于改进YOLOv5的中文标注手势识别方法与系统。

背景技术

手势是人类基本动作特征，不同手势包含不同特征，可代表特殊含义；同时，随着社会的发展，传统的硬件输入设备已无法满足人们对人机交互的需要，手势识别已成为人机交互领域的一项关键技术。尤其地，手势识别在车联网智能驾驶中应用更为广泛，驾驶员可通过自定义手势实现相关智能功能，从而减少分心程度，更加专注于路况信息，提高驾驶的安全性。

目前市场上应用于智能驾驶手势识别的方式主要有三种，一是采用特殊穿戴式设备，但操作复杂，定制设备较为昂贵，且存在硬件接触问题，难以广泛应用；二是采用传统手势分割方法，在分类器中训练分割后的有效部分，由于手势环境复杂，很难在同一方法下准确提取有效区域，其鲁棒性较差，准确率较低，难以满足实际应用；三是采用深度学习方法，对大量的测试集进行训练，进而判断手势类别，此方法对数据集要求较高，需有代表性和普遍性的图像，训练时间较长，但能提高识别的准确率。

针对于上述方法，以基于深度学习卷积神经网络的YOLO算法为代表的小目标检测优势明显，YOLO将物体检测作为回归问题求解，检测效率较高，背景误检率低，通用性强，其中YOLOv5在模型的灵活性、快速部署和收敛上有较好的表现，YOLOv5由输入端、Backbone、Neck、Predication四个部分组成，Backbone新添加的Focus模块采用切片操作将目标图片分层，使输入通道扩充成原来的4倍，并经过一次卷积减少计算量，Neck中采用了FPN与PAN结合的结构，将FPN与特征金字塔结合，融合语义特征和位置特征，输出端采用GIOU_Loss作为Bounding box的损失函数，减少偏差。

而目前用于智能驾驶中基于YOLOv5的手势识别方法，结构较为复杂，且不能考虑到由于驾驶员体型不同，存在手部距离图像采集器的距离、角度不同和手型胖瘦等相关的实际问题，除此之外，受限于图像采集器所采集的低像素小尺寸图像，给训练过程带来较大难度，会出现准确率、鲁棒性较低的现象；在算法识别的结果显示图中，其标注标签和目标结果标签均以英文显示，无法支持中文字符，不符中国人的使用习惯，因此在中国市场上难以得到推广，导致使用人群范围受到限制。

发明内容

发明目的：针对现有技术中存在的不足，本发明目的在于提供一种基于改进YOLOv5的中文标注手势识别方法与系统，通过改进FPN实现更高效的特征融合方式，由于不同的输入特征具有不同的分辨率，对输出特征的贡献不相等，因此引入快速归一化策略(fast normalized fusion)，提高识别准确率，减少过拟合现象的产生，降低由于驾驶员手部与图像采集器的距离、角度不同和手型胖瘦的影响，出现对待识别手势中手指数量误识别的情况。

技术方案：为实现上述发明目的，本发明采用如下技术方案：一种基于改进YOLOv5的中文标注手势识别方法，包括以下步骤：

步骤一：选取训练数据集，训练数据集中包括不同的人的0～5六种手势，需要对不同的人进行手势拍摄，其中包括男女、胖瘦、角度变换等多类情况，且增加干扰手势；

步骤二：将得到的手势数据集进行图像增广，包括通过旋转仿射变换、亮度变换、添加高斯噪声等操作，以及任意次序组合等操作；