[发明专利]基于改进YOLOv5的中文标注手势识别方法与系统

权利要求书

1.基于改进YOLOv5的中文标注手势识别方法，其特征在于，包括如下步骤：

步骤一：选取训练数据集，训练数据集中包括不同的人的0～5六种手势；

步骤二：将得到的原始数据集进行图像增广，包括通过旋转仿射变换、亮度变换、添加高斯噪声操作，以及任意次序组合操作；

步骤三：对得到的数据集进行预处理操作，使用分段线性变换、直方图均衡化方法、平滑去噪以及边缘检测操作，得到目标图片，由目标图片构成目标数据集；

步骤四：对预处理后的目标数据集，使用修改后的LabelImg标注工具进行标注，对0～5每个手势添加具体指挥含义，得到.xml为后缀的目标数据集；

步骤五：改进YOLOv5算法的FPN结构，并引入快速归一化融合策略，使用改进后的算法对得到的目标数据集进行训练；

步骤六：训练完成后对待检测图片进行目标检测，并在图片上方显示中文标签和识别准确率。

2.根据权利要求1所述的基于改进YOLOv5的中文标注手势识别方法，其特征在于，所述改进YOLOv5算法的FPN结构为：在原来的FPN结构上只保留76*76、38*38、19*19三层特征层进行特征融合，并省去19*19特征层和76*76特征层的两个中间节点，将改进后FPN结构的19*19特征层进行上采样，与38*38中间维度的特征层进行融合，再将融合后的输出结果与76*76特征层连接，然后添加一条button-up自底向上的通道，同时在输出尺寸为38*38的特征层加入一条输入特征图与输出特征图相连残差边的跳跃连接，简化FPN结构，实现双向跨尺度连接和多尺度融合。

3.根据权利要求1所述的基于改进YOLOv5的中文标注手势识别方法，其特征在于，所述快速归一化融合策略为：相对于传统的softmax方法，改变了将权重定义为概率的操作，给神经元引入非线性因素，提高梯度下降法求解最优解的速度和收敛速度，权重公式如下所示：

其中Output为经过快速归一化后的输出图像结果，w_i是一个可以学习的权重，smooth是一个保证数值稳定的小量，i、j是在特征融合节点输入的特征图索引，I_i为输入的特征图矩阵，为了确保w_i≥0，其中，采用ReLU激活函数。

4.根据权利要求1所述的基于改进YOLOv5的中文标注手势识别方法，其特征在于，所述步骤四中，修改Windows版本LabelImg标注图片工具，改变字符类型，调取Windows内部中文字体，使用可变长度字符编码实现汉字显示，使得打开文件路径中可包含中文目录，也可实现以中文标注标签和显示中文标签的功能。

5.根据权利要求1所述的基于改进YOLOv5的中文标注手势识别方法，其特征在于，所述步骤二中对旋转后的图片进行黑色填充。

6.基于改进YOLOv5的中文标注手势识别系统，其特征在于，包括如下模块：

采集模块，用于获取训练数据集，训练数据集中包括不同的人的0～5六种手势；

图像增广模块，用于将得到的原始数据集进行图像增广，包括通过旋转仿射变换、亮度变换、添加高斯噪声操作，以及任意次序组合操作；

图像预处理模块，用于对得到的数据集进行预处理操作，使用分段线性变换、直方图均衡化方法、平滑去噪以及边缘检测操作，得到目标图片，由目标图片构成目标数据集；

数据集标注模块，用于对预处理后的目标数据集，使用修改后的LabelImg标注工具进行标注，对0～5每个手势添加具体指挥含义，得到.xml为后缀的目标数据集；

模型训练模块，用于改进YOLOv5算法的FPN结构，并引入快速归一化融合策略，使用改进后的算法对得到的目标数据集进行训练；

以及，手势识别模块，用于训练完成后对待检测图片进行目标检测，并在图片上方显示中文标签和识别准确率。