[发明专利]一种基于深度学习的弹孔识别方法

权利要求书

1.一种基于深度学习的弹孔识别方法，其特征在于，该方法包括以下步骤：

步骤一、模型构建

(1)使用残差网络结构作为特征提取器，特征图在原图上降采样16倍；

(2)将特征图输入到RPN子网络，RPN网络采取滑动anchor的方式，遍历特征图，anchor选取为，以特征图中每个点为中心的正方形，取1倍，2倍，4倍，三种缩放分别以1:1,1:2,2:1,三种长宽比的9个矩形框；RPN网络学习预测出每个框是不是弹孔的概率值，将概率值小于0.5的剔除，剩余的候选框，使用非极大值抑制的方式进一步筛选，具体做法为，遍历所有候选框，计算两两候选框之间重叠的面积，重叠面积比上两框面积和，若结果超过阈值0.8倍的，留下弹孔概率值的候选框，最后剩余的候选框即为RPN网络的输出；

(3)对特征提取器提取出的特征图，使用large separable conv卷积操作的进一步提取特征，并减少特征图纬度；

(4)使用候选框截取上述特征图中对应区域，将截取区域分类出是否为弹孔的概率，回归出弹孔包围框；

步骤二、数据采集

(1)将摄像头架设好，使得靶纸在摄像头的视野内，清晰，无遮挡；

(2)选择不同的时间段，早中晚，不同的光线条件下，采集射手的射击视频；

(3)一个靶面射击10-20发子弹，换一次靶纸，确保能够采集到靶面弹孔清晰的图片；

步骤三、数据处理及标注

(1)对采集到的打靶视频数据，拆分成一帧一帧的图像；

(2)人工过滤掉不包含弹孔信息的图像；

(3)对包含弹孔信息的图像，裁剪为1000×1000的统一尺寸，使得图像包含整个靶面信息；

(4)使用标注工具，将剪裁后图像上的弹孔信息用矩形框标注出来，保存为剪裁图像和标注文件；

步骤四、模型训练

(1)将标注数据按3：1的比例分为训练集和验证集，后续新采集的数据作为测试集；

(2)对训练集数据进行旋转，翻转，增加图像样本多样性，增加训练样本量；

(3)将训练集数据输入网络模型训练；

(4)对产生的模型使用验证集数据进行评估验证，验证模型的精度；

步骤五、弹孔识别

(1)读取视频流；

(2)获取视频流帧画面；

(3)使用opencv模糊算法得到模糊度较低的图像作为检测帧；

(4)将检测帧图片输入到检测模型，得到模型检测结果；

(5)使用opencv边缘检测算法检测出靶纸中心点相对画面帧的坐标，根据记录的历史中心点坐标，修正弹孔的位置；

(6)上报检测结果到终端显示。

2.根据权利要求1所述基于深度学习的弹孔识别方法，其特征在于，步骤一中，该模型是基于Faster-RCNN的深度学习检测模型结构，并在此基础上对网络结构和损失函数进行校正。

3.根据权利要求1所述基于深度学习的弹孔识别方法，其特征在于，步骤二中，采集不少于500发的子弹射入靶纸视频数据，在不同的光线条件下进行射击，要求射手随机射击靶面的不同位置。

4.根据权利要求1所述基于深度学习的弹孔识别方法，其特征在于，步骤三中，截取视频中存在弹孔的视频帧，进行人工手动标注，用矩形框框出每一帧图像的弹孔位置信息。

5.根据权利要求1所述基于深度学习的弹孔识别方法，其特征在于，步骤四中，使用标注后的图片数据，对深度学习模型进行训练，并验证模型的检测精度。