[发明专利]一种基于深度学习的弹孔识别方法

摘要

本发明公开了一种基于深度学习的弹孔识别方法，该方法包括以下步骤：步骤一、模型构建；步骤二、数据采集；步骤三、数据处理及标注；步骤四、模型训练；步骤五、弹孔识别。该方法中用到的识别系统对靶面的要求很低；误检，漏检，重检的概率在1％以下，弹孔识别准确度高，达到使用要求；该方法中用到识别系统检测延迟小于40ms，在实时视频流上，同步显示检测结果；弹孔密集情况下，弹孔重叠小于50％，即能区分弹孔和重叠弹孔；靶纸相对摄像头晃动时，使用中心点对齐算法，使弹孔与中心的相对位置不变，解决了靶纸晃动对检测的影响；使用模糊检测算法，过滤掉子弹击中时模糊的画面帧，从而有效解决画面模糊导致的误识别。

主权项

1.一种基于深度学习的弹孔识别方法，其特征在于，该方法包括以下步骤：一.模型构建1).使用残差网络结构作为特征提取器，特征图在原图上降采样16倍。2).将特征图输入到RPN(region proposal network)子网络，RPN网络采取滑动anchor的方式，遍历特征图，anchor选取为，以特征图中每个点为中心的正方形，取1倍，2倍，4倍，三种缩放，和1:1,1:2,2:1,三种长宽比的9个矩形框。RPN网络学习预测出每个框是不是弹孔的概率值，将概率值小于0.5的剔除，剩余的候选框，使用非极大值抑制的方式进一步筛选，具体做法为，遍历所有候选框，计算两两候选框之间重叠的面积，重叠面积比上两框面积和，若结果超过阈值0.8的，留下弹孔概率值更高的候选框，最后剩余的候选框即为RPN网络的输出。3).对特征提取器提取出的特征图，使用large separable conv卷积操作的进一步提取特征，并减小特征纬度。4).使用候选框截取上述特征图中对应区域，将截取区域输入到后面，分类出是否为弹孔的概率，回归出弹孔包围框。二.数据采集1).将摄像头架设好，使得靶纸在摄像头的视野内，清晰，无遮挡。2).选择不同的时间段，如早中晚，不同的光线条件下，采集射手的射击视频。3).一个靶面射击10‑20发子弹，换一次靶纸，确保能够采集到靶面弹孔清晰的图片。三.数据处理及标注1).对采集到的打靶视频数据，拆分成一帧一帧的图像2).人工过滤掉不包含弹孔信息的图像3).对包含弹孔信息的图像，裁剪为1000×1000的统一尺寸，使得图像包含整个靶面信息。4).使用标注工具，将剪裁后图像上的弹孔信息用矩形框标注出来，保存为剪裁图像和标注文件。四.模型训练1).将标注数据按3：1的比例分为训练集和验证集，后续新采集的数据作为测试集2).对训练集数据进行旋转，翻转，增加图像样本多样性，增加训练样本量3).将训练集数据输入网络模型训练4).对产生的模型使用验证集数据进行评估验证，验证模型的精度。五.弹孔识别1).读取视频流2).获取视频流帧画面3).使用opencv模糊算法得到模糊度较低的图像作为检测帧4).将检测帧图片输入到检测模型，得到模型检测结果5).使用opencv边缘检测算法检测出靶纸中心点相对画面帧的坐标，根据记录的历史中心点坐标，修正弹孔的位置6).上报检测结果到终端显示。