[发明专利]一种基于Faster R-CNN的古建筑砖面缺陷检测方法

说明书

本发明以Faster R‑CNN为基础设计了一种适用于古建筑砖面缺陷检测方法。使用残差网络ResNet‑101提高卷积神经网络的提取特征能力。在卷积神经网络中使用可变形卷积，以改善提取特征网络输出特征图的效果。统计数据集中标签的宽、高和宽高比例，并据此优化锚框的大小和比例，提高候选区域生成网络输出的候选框质量。最后使用Soft‑NMS代替NMS，解决原算法中的漏检问题，降低待测框的分类得分，由此降低漏检率。

技术领域

本发明属于图像处理与计算机视觉领域，涉及一种基于Faster R-CNN的古建筑砖面缺陷检测方法，本质上就是利用卷积神经网络对图像像素点进行分类的问题。

背景技术

目前大多数缺陷检测算法是根据应用场景对缺陷特征参数进行手工设定，然后直接分类或者通过机器学习算法再分类。这种有监督机器学习算法在缺陷检测中存在一定的局限性，由于图片中缺陷的种类以及形状等的不同，人为提取特征时需要检测人员具有很强相应的专业性，而且检测效果不理想，鲁棒性差，因而不能很好地适用于砖面缺陷的检测。

近年来随着计算机视觉的迅猛发展，其在工业、农业、社会生活等领域中的应用也越来越广泛。比如在包裹分拣过程中，针对地址中的手写体识别需要使用深度学习对其进行识别，卷积神经网络CNN作为深度学习的一个重要分支，在手写体识别领域已经发展为一个成熟的网络。

基于深度学习的古建筑砖面缺陷检测可以降低缺陷检测的成本，不受地点和时间的限制，可以极大提升检测精度和效率，同时也能更好地保障检测人员安全。目标检测领域有许多性能优异的算法，本发明以在Pascal VOC数据集上表现性能佳、精度较高、检测速度均衡的Faster R-CNN算法为基础，针对古建筑砖面缺陷特点，提出了一种改进型的FasterR-CNN算法，提高了砖面缺陷检测的精度，获得了不错的检测效果，为古建筑砖面缺陷检测提供了有效的方法。

发明内容

本发明提出了一种基于Faster R-CNN的古建筑砖面缺陷检测方法，技术方案如下：

一种基于Faster R-CNN的古建筑砖面缺陷检测方法，具体实现步骤如下：

一、卷积特征提取：Faster R-CNN使用卷积层获取输入图片的特征；使用池化层在保证特征不变的情况下，降低特征图尺寸；该特征图与ReLu计算后，用于后续的待测框生成和预测概率计算；使用可变形卷积解决古建筑砖面缺陷形状的不规则性。

二、RPN：RPN的作用是产生待测框，并将待测框与Softmax函数计算判断待测框中是否包含目标，然后使用边界框回归修正锚框的大小和位置，获得比较精准的候选框。本发明重新设置模型中的锚框尺寸和比例，使模型更适用于自建的古建筑砖面缺陷数据集；使用Soft-NMS代替NMS算法，避免因为待选框和对比框的IoU大于阈值，而待选框的得分强制归零的现象，也避免了由此造成的某一物体的漏检情况。

三、ROIPooling：该层将特征图和RPN产生的待测框整合，得到包含高置信度待测区域的特征图，进而送入全连接层，对待测区域包含的目标类别和预测值进行计算。

四、分类和回归：判别候选区域的具体类别，同时再次使用边界框回归方法获得预测框最终位置。

本发明提出的基于Faster R-CNN的古建筑砖面缺陷检测的方法，包括输入图像处理、提取输入图像特征、生成候选区域、对候选区域进行筛选、分类与回归等步骤。首先，对输入图像进行缩放等预处理操作；然后通过卷积神经网络对输入图像提取特征；其次对提取的特征图进行前景与背景的二分类，并且筛选出置信度较高的候选框；最后使用全连接网络对预测框进行分类和位置回归。本发明提出的古建筑砖面缺陷检测方法具有较高的精度和效率，可以应用到实际中。

附图说明

图1为本发明的整体结构图。

图2为古建筑砖面数据集中标签的宽(左图)、高(中图)和宽高比例(右图)统计。