[发明专利]一种玉米果穗破损检测方法

权利要求书

1.一种玉米果穗破损检测方法，其特征在于，包括如下步骤：

S100、获取训练集图片及其标签，并用所述标签对所述训练集图片和真实图片进行标注，所述训练集图片包括合成图片和真实图片，所述标签包括目标参数和目标所属类别的数字；所述合成图片由背景图片和前景图片组成，所述背景图片采用真实玉米联合收获机升运器场景图片；所述前景图片采用破损玉米果穗图片；合成图片时随机选取所述背景图片和前景图片，首先对所述前景图片中属于背景的部分进行手工标记，将背景区域像素标记为黑色；而后对所述前景图片的灰度图进行高斯滤波平滑去除噪点，二值化，闭操作填补空洞；最终得到所述前景图片的模板；之后随机选取所述背景图片的任一区域，通过判断所述前景图片的模板像素类型，将该区域选择性替换为前景，并通过对合成图片添加噪声和调整饱和度增加样本多样性，得到复杂背景训练图片；

S200、修改网络结构，重新聚类计算先验框，使用标注后的所述训练集图片进行检测模型的训练，并用标注后的所述真实图片精调所述检测模型的参数；以及

S300、目标检测，用训练好的检测模型对玉米果穗图片进行破损检测，以通过算法预测得到图片中破损的玉米果穗位置及数量；

其中，所述目标参数包括每张所述训练集图片中的破损玉米果穗的中心点x,y坐标对参数和边界框的宽高参数，所述中心点坐标参数和边界框的宽高参数相对于原始图片尺寸归一化到(0,1)之间；所述目标所属类别的数字为corn；

步骤S200中，所述检测模型的训练包括如下步骤：

S201、首先从配置文件中读取网络结构以及训练的学习率和迭代次数参数，构建整个算法网络；

S202、所述算法网络在Imagenet分类数据集上进行所述检测模型的预训练；以及

S203、使用预训练的所述检测模型部分权重初始化目标检测模型的特征提取网络，读入所述训练集图片进行迁移学习，并训练网络；

其中，训练时最小化误差函数中的定位误差、目标误差和分类误差，最小化误差函数时使用带动量的随机梯度下降法更新权重参数，并将训练好的模型参数保存到权重文件中；

所述步骤S200中，修改网络结构包括：

修改卷积方式，将卷积层中使用的标准3*3卷积核，替换为深度分离的3*3卷积与1*1卷积的组合，深度分离的卷积核数量等于输入特征图的数量，每个卷积核只作用于单通道的一个特征图，之后再使用1*1卷积作用于所有3*3深度分离卷积输出的特征图，而后再通过激活函数；以及

压缩网络结构，将网络结构中的23个卷积层压缩为10个；

所述步骤S200中，重新聚类计算先验框包括：

从训练图片的标签文件中读取目标边界框的宽高值，将高宽分别乘以416/32，得到先验框的值；

根据聚类的距离度量公式：d(box,centroid)＝1-IOU(box,centroid)，计算距离指标d，其中，box指标签中的每个边界框，centroid表示选出的聚类中心框，IOU(box,centroid)表示标签中的框与聚类中心框的重叠面积；

统计标签中所有边界框的大小，得到三个距离尽可能大的初始聚类中心框；

设定聚类中心框的数量为3，迭代计算距离d更新初始聚类中心框，最终得到3个新的破损玉米果穗的先验框；

步骤S300中，所述算法预测包括如下步骤：

S301、载入训练好的模型参数，使用全卷积神经网络对输入图片做特征提取得到特征图，所述特征图的每个单元格预测多个预测框，共得到n个预测框；

S302、从所述n个预测框中得到目标框，首先滤除目标置信度小于目标阈值的无目标预测框；使用NMS算法进行非极大值抑制，合并重叠的冗余预测框；

S303、对检测到的目标类别进行判断，所述预测框的类别置信度大于类别阈值的为破损玉米果穗；

S304、获得所述输入图片中破损玉米果穗的位置和数量；

其中类别置信度Conf的计算公式为：

其中，Pr(Corn|Object)表示预测框内破损玉米果穗的条件概率，Pr(Object)表示预测框内含有目标的概率，表示预测框与ground truth的重叠面积。

2.如权利要求1所述的玉米果穗破损检测方法，其特征在于，目标置信度计算公式为：

其中，Pr(Object)表示预测框内含有目标的概率，表示预测框与groundtruth的重叠面积；

若预测框内含有目标，则Pr(Object)＝1，该预测框的目标置信度为否则，Pr(Object)＝0，认为预测框中没有目标，Conf(Object)＝0。