[发明专利]一种基于深度目标检测的待采摘水果识别和定位方法

摘要

本发明公开一种基于深度目标检测的待采摘水果识别和定位方法，包括以下步骤：图像采集。图像标注。数据集准备。特征提取，使用深度卷积神经网络CNN首先提取图像中的水果特征；使用VGG16作为特征提取的卷积神经网络。模型训练，对于所有训练样本首先提取每个卷积层上的特征图，对于抽取得到的特征图生成预测框，计算预测框中目标的类别，计算预测框和真实标注框之间的距离，在训练的过程中联合类别损失和预测框偏移损失作为训练的目标损失函数。基于上述完整的一次计算过程完成一次训练，当训练次数达到预定阈值或者损失小于预定阈值训练结束。

主权项

1.一种基于深度目标检测的待采摘水果识别和定位方法，其特征在于，包括以下步骤：步骤1图像采集本图像采集基于普通的RGB图像实现，图像采集目标是实际自然生长环境下的待采摘水果；图像通过普通的单反相机获取，成像时模拟人工采摘的视角，保持相机的高度和水果目标基本持平，水果目标保持在图像中心位置；步骤2图像标注对步骤1中采集的原始数据进行人工标注；人工的将图像中的待采摘水果通过最小外接矩形标出，记录框处目标水果的类别，记录最小外接矩形在图片中左上角和右上角的顶点坐标；数据记录标注的格式与目前广泛使用的ImageNet图像数据集的标注格式相同；步骤3数据集准备将步骤1的原始图像和步骤2对应的标记数据共同作为一条可训练数据，将所有的可训练数据组成原始的数据集；将原始数据按照5:3:2的比例，人为随机的切分为3个子集，分别作为后续的检测模型的训练集、验证集和测试集；训练集、验证集和测试集基于原始的数据集，且三个子集合之间在图像空间上独立分布没有重复；步骤4网络训练对于步骤3中划分的训练集，使用深度卷积神经网络(Convolutionsl Neural Network，CNN)首先提取图像中的水果特征；使用VGG16作为特征提取的卷积神经网络，VGG16网络包含13个卷积(Conv)层、13个激活(Relu)层及4个池化(Pooling)层；设计扩边填充(Padding)处理，在卷积计算过程中对图像边缘进行像素值的补0，保证了Conv层输入和输出矩阵大小一致；对于输入的原始图像通过大小为3*3的卷积核进行卷积运算提取特征图(Feature map)，卷积计算公式如式(1)所示；式中表示在第l卷积层的第j个特征图，表示在第l‑1卷积层的第j个特征图，F()表示激活函数，M_j代表输入图像的特征量，i∈M_j表示i为输入图像特征量的编号，为卷积核，为偏置项；选择基于卷积神经网络(Convolutional Neural Network,CNN)的SSD(single shot detector)检测网络来训练最后的待采摘水果检测识别和定位模型；SSD算法构建的检测网络中使用全卷积层的VGG16作为基础网络来提取目标的特征，即步骤4可以作为步骤5的检测网络的一个部分进行融合；SSD物体检测框架在多层特征图中产生固定大小的边界框和框中类别的置信度，模型训练的总体目标损失函数如式(2)所示；式中x表示预测框中目标的类别，c是Softmax函数对每类别的置信度，N是匹配默认框的数量，权重项α通过交叉验证设置为1；位置损失L_loc是预测框和真实标签框之间的平滑损失smooth_L1，上标m表示{cx，cy，w，h}，损失表示如式(3)所示。训练过程中在产生的预测框和真实的标签框之间进行偏移回归，其中box＝{cx，cy，w，h}表示预测框中心坐标及其宽高；使用平移量和尺度缩放因子获取真实标签的近似回归预测框，和分别表示预测框的坐标值，和表示预测框的宽和长，如式(4)所示；置信损失如式(5)所示；其中表示类别p的第i个默认框置信度，i∈pos和i∈neg分别表示i在正样本和负样本集合中的编号，的计算如式(6)所示；训练阶段使用式(2)作为预测框坐标偏移的回归计算，使其尽可能接近标注框；训练过程中迭代次数、学习率两个参数保持SSD网络初始的默认值。步骤5模型测试输入待识别和定位的水果图像，调用训练完成的水果检测模型进行测试，最终输出结果为输入图像中水果的类别信息和位置信息，并通过矩形框将水果标出。