[发明专利]改进Faster RCNN水培蔬菜幼苗状态检测方法

权利要求书

1.一种改进Faster RCNN水培蔬菜幼苗状态检测方法，其特征在于，具体步骤如下：

(1)获取水培蔬菜的育苗图像，使用包括数码相机或高清手机的多种图像采集设备，并选择同一高度在自然光照下对培养盒中的水培蔬菜幼苗进行拍照；

(2)扩增幼苗数据集，采用图像增强的方式，即旋转预设角度、平移、镜像翻转、水平翻转、垂直翻转、随机裁剪或增加噪声的操作步骤，完成数据集的构建，从而降低模型的过拟合程度，有效提高目标检测的精度；

(3)标注幼苗数据集，针对幼苗生长孔洞存在问题的不同情况，对数据集进行手工标注，主要包括未长出幼苗的孔洞和长出两株幼苗的孔洞；

(4)划分数据集，按照一定的训练集∶验证集∶测试集比例＝7∶1∶2，随机拆分原始数据集；

(5)将训练集幼苗图像数据输入目标检测模型中，同时在训练过程中添加验证集以反映当前模型训练的好坏；

(6)将Faster RCNN目标检测模型中的特征提取网络替换为HRNet，以便更好地保留小目标物体的信息；

(7)将经过HRNet特征提取网络得到的特征图输入RPN网络中，生成一系列候选框,与此同时，ROI Align层收集产生的特征图和候选框，综合以上信息提取候选框的特征；

(8)采用Soft NMS操作获取候选框；

(9)实现候选框中的类别分类，利用候选框的特征图，计算候选框类别，同时进行边界框回归，从而获得较为精确的检测框位置；训练目标检测模型，并保存训练好的模型；以及使用训练好的模型对测试数据集进行测试，实现对幼苗图像中有问题孔洞的定位；基于定义好的损失函数，迭代优化模型参数，直至模型收敛。

2.根据权利要求1所述改进Faster RCNN水培蔬菜幼苗状态检测方法，其特征在于，所述步骤(6)HRNet特征提取网络，针对水培蔬菜幼苗图像存在较为微小、密集的特点，因此拟采用HRNet作为目标检测过程中特征提取的主干网络，通过在特征提取整个过程中反复交换并行多分辨率子网络中的信息来进行多尺度特征融合，以便于得到语义表达能力较强、可靠的高分辨率表征图，针对目标检测任务，采用多级特征表示，利用平均池化下采样上一步得到的高分辨特征表示，从而得到较低分辨的另外三种特征表示；

HRNet网络有如下的结构特点：

1)并行连接高低分辨率子网，从高分辨率子网开始作为第一阶段，逐一逐步添加由高分辨率到低分辨率子网，形成新阶段，并行连接多分辨率子网；因此，后一阶段并行子网的分辨率包括前一阶段的分辨率和一个更低的分辨率，如图4所示，N_sr表示第s阶段水培蔬菜幼苗图像特征图分辨率为r的子网；

2)重复多尺度融合，

在并行子网中引入交换单元，使每个子网重复接收来自其他并行子网的信息，从而获得语义丰富的特征表示；将上述N_sr中s为3的第三阶段的子网划分为串联排列的3个交换块，每个块由3个并行卷积单元和一个跨越并行的交换单元组成；其中，表示卷积单元，即第s阶段中水培蔬菜幼苗图像特征图分辨率为r的第b个模块，表示与该模块对应的水培蔬菜幼苗图像特征图交换单元；

针对每个输入的特征图{X₁，X₂，..X_i...，x_s}，每个输出的特征图{Y₁，Y₂，...，Y_s}，有如下的公式：

对于每个输出Y_k，

对于交换单元Y_s+1，Y_k＝α(Y_s，s+1)；

其中，X_i为第s阶段第b个模块输入的水培蔬菜幼苗图像特征图，Y_k为与输入特征图X_i具有相同大小和分辨率的水培蔬菜幼苗图像融合输出特征图，函数α(X_i，k)的作用是将X_i经过上采样或下采样操作由原始的分辨率i变化为变后分辨率k的特征图，若i＝k，表示恒等连接，即α(X_i，k)＝X_i。