[发明专利]无人机遥感图像的荔枝果实检测与计数方法

权利要求书

1.无人机遥感图像的荔枝果实检测与计数方法，其特征在于，包括以下步骤：

S1、采集果园果实无人机遥感图像，构建图像数据库，并划分训练集Set_or、验证集Set_val和用于后续测试统计检测指标的测试集，且从训练集Set_or中挑选果实密集的图像进一步处理，构建超分图像训练集Set_SR；

S2、建立荔枝树冠分割模型，用图像数据库中的训练集Set_or和验证集Set_val对该荔枝树冠分割模型进行训练并验证，获取每棵荔枝树的树冠分割结果图；

S3、建立荔枝果实检测模型，对输入的树冠分割结果图的所有区域都进行目标检测，称为第一阶段检测，最终根据荔枝果实检测模型的热图分支、宽高分支和偏移量分支获取检测结果，其中，根据第一阶段检测的热图分支输出的热图划分密集果实区域和非密集果实区域，第一阶段检测能够对非密集果实区域进行准确检测，但对于密集果实区域会存在漏检情况，主要原因为密集果实区域遮挡严重，单个目标尺寸小和特征少，因此需要进行第二阶段检测，该第二阶段检测需要根据第一阶段检测的热图分支输出的热图确定密集果实区域，再对密集果实区域进行超分辨率操作获取超分密集果实图像，最后对超分密集果实图像进行二次特征提取和目标定位，以实现密集果实区域的精准检测；

S4、分别统计第一阶段检测的非密集果实区域与第二阶段检测的密集果实区域的检测结果，得到最终的果实检测数量。

2.根据权利要求1所述的无人机遥感图像的荔枝果实检测与计数方法，其特征在于，所述步骤S1具体步骤如下：

S11、借助大疆精灵4RTK无人机获取果树图像；

S12、剔除无人机所采集的质量差的图像，构建图像数据库，并划分训练集Set_or、验证集Set_val和测试集；

S13、对图像数据库中的图像采用LabelImg标注工具进行人工标注；

S14、从训练集Set_or中挑选果实密集的图像，对果实密集区域进行裁剪超分，利用映射关系将标注边界框映射到超分图像上，获得超分图像标签，将超分图像及对应标签形成超分图像训练集Set_SR。

3.根据权利要求1所述的无人机遥感图像的荔枝果实检测与计数方法，其特征在于，所述步骤S2具体步骤如下：

S21、选用Mask-RCNN作为荔枝树冠分割模型；

S22、用图像数据库中的训练集和验证集对该荔枝树冠分割模型进行训练并验证，获取每棵荔枝树的树冠分割结果图。

4.根据权利要求1所述的无人机遥感图像的荔枝果实检测与计数方法，其特征在于，在步骤S3，选择基于无锚点的目标检测算法CenterNet作为荔枝果实检测模型的基本框架，其特征提取主干网络为DLA-34，进行网络改进，以适应小目标特征提取，即采用了改进的CenterNet，具体如下：

DLA-34包括5个level层，分别为level1、level2、level3、level4和level5，在level1层不进行下采样，则输入图像由原来四倍下采样调整至二倍下采样，网络输出特征尺寸由原来的128×128变为256×256，避免因为过度下采样导致小目标特征丢失；

在level1和level2层中使用空洞卷积，增加感受野；

特征提取主干网络输出包含三个分支，分别为热图分支hm、宽高分支wh和偏移量分支reg，增大hm输出的热图最大峰值数peak，以适应密集果实的检测；

增加热图损失权重系数λ_hm，最终损失L_det如公式(1)所示：

L_det＝λ_hmL_k+λ_sizeL_size+λ_offL_off (1)

式中，L_k、L_size、L_off分别为hm、wh和reg的损失函数，系数λ_hm、λ_size和λ_off和分别为hm、wh和reg的损失权重系数；

在荔枝果实检测模型训练中，用训练集Set_or和Set_SR对该荔枝果实检测模型进行交替训练，使荔枝果实检测模型适应原始图像和超分图像果实目标检测；

在第二阶段检测中，对密集果实区域进行如下检测：

首先，利用第一阶段检测的热图分支输出的热图形成密集果实区域的拼接图I_mosc，具体如下：

热图是一张二维图，坐标点的值代表接近目标中心的概率；设置热图阈值，对热图进行阈值分割，而后进行开操作，先去除离散的目标区域，再平滑果实密集区域连通域边界，以获得密集果实候选区域；

将密集果实候选区域映射回原图，裁剪相应矩形框；若m个不同区域的矩形框发生重叠，则形成覆盖这m个区域的矩形框，其中m为2个或3个以上；最终形成n个互不重叠的密集果实候选区域矩形框；

将n个密集果实候选区域矩形框，利用矩形件排样问题的遗传算法，拼接为密集果实候选区域图，使其最小面积；

将n个密集果实候选区域矩形框看做n个矩形件，将拼接的密集果实候选区域图看作排样图；如此，n个密集果实候选区域矩形框拼接问题，能转化为矩形件排样优化问题，即在给定的矩形板材上排放所需要的n个矩形件，使排放区域的板材废料尽可能地少，以达到节省板材的目的；

计算n个矩形件的面积总和A，选择板材的宽度Width；

利用BL算法与遗传算法相结合，求解最优排样图，即获得n个密集果实候选区域矩形框的拼接图I_mosc，遗传算法适宜度函数f(P)如公式(2)所示：

f(P)＝H-h(P)+Area/(h(P)×Width) (2)

式中，P为父辈个体，是n个矩形件的一种排样P＝{p₁,p₂,…,p_i,…,p_n}，p_i为整数，有正负之分，且1≤|p_i|≤|n，表示矩形件的编号，p_i为负值时表示矩形件旋转90度后再排放；h(P)为排样高度，H为一个事先选定的高度值，为一常数，其值应确保使H≥h(P)的值为正；Area为可再利用废料的面积，h(P)×Width为排样所需矩形板材的面积，Area＝h(P)×Width-A；

用0填充拼接图I_mosc空白区域，得到128×128尺寸的图像I_resize；

对图像I_resize，利用超分辨率网络，进行超分辨率操作，具体如下：

超分辨率网络使用SRGAN网络，SRGAN网络对抗损失由GAN提供，根据图像是否能够欺骗过判别网络进行训练，放大因子为4，网络输入为图像I_resize；

加载预先训练好的SRGAN网络模型，输入图像I_resize，最终超分图像I_SR像素为512×512；

将超分图像I_SR输入到特征提取主干网络中进行二次特征提取和目标定位，从而实现对密集果实区域的精准检测。