[发明专利]一种基于改进CenterNet的植物冠层密集叶片计数方法

权利要求书

1.一种基于改进CenterNet的植物冠层叶片计数方法，其特征在于，包括如下步骤：

S1、图像的获取：采集植物冠层的图像，并将采集到的图像按照COCO数据集的格式将图片命名，同时创建名为Anno和Ima两个文件夹；

S2、图像预处理：

S2-1、图像标记：对步骤S1采集到的图像，运用图像标注工具LabelImg对图像中的叶片进行标记，标注出叶片的位置和分类出每个叶片的种类或者重叠遮挡程度；

S2-2、图像扩增：若步骤S1采集到的图像不能达到识别一个种类的叶片需要200张图片的要求，则进行图像扩增；选定图像的保存路径和标记信息的XML文件路径，并制定扩增后的图像输出路径，则在原有图像的基础上根据需求量进行图像扩增，选择图像的尺寸、旋转角度、清晰度参数对图像进行扩增；

S2-3、计算图片的均值和标准差，步骤如下：

S2-3-1、先将标记且扩增后的数据集图片放入一个文件夹中；

S2-3-2、运用Opencv库中的meanStdDev函数计算图片的均值和标准差；

S2-3-3、运用Opencv库中的minMaxLoc函数计算图片像素的最大值、最小值；

S2-3-4、创建用户自定义叶片种类的Python文件，并将类名改为自定义叶片种类名称，将步骤S2-3-2得到的均值和标准差和步骤S2-3-3得到的像素值写入该Python文件中；

S2-4、划分数据集：将扩增得到的图像和标记文件划分成训练集、测试集、验证集，训练集、测试集、验证集分别占70%、15%、15%；

S3、设置网络模型参数：在CenterNet网络模型的配置文件中，根据计算机内存、显存的大小，以及最终呈现的检测效果要求，设置卷积神经网络输入图像的尺寸为512*512、识别种类的数量和batch_size值、迭代次数参数；设置使用支持cuda加速的线程数量；

S4、对CenterNet网络中的目标大小预测损失函数进行优化，得到优化后的目标大小预测损失函数，优化过程如下：

S4-1：在原有的目标大小预测损失函数中，将预测目标尺寸变量S_pk与真实目标尺寸变量S_k的取模运算去掉；

S4-2：用smooth_L1损失函数代替取模运算加到原有的目标大小预测损失函数中；

S5、对CenterNet网络结构进行改进，得到改进后的CenterNet网络结构，改进过程如下：

S5-1：在现有的CenterNet网络结构前，加入空间转深度模块，将输入尺寸为X通道数为3的图像划分为四个相同大小的特征图，每一个特征图大小为X/4*X/4*3，保持通道数不变的前提下划分图像的尺寸；

S5-2、在每个划分后的特征图后加入CBAM注意力机制模块，并且将每个注意力模块的输入参数调整为X/4*X/4；

S5-3、在CBAM注意力机制模块的之后加入空洞卷积的空间金字塔池化模块，设置空洞卷积的空间金字塔池化模块中的扩张率为1、6、12、18，将CBAM注意力模块输出的特征图融合为一张图片输入DLA-34主干网络；

S5-4、在DLA-34主干网络中，将原网络的单输出改为每个尺度都输出特征图，并采用下采样将这一尺度得到的特征传递至下一尺度的网络结构中；

S5-5、在DLA-34主干网络后加入逆向的深度转空间模块，将每个尺度输出的特征图融合到一个特征图中，并加入1*1的卷积模块，将融合后特征图的尺寸和通道数调整到与网络输入的图像一致，得到改进后的CenterNet网络结构；

S6、训练网络模型：对改进后的CenterNet网络结构进行参数设置，将设置好参数后的改进CenterNet网络结构放入配置好环境的计算机中，运用步骤S2-4中划分好的训练集中进行训练；训练过程中，将测试集中划分好的图片放入计算机中进行测试，得到每一个阶段训练的效果，并设置--flip_test参数在训练过程中使用数据增强，训练结束后保存训练好的网络模型；

S7、运用训练好的网络模型进行识别：在计算机上准备拍摄好的叶片图像，在Python环境下，通过命令行中输入训练命令，命令内容包括训练好的最优叶片检测模型名称和要识别的叶片图片名，在计算机上显示检测的结果，并得到图中叶片的数量。