[发明专利]一种基于图像渲染的果实生长形态辨识方法

权利要求书

1.一种基于图像渲染的果实生长形态辨识方法，其特征在于，包括以下步骤：

S1、采集果实图像，并对图像进行标注；

S2、通过饱和度调整、对比度调整、亮度调整、锐度调整以及清晰度调整对标注后的图像进行数据增强；

S3、构建主干网络，并通过自顶向下和自底向上的双向融合网络对主干网络的网络层进行特征融合，从而对图像进行特征提取；

S4、构建RPN网络，对图像特征进行感兴趣的区域推荐；

S5、使用点的表征来进行图像分割，首先选择少量真值点进行预测；其次，对选中的每个点提取逐点特征表示，最后构建一个MLP预测分类；

S6、将测试集图像送入训练好的网络模型后进行前向传播，返回预测框的回归参数、类别概率以及实例掩码，最后保存预测结果。

2.根据权利要求1所述的基于图像渲染的果实生长形态辨识方法，其特征在于：所述主干网络由49个卷积层和1个最大池化下采样层组成；

首先，对输入图像经过1个7×7大小，步长为2，填充为3的卷积操作，

随后，通过1个最大池化模块进行下采样得到预处理后的特征图；

其次，将剩余的48个卷积层划分为四个处理阶段，每阶段里面分别有3、4、6和3组卷积模块，每组里面又包含3个卷积层，分别是1个1×1卷积、1个3×3卷积和1个1×1卷积；

最后，在主干网络的输出添加SPPF。

3.根据权利要求1所述的基于图像渲染的果实生长形态辨识方法，其特征在于：所述SPPF是将特征图经过1×1卷积调整通道，得到卷积特征图；

再送入3个并列的池化核大小为5、步长为1、填充为2的最大池化层处理；

最后得到的3个输出与卷积特征图进行通道融合作为最终输出。

4.根据权利要求1所述的基于图像渲染的果实生长形态辨识方法，其特征在于：所述通过自顶向下和自底向上的双向融合网络对主干网络的网络层进行特征融合包括：

自顶向下是通过上采样的方式将顶层的小特征图依次放大到与主干网络的第3-1阶段特征图一样的大小，再通过相加的方法进行融合；

自底向上是对特征图进行下采样，随后与自顶向下路径上大小相同的特征图进行融合；

同时，在两条融合路径上的每次上采样和下采样操作之后添加注意力机制。

5.根据权利要求4所述的基于图像渲染的果实生长形态辨识方法，其特征在于：所述注意力机制是将输入特征图分为宽度和高度两个方向，分别进行全局平均池化，接着将获得全局感受野的宽度和高度方向的特征图拼接，送入共享的卷积模块调整通道数；

接着将得到的特征图继续拆分成宽和高两个方向，按照原来的高度和宽度分别进行1×1卷积得到通道数与原来一样的特征图；

再经过Sigmoid激活函数得到高度和宽度上的注意力权重，最后在原始特征图上通过乘法加权计算得到输出。

6.根据权利要求5所述的基于图像渲染的果实生长形态辨识方法，其特征在于：所述共享的卷积模块包括1个1×1卷积核、批归一化层和非线性激活函数。

7.根据权利要求1所述的基于图像渲染的果实生长形态辨识方法，其特征在于：所述RPN网络的构建包括：

首先，对输入的特征图进行一次3×3卷积操作，调整通道数为256；

然后经过两次全连接得到18个分类结果和36个回归结果。