[发明专利]基于特征融合和注意力的真菌目标检测方法

权利要求书

1.一种基于特征融合和注意力的真菌目标检测方法，其特征在于，构建并训练一个将多层次特征层进行融合，并使用高层特征提取注意力权重来约束相邻浅层特征层的检测网络，该方法的具体步骤包括如下：

(1)构建特征融合和注意力的检测网络：

(1a)构建一个29层的基础特征提取网络，其结构依次为：输入层，第一卷积层，第二卷积层，第一池化层，第三卷积层，第四卷积层，第二池化层，第五卷积层，第六卷积层，第七卷积层，第三池化层，第八卷积层，第九卷积层，第十卷积层，第四池化层，第十一卷积层，第十二卷积层，第十三卷积层，第五池化层，第十四卷积层，第十五卷积层，第十六卷积层，第十七卷积层，第十八卷积层，第十九卷积层，第二十卷积层，第二十一卷积层，第二十二卷积层，第二十三卷积层；

设置基础特征提取网络中各层的参数如下：

将第一至第二十三卷积层中特征图深度分别设置为64，64，128，128，256，256，256，512，512，512，512，512，512，1024，1024，256，512，128，256，128，256，128，256；卷积核窗口大小分别设置为3，3，3，3，3，3，3，3，3，3，3，3，3，3，3，1，1，3，1，3，1，3；将第一至第五池化层中池化核大小均设置为2；

(1b)构建一个由并联的空间注意力网络和通道注意力网络组成的注意力网络，所述空间注意力网络由输入层和卷积层组成；卷积层中卷积核的数量设置为256，卷积核的窗口大小设置为1；所述通道注意力网络由输入层，池化层，卷积层1，卷积层2组成；将池化层设置为全局平均池化；将卷积层1和卷积层2的卷积核的数量分别设置为16，256，卷积核窗口大小均设置为1；

(1c)构建一个特征融合和注意力增强网络，该网络的结构依次为：第一融合模块，第一注意力子网络，第二融合模块，第二注意力子网络，第三融合模块，第三注意力子网络，第四融合模块，第四注意力子网络，第五融合模块；其中，第一、第二、第三、第四注意力子网络就是步骤(1b)中描述的注意力网络；

第一至第四融合模块有两个输入和一个输出，融合模块的具体连接为，将基础特征提取网络中第二十卷积层与第十七卷积层的输出，分别与特征融合和注意力增强网络中第一个融合模块的两个输入相连；将基础特征提取网络中第十五卷积层的输出与第二个融合模块的两个输入相连；将基础特征提取网络中第十四卷积层的输出与第三个融合模块的两个输入相连；将基础特征提取网络中第十卷积层的输出与第四个融合模块的两个输入相连；将第一至第四注意力子网络的输出分别与第五融合模块的四个输入相连；第一至第四融合模块的融合过程为，将输入的两个特征图分别通过1×1的卷积操作，使两个特征图深度统一到256；再对两个特征图中尺寸更小的特征图进行2倍上采样，使两个特征图的尺寸统一；最后将统一后的两个特征图逐元素相加，完成融合过程；

第五融合模块有四个输入和四个输出；融合模块的具体连接为，将四个注意力子网络的输出与第五融合模块的四个输入端相连；融合过程为，将第一、第二注意力子网络的输出特征图的尺寸分别通过上采样扩大到与第三注意力子网络的输出特征图的尺寸相同，将第四注意力子网络的输出特征图的尺寸通过下采样缩小到与第三注意力子网络的输出特征图的尺寸相同，然后对统一尺寸后的四个特征图逐元素求平均值，再通过3×3的卷积操作，得到融合特征图；将融合特征图分别通过下采样，得到与第一、第二注意力子网络的输出特征图的尺寸相同的两个特征图；将融合特征图通过上采样，得到与第四注意力子网络的输出特征图的尺寸相同的一个特征图；将得到的三个特征图和融合特征图分别与对应尺寸的四个注意力子网络的输出特征图逐元素相加，作为第五融合模块的输出；

(1d)在第五融合模块的四个输出层、基础特征提取网络中第二十层、第二十三层共六个特征层后分别连接分类预测卷积层和回归预测卷积层，将分类预测卷积层和回归预测卷积层的卷积核的数量分别设置为2，4，卷积核窗口大小均设置为3；基础特征提取网络与特征融合和注意力增强网络中其他层的输入与输出不变，得到基于特征融合和注意力的检测网络；

(2)构造训练集：

选取至少2000张真菌显微图像，每张真菌显微图像中至少包含一个真菌目标；人工标注每张真菌显微图像中的每个真菌目标，将每张真菌显微图像上真菌目标的标注信息保存在一个对应的标签文件中；将所有的真菌显微图像和对应的标签文件组成训练集；

(3)训练基于特征融合和注意力的检测网络：

将训练集输入到基于特征融合和注意力的检测网络中，计算损失函数，使用随机梯度下降法迭代更新网络参数，直到损失函数收敛为止，得到训练好的检测网络；

(4)对真菌图像进行检测：

将一张含有真菌的待检测图像输入到训练好的检测网络中，输出该张图像的所有检测框，将所有的检测框在待检测图像中标注出来，得到最终的检测结果图。

2.根据权利要求1所述的基于特征融合和注意力的真菌目标检测方法，其特征在于，步骤(3)中所述的损失函数如下：

其中，L(.)表示损失函数，x表示预测框样本，c表示类别置信度预测值，l表示预测边界框的位置参数值，g表示标注边界框的位置参数值，N表示预测框中匹配到的真菌样本总数，L_conf(.)表示分类损失函数，其计算公式如下：

其中，∑表示求和操作，i表示预测框的序号，Pos表示预测框为正样本的集合，Neg表示预测框为负样本的集合，有0和1两个取值，取值为1表示第i个预测框和第j个标注框匹配成功，取值为0表示第i个预测框没有匹配到标注框；log表示以2为底的对数操作，表示第i个预测框对应的第p个类别的标注框的概率，表示第i个预测框属于背景类的概率，L_loc(.)表示位置损失函数，其计算公式如下：

其中，m表示边界框的位置参数序号，cx表示边界框中心点横坐标，cy表示边界框中心点纵坐标，w表示边界框宽度，h表示边界框高度，表示第i个预测边界框的位置参数值，表示匹配到的第j个标注边界框的位置参数值；smooth_L1是由下式得到的：

其中，smooth_L1表示smooth L1的损失值。