[发明专利]一种基于多尺度卷积特征提取和融合的显著物体检测方法

权利要求书

1.一种基于多尺度卷积特征提取和融合的显著物体检测方法，其特征在于：包括以下步骤：

步骤S1：进行数据增强，同时对彩色图像以及对应的人工标注图进行处理，增加训练数据集的数据量；

步骤S2：提取多尺度特征，并进行通道压缩来优化网络的计算效率；

步骤S3：融合多尺度的特征，得到预测的显著图Predⁱ；

步骤S4：通过求解最小化交叉熵损失，学习到模型的最优参数；最终利用训练好的模型网络来预测图像中的显著物体；

步骤S2具体包括以下步骤：

步骤S21：对U-Net固有的网络结构进行改进，其中U-Net网络的编码器结构是以图像分类卷积网络作为特征网络，通过不断堆叠组合卷积层以及池化层来产生5种不同尺度的卷积特征，在卷积特征Enⁱ和卷积特征Enⁱ⁺¹之间存在一个池化层，设置该池化层的步长为2；对于最后两个卷积特征之间的池化层，设置该池化层的步长为1；

步骤S22：设计一个多尺度特征提取模块作用于步骤S21改进的U-Net网络产生的每一个尺度的卷积特征，得到多尺度内容特征；

步骤S23：加入一个通道压缩模块作用于多尺度内容特征；步骤S3具体包括以下步骤：

步骤S31：设计一个多尺度特征融合模块，设输入的多尺度内容特征Featⁱ的特征大小为(c,h,w)；在所述多尺度特征融合模块中，分别应用卷积核大小为(1,k)和(k,1)的深度可分离的卷积操作和卷积核大小为(k,1)和(1,k)的深度可分离的卷积操作，得到与输入特征Featⁱ大小一致的特征融合结果；

步骤S32：U-Net网络的解码器结构与编码器的特征网络都对应有5个不同尺度的特征结果，U-Net网络的解码器结构产生的每一个尺度的卷积特征Decⁱ，都是应用多尺度特征融合模块来融合多尺度内容特征Featⁱ以及卷积特征Decⁱ⁺¹，这里假设输入的卷积特征Decⁱ⁺¹的特征大小为(c,h/2,w/2)；首先，先对卷积特征Decⁱ⁺¹应用上采样操作在空间维度上放大两倍，从而卷积特征Decⁱ⁺¹与多尺度内容特征Featⁱ在空间维度上具备相同大小,其特征大小为(c,h,w)；然后将多尺度内容特征Featⁱ以及卷积特征Decⁱ⁺¹应用拼接操作得到拼接后特征,其特征大小为(2c,h,w)，再应用卷积操作，经过ReLU激活函数以及BN层得到特征大小为(c,h,w)的特征结果；紧接着，对得到的特征结果应用多尺度特征融合模块得到特征融合结果，同时将该特征结果与特征融合结果再进行拼接操作，卷积操作，经过ReLU激活函数以及BN层得到特征大小为(c,h,w)的特征结果Decⁱ；最后，再应用卷积核大小为(1,1)卷积操作将特征结果Decⁱ的通道数压缩一半以便于与Dec^i-1进行融合，经过ReLU激活函数以及BN层得到特征大小为(0.5c,h,w)的特征结果Decⁱ，并将其经过卷积操作将通道压缩到1，再经过Sigmoid函数就能够得到预测的显著图Predⁱ。

2.根据权利要求1所述的一种基于多尺度卷积特征提取和融合的显著物体检测方法，其特征在于：步骤S1具体包括以下步骤：

步骤S11：对数据集中的每一张彩色图像和其对应的人工标注图一同进行缩放；

步骤S12：对数据集中的每一张彩色图像和其对应的人工标注图一同进行随机裁剪操作；

步骤S13：通过图像水平翻转生成镜像图。