[发明专利]一种基于多尺度低层特征融合的全卷积网络语义分割方法

权利要求书

1.一种基于多尺度低层特征融合的全卷积网络语义分割方法，其特征在于，所述的语义分割方法包括下列步骤：

S1、对输入的图像使用全卷积神经网络进行密集特征的提取；

S2、对提取的特征进行多尺度特征融合处理，所述的多尺度特征融合处理包括池化层、特征融合层和3×3卷积层的处理，过程如下：首先需要对输入特征图进行多尺度池化，即对输入特征图的多个副本分别进行不同形式的池化处理，从而形成多条处理分支；然后对各分支中池化后尺度不变的特征图进行低层特征融合处理，对于池化后尺度缩小的特征图，则需要进行低层特征融合上采样处理，使得各分支特征图的尺寸保持一致；再分别将特征融合后的特征图输入到3×3卷积层，通过限制卷积核的个数，减少输出特征图的通道数目；之后再把各分支的输出特征图以通道数拼接的方式结合在一起，得到融合多尺度低层特征的图像；

其中，所述的低层特征融合和所述的低层特征融合上采样的基本原理都是利用融合HOG特征信息的相似度矩阵进行反卷积处理；

所述的相似度矩阵的生成方法如下：

首先需要利用HOG特征提取算法提取原图像中每个块区域的HOG特征，该块区域的尺寸大小受待特征融合的特征图的尺寸大小的影响；

然后利用滑动窗口中每一个块区域的梯度方向直方图信息，经由以下公式，可求得尺度大小为T×T的相似度矩阵W：

其中，Dis(i,O)是指滑动窗口中块区域i和中心块区域O之间特征向量的欧氏距离，X_ik是指滑动窗口中任意一个块区域i的特征向量中第k个分量的值，n是指特征向量的总维度数，Syn(I,O)是指与滑动窗口的块区域i相对应的相似度矩阵中I点的值，代表HOG特征图的滑动窗口中块区域i和中心块区域O的特征相似度；若两个块区域特征越相似，则Syn(I,O)值越大；另外，越靠近中心块区域O，相似度的比例系数越大，其中α取5、10或20的值，以提升HOG 特征信息对图像的表达能力，I_x和I_y分别代表相似度矩阵中点I的行索引和列索引，O_x和O_y分别代表相似度矩阵的中心点的行索引和列索引，x,y∈[1,T]；

S3、多尺度特征融合后的图像通过3×3卷积层、类别卷积层和双线性插值上采样处理，得到跟原图像等尺寸的得分图，以此实现对图像的语义分割任务。

2.根据权利要求1所述的一种基于多尺度低层特征融合的全卷积网络语义分割方法，其特征在于，所述的多尺度池化通过利用不同尺寸的池化核和不同移动步长的池化窗口，获取多尺度图像信息，所述的多尺度池化包括最大值池化方法和相似度矩阵池化方法。

3.根据权利要求2所述的一种基于多尺度低层特征融合的全卷积网络语义分割方法，其特征在于，所述的相似度矩阵池化方法首先让基于低层特征生成的相似度矩阵进行二值化处理，再把该矩阵当作权重矩阵，对输入特征图进行均值池化处理。

4.根据权利要求1所述的一种基于多尺度低层特征融合的全卷积网络语义分割方法，其特征在于，所述的全卷积神经网络利用deeplab_largeFOV网络的前5个模块，获取稠密的高层特征信息，实现密集特征的提取，在这前5个模块中，每个模块都是由2或3个卷积层和relu层的集合与一个最大池化层组成，并且前3个模块中的池化层步长是2，而后2个模块中的池化层步长是1。