[发明专利]一种基于纹理特征的高分辨率影像地物识别与分割方法

权利要求书

1.一种基于纹理特征的高分辨率影像地物识别与分割方法，包括以下步骤：

步骤1，根据类别体系制作样本集；

根据研究目标，确定研究区的地物分类体系，假设研究区n个不同的类别CL：

CL＝{cl₁,cl₂,...,cl_n} (1)

根据上述类别体系制作样本集，样本包含所有类别的正样本；

样本以多边形方式表示该类别地物所在区域，并使用cl_i∈CL标识其类别；

样本数目需要满足训练要求，如果样本数目不足，则进行样本增强，以提高样本数量；

步骤2，构造深度学习网络模型；

将网络模型分为四个部分：第一部分为骨干网络，用于提取图像的基础特征；第二部分为纹理特征提取结构；第三部分为特征矩阵去噪结构；第四部分为上采样结构，将去噪后的特征矩阵上采样到原图像大小并获得图像类别及其分割结果；

步骤2.1，构造骨干网络；

提取图像的基础特征，基于ResNet构造骨干网络；

ResNet由五个卷积模块组成，第一个模块中使用了一次步长为2的卷积核，输出的特征图尺寸为原图像的1/2；第二个模块中使用了一次步长为2的池化层，输出的特征图尺寸为原图像的1/4；第三模块到第五个模块中都使用了一次步长为2的卷积核，最终输出的特征图尺寸为原图像的1/32；

取消了ResNet最后一个卷积模块，并在第三和第四卷积模块中使用膨胀卷积；

使用改进的ResNet骨干网络获取图像的基础特征矩阵F：

F＝{f₁,f₂,...,f_C} (2)

其中，C表示特征的维数，特征的大小记为H′×W′；

步骤2.2，构造纹理特征提取结构；

在步骤2.1获得的特征矩阵F中，任意位置有C维特征值，该特征值由不同卷积核卷积该位置局部区域的像素得到，可以视为该点的特征向量，由此将特征矩阵F映射为t个C维的特征向量：

X＝{x₁,x₂,...,x_t} (3)

通过泛化词包模型思想，来表示纹理；

假设有一个含K个码字纹理特征词典D：

D＝{d₁,d₂,...,d_K} (4)

其中，码字d_k与特征向量x_i具有相同维度；该特征词典用于从x_i中学习出典型纹理中心特征；

该词典D嵌入到深度学习模型之中，通过监督学习方式对不同纹理特征进行学习并调整，从而优化词典对纹理特征的表达能力；

词典D的初始化使用均匀分布随机初始化，分布区间为

接下来构建码字d_k与特征向量x_i之间的关系模型e_ik，使得词典D可以在反向传播时通过梯度传播，迭代调整对纹理特征的表达能力；

由于各个码字之间可能存在歧义，不能使用硬分配方式来构建特征和码字之间的关系模型；软分配中通过对每个码字d_k设定权重系数以解决此问题；由于涉及多类别分割，特征数据X中含有多个类别的特征信息，因此根据高斯混合模型的思路为每个码字d_k∈D设定一个平滑因子：

S＝{s₁,s₂,...,s_K} (5)

s_i表示特征向量x_i的类别归属为码字d_k的概率，S的初始化使用均匀分布随机初始化，分布区间为受益于反向传播不断迭代，以获得最佳参数；

在此基础上，计算出不同特征与不同码字之间的权重系数α_ik：

其中，r_ik为输入的特征表达x_i与词典码字d_k之间的残差距离：

r_ik＝x_i-d_k (7)

纹理特征捕获结构通过权重软分配，获得关系模型的结果e_ik：

e_ik＝a_ik*r_ik (8)

此时e_ik视为一个码字d_k对一个特征x_i的描述，通过聚合该码字d_k对输入特征X的全部描述e_ik获得该个码字对整个特征矩阵的描述：

针对纹理特征中纹理基元在图像上无序重复的存在，通过聚合的方式忽略特征的空间排列信息，提升对纹理特征分布信息的捕获能力；

依次计算各个码字对输入特征X的描述，进而获得纹理特征词典D对输入特征X的全部无序描述E：

E＝{e₁,e₂,...,e_K} (10)

其中，E的维度为K×C；

此时将获取到纹理词典的描述信息E添加到基础特征矩阵中；具体方法为：根据SE-Net中对通道信息的研究，通过学习的方式自动获取每个特征通道的调整系数Z，通过对E进行第一个维度的全局池化，获取到不同通道特征图f_i对纹理特征词典的响应值，将此值作为特征矩阵重标定的调整系数Z：

Z＝(z₁,z₂,...,z_c) (11)

计算根据纹理信息重标定的特征矩阵F¹：

F¹＝F*Z (12)

其中，*表示矩阵通道相乘；

该步骤获得根据提取到的纹理特征信息重新标定的特征矩阵F¹，该特征不仅包含卷积核内的信息，也包含了纹理信息，从而描述纹理；

步骤2.3，构造特征矩阵去噪结构；

在深度卷积网络模型之中，多次下采样之后特征值表示了在原影像中的范围较大；此时对获得特征矩阵F¹进行去噪，以获得地物分割更精确的结果；

设计深度学习中特征矩阵重建式去噪结构；

步骤2.2获得含有纹理信息的特征矩阵F¹和纹理特征词典D；利用监督学习的方式，词典D有效的学习到相应类别的纹理特征；使用词典D来重建特征矩阵，突出算法所需的纹理特征信息；

首先，计算特征矩阵F¹中各个特征向量和各个码字之间的相似性；向量之间的相似性可由余弦相似度计算获得，在深度学习中，在保证计算效率的情况下使用点积相似度来近似余弦相似度；为了保证相似性之间的度量的准确性，要在计算点积相似度之前对向量进行归一化；根据矩阵计算规则，将F¹进行矩阵转置得到然后与D进行矩阵乘法计算，在通过softmax函数得出相似度矩阵W：

上式中的softmax函数将相似度映射到(0，1)区间，并使得K个码字对一个特征x_i相似度求和为1；之后以相似度作为权重，进行矩阵相乘得到重建特征矩阵F²：

F²＝DW^T (14)

步骤2.4，构造上采样结构；

首先使用权重参数将步骤2.2和步骤2.3计算出的特征矩阵F¹和F²进行连接得到最终的特征矩阵G：

G＝wf₁*F¹+wf₂*F² (15)

其中，wf₁和wf₂是可学习参数，利用深度学习网络模型的反向传播调整参数的特性，让网络自动的调整特征信息的组合，以获得参数的准确估计；

然后,根据类别个数n对G进行通道压缩，显式地表示C个通道针对n个类别进行预测的结构；然后，双线性插值上采样到原图像大小尺寸；

该步骤得到与原始影像大小相同的特征矩阵，不仅包含卷积核的纹理特征，也进行特征去噪，更好的突出纹理特征信息，去除了下采样后卷积计算可能带来的噪声干扰；

步骤3，深度学习网络模型训练；

使用步骤1中制作的样本集和标签集作为步骤2构建好的网络模型的输入，设定网络模型超参，通过梯度下降算法，训练模型并获得稳定结果；

步骤4，图像预测；

对数据集进行预测，获得像素点j预测出的类别i的概率P_ij，并将概率最大的值作为该像素的类型T_j:

由于重叠区域内的像素存在多个不同的分割结果，可以按照最大投票方法进行合成；

通过对全部影像进行处理，获得每个像素的类型，从而实现地物类别的识别与分割，并将连通的地物构成最小的纹理基元；

步骤5，分割结果后处理

统计相同类型像素构成的连通区域，对预测结果中连通区尺寸小于阈值e_Con的区域进行一定的膨胀，如果膨胀时接触到其它区域，则认为网络预测该连通区的类别出错，将该连通区类别改为最先接触到的其他连通区的类别；如果膨胀时未接触到其他区域，则将该连通区视为孤立的噪声点进行去除。