[发明专利]一种基于层次联合卷积网络特征弱监督图像语义分割方法

权利要求书

1.一种基于层次联合卷积网络特征弱监督图像语义分割方法，其技术方案如下：

步骤1：确定图像X和对应的输出类别标签y；选择卷积神经网络Φ作为基础模型，图像X输入网络Φ后得到基本特征图

F＝Φ(X)(1)

其中h，w和c分别代表基本特征图的长，宽和通道数；

步骤2：将基本特征图F分k个层次掩盖；第i个层次的掩盖矩阵为

掩盖矩阵与基本特征图进行逐通道的乘积得到掩盖特征图：

FM_i＝F⊙M_i，i＝1，2，...，k(2)

其中⊙即为哈达玛乘积，所有表达式将默认为k个层次；

第1个层次掩盖矩阵的值全部为1：

其它层次掩盖矩阵的值计算方法见步骤7；

步骤3：掩盖特征图分k个层次卷积；第i个层次的卷积网络以H_i表示，相应生成层次特征图

FH_i＝H_i(FM_i)(4)

步骤4：层次特征图经过一次卷积得到分割特征图

其中c_o表示目标类别的数量，假设第i层分割卷积核为Kseg_i，那么分割特征图的计算方法为：

Fseg_i＝FH_i*Kseg_i(5)

其中*表示卷积操作；

步骤5：分割特征图再经过一次卷积得到分类特征图

假设第i层分类卷积核为Kclsi，则分类特征图的表达式为：

Fcls_i＝Fseg_i*Kcls_i(6)

步骤6：分类特征图通过全局池化得到分类激活向量

若全局池化操作以P表示，分类激活向量为：

Acls_i＝P(Fcls_i)(7)

当池化为全局平均池化时，分类激活向量为：

当池化为全局最大池化时，分类激活向量为：

步骤7：再经过Softmax函数映射为分类概率向量Aprob_i；第j类的概率为：

步骤8：以分割特征图生成第i+1个层次的掩盖矩阵

首先规范第i个层次分割特征图的值至区间0到1，得到规范特征图

其中ε的作用是保证除法的稳定性；

然后将规范特征图进行阈值分离，得到分离特征图

小于阈值的区域将被保留，大于阈值的区域将被掩盖：

其中阈值以γ表示；

最后将分离特征图在类别维度求最大值得到下一层次的掩盖矩阵：

步骤9：完成层次卷积网络的建立；判断当前层次等级是否达到最大等级数量k；若满足终止层次卷积，否则重复步骤2-8；

步骤10：联合层次卷积网络；将全部层次卷积网络输出的层次特征图连接到一起得到联合特征图

Fcomb＝concate(FH₁，FH₂，...，FH_k)(14)

其中concate表示特征图连接操作，此处在特征图通道维进行；

步骤11：利用联合特征图依次得到联合分割特征图，联合分类特征图，联合分类激活向量和联合分类概率向量；假设联合分割卷积核与联合分类卷积核分别为Kcomb_seg和Kcomb_cls；操作方式与步骤4-7一致：

其中

步骤12：建立图像分类目标函数；目标函数包含层次分类损失函数和联合分类损失函数；两种分类损失函数都是通过各自分类激活向量与类别标签的交叉熵计算得到；层次分类损失函数取平均后与联合分类损失函数权重各为一个单位；具体如下：

其中类比标签y是经过one-hot编码的，仅仅在图像存在目标时取1，其它情况下均取0；

步骤13：以式子为目标函数计算误差损失，通过反向传播算法调整网络Φ，H_i，Kseg_i，Kcls_i，Kcomb_seg和Kcomb_cls，以Ψ表示以上全部网络和参数组成的模型；其中i介于1到k之间；重复训练s个步长；

步骤14：用训练完成的模型Ψ预测分割结果图

在联合分割特征图的类别通道维度取最大索引作为预测：

Pseg＝argmax(Fcomb_seg)(17)

其中argmax作用的维度是第三维，也就是类别维度，因而最终预测分割图降低成二维矩阵。