[发明专利]基于自监督低秩网络的半监督图像语义分割方法及装置

说明书

本发明公开了一种基于自监督低秩网络的半监督图像语义分割方法及装置，方法包括：构建自监督低秩网络，将来自两个分支的掩码分别进行逆几何变换，利用优化模块产生伪掩码输入到LR低秩模块；在每次迭代中，通过softmax归一化注意力和温度系数来计算赋值矩阵P；通过聚合输入特征X来更新最优基μ，获取类别为C的softmax规范化的类激活图A和深特征X₁后，通过加权平均值计算第k个初始化基；在基初始化过程中使用由分类损失和伪掩码分割损失构成的目标函数进行监督，对LR低秩模块的输出结果进行解码和优化，根据损失对自监督低秩网络进行更新。装置包括：构建模块、优化模块、LR低秩模块、更新模块、预测模块、监督模块、输出模块。

技术领域

本发明涉及图像语义分割领域，尤其涉及一种基于自监督低秩网络的半监督图像语义分割方法及装置。

背景技术

最近，基于深度学习的语义分割模型通过大规模像素级标签训练，取得了重大进展。然而，这种有监督的方法需要大量的人工标注，这既耗时又昂贵。为了减少标注像素级标签的工作量，大量研究开发了具有低成本标注的弱监督语义分割方法(WSSS)，例如：边界框、涂鸦、点和图像级标签。

大多数流行的图像级WSSS方法都需要经过多个训练和优化阶段来获得更精确的伪标签。这些方法通常从弱监督定位开始，例如：类激活图(CAM)，它突出了图像中最具辨别力的区域。多样化的增强CAM生成网络和CAM优化程序旨在将突出显示区域扩展到整个对象或消除误差的突出显示区域。虽然这些多阶段方法可以产生更精确的伪标签，但它们存在着大量的超参数和复杂的训练过程。相比之下，单阶段WSSS方法由于分割精度较低而受到较少关注。

最近，现有技术中又提出了一个简单的单级WSSS模型，该模型在线生成像素级伪标签作为自监督。然而，它的性能仍然不如比较先进的多级模型。单级模型性能不佳的原因是：在线不准确伪标签监督导致的误差复合效应。

与多级优化相比，在线自训练有望在训练过程中逐步提高语义的保真度和完整性。然而，这也增加了误差被模仿和累积的风险，并且会出现梯度流从顶层反向传播到下层的现象。

发明内容

本发明提供了一种基于自监督低秩网络的半监督图像语义分割方法及装置，本发明克服了由自监督错误引起的符合效应，在复杂性和准确性方面均优于当前的单极和多级WSSS方法(弱监督语义分割方法)，详见下文描述：

第一方面，一种基于自监督低秩网络的半监督图像语义分割方法，所述方法包括：

构建自监督低秩网络，将来自两个分支的掩码分别进行逆几何变换，利用优化模块产生伪掩码输入到LR低秩模块；

输入N个特征X与K个初始化基μ，采用迭代注意机制寻找一组最优基μ和赋值矩阵P，在每次迭代中，通过softmax归一化注意力和温度系数来计算赋值矩阵P；

通过聚合输入特征X来更新最优基μ，在V次迭代之后，收敛的赋值矩阵P和最新的最优基用于重建输入特征X；

添加了由两个卷积层组成的辅助解码器来预测粗类激活图，获取类别为C的softmax 规范化的类激活图A和深特征X₁后，通过加权平均值计算第k个初始化基；

在基初始化过程中使用由分类损失和伪掩码分割损失构成的目标函数进行监督，对LR 低秩模块的输出结果进行解码和优化，根据损失对自监督低秩网络进行更新。

在一种实现方式中，所述自监督低秩网络为：将已建立的编码器-解码器分段网络扩展为共享权重的孪生神经网络结构；

将来自某一图像的两个增强视图作为输入，编码器网络处理视图并生成特征映射，该特征映射作为LR低秩模块的输入，重新估计特征映射后，将具有LR特性的特征分别反馈给解码器网络，来预测掩码。

第二方面，一种基于自监督低秩网络的半监督图像语义分割装置，所述装置包括：