[发明专利]基于自监督低秩网络的半监督图像语义分割方法及装置

权利要求书

1.一种基于自监督低秩网络的半监督图像语义分割方法，其特征在于，所述方法包括：

构建自监督低秩网络，将来自两个分支的掩码分别进行逆几何变换，利用优化模块产生伪掩码输入到LR低秩模块；

输入N个特征X与K个初始化基，采用迭代注意机制寻找一组最优基μ和赋值矩阵P，在每次迭代中，通过softmax归一化注意力和温度系数来计算赋值矩阵P；

通过聚合输入特征X来更新最优基μ，在V次迭代之后，收敛的赋值矩阵P和最新的最优基用于重建输入特征X；

添加了由两个卷积层组成的辅助解码器来预测粗类激活图，获取类别为C的softmax规范化的类激活图A和深特征X₁后，通过加权平均值计算第k个初始化基；

在基初始化过程中使用由分类损失和伪掩码分割损失构成的目标函数进行监督，对LR低秩模块的输出结果进行解码和优化，根据损失对自监督低秩网络进行更新；

其中，所述自监督低秩网络为：

将已建立的编码器-解码器分段网络扩展为共享权重的孪生神经网络结构；

将来自某一图像的两个增强视图作为输入，编码器网络处理视图并生成特征映射，该特征映射作为LR低秩模块的输入，重新估计特征映射后，将具有LR特性的特征分别反馈给解码器网络，来预测掩码。

2.根据权利要求1所述的一种基于自监督低秩网络的半监督图像语义分割方法，其特征在于，所述方法包括：对两个分支的掩码分别进行交叉视图掩码正则化处理。

3.根据权利要求1所述的一种基于自监督低秩网络的半监督图像语义分割方法，其特征在于，所述伪掩码为：

其中，分别为两个视图的几何变换，T为逆变换，为掩码M₁通过视图I₁的逆几何变换，为掩码M₂通过视图I₂的逆几何变换，为优化模块。

4.根据权利要求1所述的一种基于自监督低秩网络的半监督图像语义分割方法，其特征在于，所述通过聚合输入特征X来更新最优基μ具体为：

其中，ω_n，k为x_n到μ_k的赋值权重，P_n，k为x_n到μ_k的赋值，P_m，k为x_m到μ_k的赋值，x_n为第n个特征，N为特征个数，μ_k为第k个初始化基。

5.根据权利要求1所述的一种基于自监督低秩网络的半监督图像语义分割方法，其特征在于，所述方法还包括：对所述LR低秩模块引入交叉视图正则化，用于加强两个视图的赋值矩阵之间的一致性。