[发明专利]一种基于跨图像一致性的图像语义分割方法及其系统

权利要求书

1.一种基于跨图像一致性的图像语义分割方法，其特征在于，包括如下步骤：

步骤S10、用标记图像库x_l及其标签集y_l训练第一语义分割网络N1，训练次数达到设定值后，得到第二语义分割网络N2，用第二语义分割网络N2预测未标注图像库x_u并生成相应的伪标签集y_u；然后用标记图像库x_l及其标签集y_l和未标注图像库x_u及其伪标签集y_u共同训练第二语义分割网络N2，直至训练的次数达到设定值，得到第三语义分割网络N3；

步骤S20、在未标注图像库x_u中选择一张未标记图像根据未标记图像其对应的伪标签在标记图像库x_l中随机查找一张与伪标签具有相同类别k的标记图像得到伪标签上区域为类别k的第二掩膜和标签上区域为类别k的第一掩膜

步骤S30、用第三语义分割网络N3提取标记图像的第一深度特征用第一掩膜对第一深度特征进行均值池化得到第一深度特征中属于类别k的类别特征

步骤S40、用第三语义分割网络N3提取未标记图像的第二深度特征计算第二深度特征与类别特征的相似度区域得到跨图像一致性掩膜mⁱ，用第二掩膜约束跨图像一致性掩膜mⁱ，共同优化第三语义分割网络N3；

步骤S50、计算第二掩膜和跨图像一致性掩膜mⁱ之间的欧式距离，并作为权重判断伪标签的可靠性，依据伪标签的可靠性修正未标注图像的伪标签

步骤S60、重复步骤S20至步骤S50，直至未标注图像库x_u所对应的伪标签集y_u全部修正完毕，图像语义分割完成。

2.根据权利要求1所述的图像语义分割方法，其特征在于，所述步骤S10中语义分割网络N使用DeeplabV3+网络，其中ResNet101网络为DeeplabV3+网络的支架网络。

3.根据权利要求2所述的图像语义分割方法，其特征在于，所述步骤S20中的随机查找一张标记图像的过程包括如下步骤：

步骤S21、根据未标记图像找到对应的伪标签

步骤S22、判断伪标签的类别，并将该类别并记为k；

步骤S23、在标记图像库x_l中随机查找一张与伪标签具有相同类别k的标记图像

4.根据权利要求3所述的图像语义分割方法，其特征在于，所述步骤S20中的生成掩膜的实现方式为：将伪标签上所有类别为k的区域都置为1，其余置为0，从而得到伪标签中属于类别k的掩膜

5.根据权利要求4所述的图像语义分割方法，其特征在于，所述步骤S20中的生成掩膜的实现方式为：将标签上所有类别为k的区域都置为1，其余置为0，从而得到标签中属于类别k的第一掩膜

6.根据权利要求5所述的图像语义分割方法，其特征在于，所述步骤S30具体包含如下步骤：

步骤S31、用第三语义分割网络N提取标记图像的第一深度特征其中第一深度特征为一个H×W×C大小的张量，H，W，C分别为第一深度特征的长、宽和通道数量；

步骤S32、使用第一掩膜对第一深度特征进行均值池化得到大小为1×1×C的类别特征