[发明专利]基于块推荐网络的快速高分辨率图像分割方法

权利要求书

1.基于块推荐网络的快速高分辨率图像分割方法，其特征在于包括以下步骤：

1)使用现有的语义分割框架分别构建全局分支G-branch与局部精细化分支R-branch；

2)将原始高分辨率图像下采样成下采样图像,将原始高分辨率图像均匀地划分成若干个图像块；

3)将下采样图像输入全局分支中获得全局分割特征图，然后使用与步骤2)相同的划分方式，将全局分割特征图均匀地划分成若干个特征块；

4)将下采样图像输入块推荐网络PPN中，获取推荐块，具体步骤为：

(4a)网络接收原高分辨率图像下采样后的图像作为输入，通过块推荐网络结构得到推荐的块号；

(4b)网络的块推荐机制采用如下判别机制：若当前特征块的分割得分I_C低于总体平均得分I_t时，当前特征块将被确定为推荐的块并将其赋予指示值1，否则赋予指示值0；分割得分的度量使用全局分支G-branch中获得的平均交并比mIoU，K代表图像块的指示标识，取值为1表示推荐该图像块，取值为0表示不推荐该图像块；其选择机制的表达式如下：

5)在步骤2)的若干个图像块中根据步骤4)获得的推荐块标号，取出推荐块，与全局分割特征图上相应的特征块依次进行显著性操作，最后将显著性操作后的结果依次输入到步骤1)构建的局部精细化分支R-branch中，得到局部精细化特征块；

6)将局部精细化特征块与全局分割特征图进行相应位置的融合，输出融合后的分割结果，作为总体的分割结果；

7)将分割结果与真实标签计算误差损失，使用Adam优化器训练网络，更新网络参数；

8)取任意的测试图像，重复步骤1)～6)，得到分割预测结果。

2.如权利要求1所述基于块推荐网络的快速高分辨率图像分割方法，其特征在于在步骤(6)中，所述将局部精细化特征块与全局分割特征图进行相应位置的融合的具体步骤为：

(6a)构建与全局分割特征图具有相同大小的模板特征图，使用与划分全局分割特征图相同的划分方式，将模板特征图均匀划分为若干特征块；

(6b)若块推荐网络PPN选择了第i个块，则精细化后的第i个特征块将替换模板特征图中对应的第i个特征块，而未被推荐的特征块则保持不变；

(6c)将重构的模板特征图与全局分割特征图在通道维度上串接在一起，然后将结果输入到包含三个卷积层的聚合层中。

3.如权利要求1所述基于块推荐网络的快速高分辨率图像分割方法，其特征在于在步骤(7)中，所述使用Adam优化器训练网络的具体步骤为：

(7a)独立地训练几轮全局分支G-branch；具体地，将下采样后的图像输入全局分支，获得全局分割特征图，然后使用全局分支损失函数更新全局分支G-branch的权重，全局分支损失函数表示如下：

其中，γ是调节简单样本权重降低速率的参数，y′_g表示全局分割分支输出的预测分割结果，y_g表示其对应的真实标签；

(7b)将下采样后的图像输入到固定的全局分支G-branch中，并获得输出全局分割特征图，然后分别计算整个全局分割特征图和每个分割特征块的平均交并比mIoU，根据块推荐网络PPN中使用的选择策略，若某个分割特征块的平均交并比mIoU小于全局分割特征图的平均交并比mIoU，则选择该特征块并将相应的标签设置为1，否则设置为0；对于块推荐网络PPN，采用二进制交叉熵损失进行训练；

(7c)在将块推荐网络PPN训练了一个轮后，固定块推荐网络PPN，并将其输出的推荐块标记图指导总体网络中的细化和融合，使用总体损失函数调整总体网络的权重，交替训练块推荐网络PPN和主体网络，每次各迭代一个轮，直至达到最大的训练轮次或算法收敛为止，总体损失函数表示为下式：

式中，局部精细化分支损失函数和聚合层损失函数的表示形式与步骤(7a)中全局分支损失函数相似，y′_r表示局部精细化分割分支R-branch输出的预测分割结果，y_r表示其对应的真实标签，y′_a表示网络最终输出的预测分割结果，y_a表示其对应的真实标签，γ是调节简单样本权重降低速率的参数。