[发明专利]基于自监督多尺度金字塔融合网络的图像散景虚化方法

权利要求书

1.一种基于自监督多尺度金字塔融合网络的图像散景虚化方法，其特征在于，所述方法包括以下步骤：

步骤S1，获取原始图像GT，并对于所述原始图像进行两次下采样，得到具有三种不同分辨率的待处理图像I_i；

步骤S2，对于所述待处理图像进行特征提取，得到与所述待处理图像对应的特征f_i；

步骤S3，对于提取得到的特征f_i进行不同尺度的循环融合增强，得到增强特征t(i,j)，其中，t(i,j)表示将尺度i的信息增强至尺度j；

步骤S4，对于所述增强特征进行解码，生成对应的散景虚化分量预测图像

步骤S5，生成不同尺度的散景模糊图像并将所述散景模糊图像与对应尺度的散景虚化分量预测图像进行结构相似性计算，得到对应尺度的散景虚化分量权重；

步骤S6，将散景虚化分量预测图像与对应尺度的散景虚化分量权重相乘，得到对应尺度的加权散景虚化分量预测图像，并与其他尺度的加权散景虚化分量预测图像进行上采样融合，得到最终的散景虚化图像。

2.根据权利要求1所述的方法，其特征在于，所述步骤S2中，对于所述待处理图像进行特征提取的步骤，包括：

利用特征提取模块FE_i对于所述待处理图像分别进行特征提取，其中，特征提取模块FE_i包括四个具有相似内部结构但参数不同的连续子块，四个连续子块顺次连接。

3.根据权利要求2所述的方法，其特征在于，所述连续子块包括三个顺次连接的残余卷积块，其中，第二个残余卷积块与第三个残余卷积块之间设置有线性整流模块，第一个残余卷积块的输出与第三个残余卷积块的输出相加连接后作为所述连续子块的输出。

4.根据权利要求1-3任一所述的方法，其特征在于，所述步骤S3中，利用下式对于提取得到的特征f_i进行不同尺度的循环融合增强，得到增强特征t₁₁、t₂₁、t₂₃、t₃₃，其中，i＝1,2,3：

t₁₁＝z₂₁；

t_21＝z₂₁↑+f₂；z₂₁＝f₂↓+f₁；

t₂₃＝z₃₂；z₃₂＝f₃↓+f₂；

t₃₃＝f₃+z₃₂↑。

5.根据权利要求1所述的方法，其特征在于，所述步骤S4中，对于所述增强特征进行解码的步骤，包括：

利用解码器Gen(i,j)对于所述增强特征进行解码，其中，解码器Gen(i,j)包括四个具有相似内部结构但参数不同的连续子块，四个连续子块顺次连接。

6.根据权利要求5所述的方法，其特征在于，所述连续子块包括顺次连接的两个卷积块和一个反卷积块，其中，第一个卷积块与第二个卷积块之间设置有线性整流模块，第一个卷积块的输入与第二个卷积块的输出相加连接后作为反卷积块的输入，所述反卷积块的输出作为所述连续子块的输出。

7.根据权利要求1-3、5、6任一所述的方法，其特征在于，所述步骤S5中，生成不同尺度的散景模糊图像包括：

利用DefocusBlur算法生成不同尺度的散景模糊图像

8.根据权利要求7所述的方法，其特征在于，所述步骤S5中，将所述散景模糊图像与对应尺度的散景虚化分量预测图像进行结构相似性计算，得到对应尺度的散景虚化分量权重，包括：

在不同尺度上计算散景模糊图像与对应尺度的散景虚化分量预测图像的结构相似性：

将α_i,j共同标准化到[0,1]，得到对应尺度的散景虚化分量权重w_i,j。