[发明专利]基于自监督多尺度金字塔融合网络的图像散景虚化方法

说明书

本发明实施例公开了一种基于自监督多尺度金字塔融合网络的图像散景虚化方法，该方法包括：获取原始图像，对于原始图像进行两次下采样，得到具有三种不同分辨率的待处理图像；对于待处理图像进行特征提取，得到与待处理图像对应的特征；对于提取得到的特征进行不同尺度的循环融合增强，得到增强特征；对于增强特征进行解码，生成对应的散景虚化分量预测图像；生成不同尺度的散景模糊图像，并将散景模糊图像与对应尺度的散景虚化分量预测图像进行结构相似性计算，得到对应尺度的散景虚化分量权重；将散景虚化分量预测图像与对应尺度的散景虚化分量权重相乘，得到对应尺度的加权散景虚化分量预测图像，对其进行上采样融合，得到最终的散景虚化图像。

技术领域

本发明属于图像处理领域，具体涉及一种基于自监督多尺度金字塔融合网络的图像散景虚化方法。

背景技术

在实际应用中，通常可以通过专业的大口径、长焦距的单反相机拍摄具有散景虚化美感的图像，然而，对于具有紧凑光学元件和微型传感器的移动相机来说，通常是无法实现的。为了平衡照片质量的美学要求和昂贵的高端单反相机成本问题，散景虚化效果不得不通过模拟实现。因此，合成散景虚化渲染已经成为成像系统工程应用领域一个有吸引力的机器学习课题。

近年来，合成散景虚化渲染的方法在很大程度上比较依赖场景深度信息。在这些基于深度信息的方法中，有一些是利用双像素自动对焦系统等硬件来估计场景深度，但这些专业硬件比较昂贵，难以广泛使用。此外，对于已经使用单目相机拍摄的图像，也缺乏准确的深度信息。

在某种程度上，结合先验知识来模拟真实的散景虚化效果有可能提高图像的视觉效果，但基于先验知识的方法也存在一定的局限性：(1)与深度传感器相关的硬件并不总是可以在移动设备上使用；(2)通过软件对先验信息进行预处理通常比较耗费时间；(3)当估计的先验知识不起作用时，意外的失焦模糊反而会降低最终合成图像的质量。

综上，亟需一种成本低、效果好、鲁棒性强的图像散景虚化方法。

发明内容

本发明的目的是提供一种成本低、效果好、鲁棒性强的图像散景虚化方法，为此，本发明提供一种基于自监督多尺度金字塔融合网络的图像散景虚化方法。

为了实现上述目的，本发明提出一种基于自监督多尺度金字塔融合网络的图像散景虚化方法，所述方法包括以下步骤：

步骤S1，获取原始图像GT，并对于所述原始图像进行两次下采样，得到具有三种不同分辨率的待处理图像I_i；

步骤S2，对于所述待处理图像进行特征提取，得到与所述待处理图像对应的特征f_i；

步骤S3，对于提取得到的特征f_i进行不同尺度的循环融合增强，得到增强特征t(i,j)，其中，t(i,j)表示将尺度i的信息增强至尺度j；

步骤S4，对于所述增强特征进行解码，生成对应的散景虚化分量预测图像

步骤S5，生成不同尺度的散景模糊图像并将所述散景模糊图像与对应尺度的散景虚化分量预测图像进行结构相似性计算，得到对应尺度的散景虚化分量权重；

步骤S6，将散景虚化分量预测图像与对应尺度的散景虚化分量权重相乘，得到对应尺度的加权散景虚化分量预测图像，并与其他尺度的加权散景虚化分量预测图像进行上采样融合，得到最终的散景虚化图像。

进一步地，所述步骤S2中，对于所述待处理图像进行特征提取的步骤，包括：

利用特征提取模块FE_i对于所述待处理图像分别进行特征提取，其中，特征提取模块FE_i包括四个具有相似内部结构但参数不同的连续子块，四个连续子块顺次连接。