[发明专利]基于双边特征金字塔网络与多尺度鉴别的本质图像分解方法研究

说明书

针对本质图像分解任务，本发明提出了一种并行局部分频选择的重构方法，可实现对反射图和光照图的准确重构。本质图像分解是一个欠约束问题。基于编解码网络的本质图像重构提供了一个有效的解决方案，但该方案的结果仍存在不足，因此，需要对各个频段的信息做更加精准的选择才能获得更加准确的分解结果。本发明提出的网络结构将两个并行的生成对抗网络作为主体网络，分别对反射图和光照图进行重构。针对生成网络，本发明提出了局部分频特征融合的策略，分别实现对高频反射特征和低频光照特征的选择和保留。同时，本发明在鉴别器中加入了多尺度的自适应组合模块，对多尺度特征的贡献进行自适应评估，强化鉴别效果并提升生成效果。进一步，本发明构建了多种损失函数来约束生成结果并促进网络的训练。本发明所提算法在多种数据集上都表现优异。在MPI‑Sintel数据集中，本发明相比其他方法的最优结果的重构均方误差降低了13.26％；在ShapeNet数据集中，本发明相比其他方法的最优结果的重构均方误差降低了26.09％。

技术领域：

本发明属于图像处理领域，具体涉及一种本质图像分解方法。

现有技术：

由于在物体成像过程中，诸多环境因素变化会对场景表观特性产生不同程度的影响，包括：光照强度不同、光照入射角度不同、阴影遮挡以及姿态变化等。这些变化最终会表现在图像中，针对相同的目标物体在不同的环境条件中，会采集到不同的图像，因而也给后续的图像理解任务带来了一定的困难。

想要解决这个问题，就需要在图像中提取出不随环境因素变化而变化的特征，即本质特征图像。本质特征是指不受环境因素影响，物体自身所固有的特征。对于物体而言，其固有特征包含颜色、纹理和材质等。这些固有特征是不会随着环境因素的变化而改变。如果我们能从图像中将物体的颜色、纹理和材质等本质特征信息与环境信息分离开，过滤掉受到环境影响的图像分量，那就可以得到对物体更加准确的特征信息描述。这样的做法有利于其他图像处理任务的性能提高。

图像的本质特征分解是计算视觉领域的低阶任务之一。本质特征提取就是要提取固有特征，它将图像分解为带有颜色、纹理和材质的反射图与带有形状信息和光照信息的光照图这两部分。反射图是不随环境因素的变化而改变，因此我们可以将分解后的反射图作为其他图像处理任务的输入，这样将会极大地降低图像分析的难度，使得图像处理具有光照不变的鲁棒特性。图像的反射图和光照图，如图1所示。同时，伴随着对深度学习方法研究的不断深入，基于卷积神经网络的本质特征图像分析算法在实时性和准确性上都取得了极大的进步，这也为提升无人驾驶等高级图像处理任务的鲁棒性，加快其工业应用的速度打下夯实的理论基础。

本质图像分解的求解主要分为以下两类，第一种是基于显式约束的优化方法，第二种是基于隐式约束的深度学习方法。

基于显式约束的优化方法大都采用本质图像的先验约束，在约束域求解最优化问题，其算法性能取决于先验约束的合理性以及凸优化函数的收敛性能，合理的先验约束以及好的优化函数能避免模型收敛到局部最优解。基于显式约束的优化方法无需标签，但应用有限。现实情况中，光照条件十分复杂，会出现高光、遮挡、镜面反射等问题，提出的先验约束就无法全面处理这些状况。基于标签学习得到的隐式约束要比显式约束更能泛化这些情况，也是目前主流的研究方向。

发明目的：

为了克服现有技术的不足，本发明探索并提出了一种全新的基于生成对抗网络的本质图像算法。在生成器方面，以U-Net算法为原型，本发明创新地在U-Net的跳跃层加入变形的双边特征金字塔模块，对编码器特征进行强化选择后送入解码器，提升了本质图像分解的效果。而在鉴别器中本发明加入了多尺度的自适应组合模块，在多个特征尺度进行预测，强化鉴别效果，进而提升生成效果。一方面，在反射图U-Net的跳跃连接中加入频率分解的约束，让网络学习不同特征的重要程度，得到更适合的特征。另一方面，在光照图的跳跃连接中加入频率分解以及频率压缩，这样不仅可以得到更合适的特征图还解决了光照图中高频分量多的问题。

发明内容：