[发明专利]一种基于两阶段图像上下文识别网络及单图像阴影去除方法

说明书

本发明涉及图像光照编辑领域，提供了一种基于两阶段图像上下文识别网络及单图像阴影去除方法。该方法显式地捕获阴影图像中隐式存在的阴影与非阴影图像对关系并根据该匹配对关系来进行图像的上下文信息特征迁移从而将有用的非阴影区域的信息迁移至非阴影区域，有效地消除图像中的阴影。解决了当前阴影去除结果不准确，存在一些如处理结果颜色扭曲，泛化能力较差的问题，同时实现了对单幅图像进行的高质量的阴影去除。

技术领域

本发明属于图像光照编辑领域，具体涉及一种基于两阶段图像上下文识别网络及单图像阴影去除方法，可以捕获并利用图像中成对的上下文匹配信息有效地消除图像中的阴影。

背景技术

目前，常用的阴影去除方式可主要分为以下两类：一、基于传统物理的方法，如论文“Single-image shadow detection and removal using paired regions”中所提出的阴影去除方法，通过物理的模型来组像素地分析图像的光照强度。该方法在一定假设前提下能够取得不错的阴影去除效果，但由于十分依赖于先验知识的获取和一系列相关的假设，该方法的泛化能力较差，无法较好的处理假设之外的大部分数据且通常结果存在部分伪影；二、基于深度学习的方法，这类方法可以较好的克服传统物理的方法中依赖大量假设、处理结果存在伪影的问题，如论文“RIS-GAN:Explore Residual and Illuminationwith Generative AdversarialNetworks for Shadow Removal”中所提出的基于对抗生成网络的阴影去除方法通过大量数据的有监督学习，取得了一定的进展，但该方法仍然存在一些如处理结果颜色扭曲，阴影去除不完全的严重问题，难以满足实际应用中的需求。现有技术中，仍然缺乏一种泛化能力强，能满足用户需求，在现实世界中实际有效的单图像阴影去除方法。

发明内容

为了克服现有技术的不足，本发明提供了一种基于两阶段图像上下文识别网络的单图像阴影去除方法，旨在解决现有的阴影去除方法泛化能力不强、处理结果存在颜色扭曲、难以满足实际应用需求的问题。本发明提供的基于两阶段图像上下文识别网络，其特殊之处在于：包括基于上下文特征迁移的阴影去除网络和结果精化网络两阶段，其中，阴影去除网络包括特征提取器、“双头”上下文信息匹配模块、上下文特征迁移模块和上采样阴影去除结果生成模块；所述结果精化网络用于对阴影去除网络输出的结果进行进一步精化处理；

所述特征提取器用于提取不同尺度的图像特征；

所述“双头”上下文信息匹配模块首先对图像块的特征表示进行建模并根据该特征来捕获需要的图像中存在的上下文信息匹配对集合；

所述上下文特征迁移模块包括一个高斯采样层和一个采样结果聚合层，通过高斯采样进行上下文特征信息的迁移；

所述上采样阴影去除结果生成模块将提取的特征图还原成输入图像的原始大小并分别预测L,A,B通道上的阴影去除结果。

进一步地，所述“双头”上下文信息匹配模块包括一个用于提取图像块特征表示的特征提取器，一个用于区分匹配对类型的分类器和一个用于预测图像块匹配程度的预测器；

其中，所述特征提取器由卷积层和残差块组成；所述预测器由全连接层和SoftMax层组成。

进一步地，所述上采样阴影去除结果生成模块包括四个反卷积层、四个残差层和三个卷积层。

进一步地，匹配对类型分为“0、1、-1”三类：“0”表示图像块的匹配对来自相同区域，即均为阴影块或均为非阴影块；“1”表示前一个图像块为阴影块，后一个图像块为非阴影块；“-1”则与1相反；预测的匹配程度为一个0～1的浮点数，表示匹配对的匹配程度，“0”表示最不匹配，“1”表示最匹配。

基于同一发明构思，本发明还涉及一种利用基于两阶段图像上下文识别网络的单图像阴影去除方法，包括以下步骤：

步骤S1：利用SRD数据集制作单图像阴影去除数据集；