[发明专利]一种基于两阶段图像上下文识别网络及单图像阴影去除方法

权利要求书

1.一种基于两阶段图像上下文识别系统，其特征在于：包括基于上下文特征迁移的阴影去除网络和结果精化网络两阶段，其中，阴影去除网络包括特征提取器、“双头”上下文信息匹配模块、上下文特征迁移模块和上采样阴影去除结果生成模块；所述结果精化网络用于对阴影去除网络输出的结果进行进一步精化处理；

所述特征提取器用于提取不同尺度的图像特征；

所述“双头”上下文信息匹配模块首先对图像块的特征表示进行建模并根据该特征来捕获需要的图像中存在的上下文信息匹配对集合；

其中，所述“双头”上下文信息匹配模块包括一个用于提取图像块特征表示的特征提取器，一个用于区分匹配对类型的分类器和一个用于预测图像块匹配程度的预测器，该“双头”上下文信息匹配模块首先对输入的阴影图像进行均值滤波来使得阴影图像的光照强度均值化，然后对原始输入图片和滤波后的图片进行图像块的划分，并将划分出的图像块成对地输入到网络中，分别预测出匹配对的匹配类型和匹配程度；

其中，所述特征提取器由卷积层和残差块组成；所述预测器由全连接层和SoftMax层组成；

所述上下文特征迁移模块包括一个高斯采样层和一个采样结果聚合层，通过高斯采样进行上下文特征信息的迁移；

所述上采样阴影去除结果生成模块将提取的特征图还原成输入图像的原始大小并分别预测L,A,B通道上的阴影去除结果。

2.根据权利要求1所述的基于两阶段图像上下文识别系统，其特征在于：所述上采样阴影去除结果生成模块包括四个反卷积层、四个残差层和三个卷积层。

3.根据权利要求1所述的基于两阶段图像上下文识别系统，其特征在于：匹配对类型分为“0、1、-1”三类：“0”表示图像块的匹配对来自相同区域，即均为阴影块或均为非阴影块；“1”表示前一个图像块为阴影块，后一个图像块为非阴影块；“-1”则与1相反；预测的匹配程度为一个0～1的浮点数，表示匹配对的匹配程度，“0”表示最不匹配，“1”表示最匹配。

4.一种利用权利要求1所述系统的单图像阴影去除方法，其特征在于，包括以下步骤：

步骤S1：利用SRD数据集制作单图像阴影去除数据集；

步骤S2：使用步骤S1的单图像阴影去除数据集，训练“双头”上下文信息匹配模块；

步骤S3：使用步骤S1中涉及的除数据集和步骤S2中训练好的“双头”上下文信息匹配模块，根据权利要求1所述的基于上下文特征迁移的阴影去除网络和结果精化网络两阶段进行有监督地训练；

步骤S4：利用步骤S3中训练好的网络进行单图像阴影去除。

5.根据权利要求4所述的基于两阶段图像上下文识别系统的单图像阴影去除方法，其特征在于：所述步骤S1中单图像阴影去除数据集包括两种，其一为现有数据集，即成对的阴影图像和对应的无阴影图像,还包括该阴影图像的阴影遮罩；其二为制作数据集，即随机从现有数据集图像的阴影区域和非阴影区域各选择一个图像块，计算它们的余弦相似度，选择其中余弦相似度高于0.95的图像块对作为匹配对，小于0.5的图像块对作为非匹配对；此外，从图像中随机选择两个图像块，并根据图像块所属区域给予其对应的匹配对类型标签。