[发明专利]一种基于级联融合特征置信度加权的颜色恒常性方法

权利要求书

1.一种基于级联融合特征置信度加权颜色恒常性方法，其特征在于，包括以下步骤：

S1、在自然场景光源下拍摄图像以及视频，制作数据集；

S2、设计级联融合特征置信度加权网络结构，将图像中的浅层边缘纹理特征与深层细粒度特征进行融合，充分利用图像中为光源估计提供更多信息的特征估计光源；

S3、基于S1制作的数据集，对S2中设计的级联融合特征置信度加权网络结构进行二阶段训练，准确地估计出场景光源；

S4、将S3中估计出的场景光源从图像或者视频中移除，使图像恢复到标准光源下的颜色，实现图像及视频的颜色恒常性；

所述步骤S2中，级联融合特征置信度加权网络结构为：一个n层的全卷积网络结构，分为特征提取模块、置信度加权模块和光源估计模块；特征提取模块使用卷积神经网络提取图像中的特征信息，通过级联的方式将图像中的浅层边缘纹理特征与深层细粒度特征进行融合；级联融合特征置信度加权网络包含10个卷积层，其中将第二个卷积层网络提取到的特征与第八个卷积层网络提取到的特征进行融合输入到第9层卷积神经网络中，将第4层网络结构提取到的特征与第六层网络结构提取到的特征进行融合输入到第七层网络结构中；第二个卷积层到第八个卷积层的每个卷积层都是1x1和3x3大小的卷积核组成的模块，将其称之为CC，即Convolutional Color模块，CC模块包含三个卷积层，将其分别命名为CC_1,CC_2,CC_3，CC1由m个1x1大小的卷积核构成，CC2由n个1x1大小的卷积核构成，CC3由n个3x3大小的卷积核构成；置信度加权模块根据特征中包含的信息量赋予权重，区分出有用特征和噪音特征，解决光源估计模糊的问题，置信度加权模块由64个大小为6x6的卷积核构成；光源估计模块利用图像中对光源估计有用的特征信息，准确的估计出场景光源，光源估计模块由6个大小为1x1的卷积核构成。

2.根据权利要求1所述的方法，其特征在于，所述步骤S1包括以下步骤：

S11：使用各种相机以及ColorChecker颜色检查器在多种自然场景下拍摄照片以及视频；

S12：根据ColorChecker颜色检查器生成图像以及视频的场景光源信息，得到real_illum.mat图像以及视频相对应的场景光源信息文件；

S13：将图像以及视频随机进行打乱，使多种相机以及多种场景下的数据均匀分布，得到最终的数据集；

S14：将S13得到的数据集按照6:3:1的比例分为训练集、测试集、验证集，其中训练集用于训练级联融合特征置信度加权网络结构，使网络结构中的网络模型准确地估计出场景光源；测试集用于测试网络模型对光源估计的准确程度；验证集用于检验网络模型以及网络模型中的超参数的有效性，当网络模型不能准确估计光源时及时对网络模型进行修改。

3.根据权利要求1所述的方法，其特征在于，所述步骤S3中包括以下分步骤：

S31：对S1中的数据集进行数据增强，方法为：若数据集为视频，则先将视频抽取帧数制作成图像数据集，之后随机选择原始图像较短边的a～b倍的任意一点为顶点，选择正方形区域对图像进行裁剪，将选择到的图像随机旋转，并以c的概率对图像进行左右翻转，以d倍的概率对图像进行上下翻转，c和d取值范围0～1；

S32：将S31数据增强后的图像修改为mxm的图像块作为级联融合特征置信度加权网络结构的输入；

S33：将mxm的图像块输入到级联融合特征置信度加权网络结构中，得到照射在图像上的场景光源；

S34：根据估计出的场景光源以及真实的场景光源设置级联融合特征置信度加权网络结构的损失函数；

S35：根据损失函数，使用随机梯度下降和反向传播算法对级联融合特征置信度加权网络结构进行二阶段训练，通过对网络结构中的参数进行调整，建立偏色图像到场景光源的映射网络。