[发明专利]多光源预测方法

说明书

一种多光源预测方法，包括如下步骤：由特征提取网络进行图像的色彩与语义特征的解耦，得到高维特征矩阵；由主成光源预测网络，通过所述特征提取网络得到的高维特征矩阵进行主成光源的光源值的预测；由光源分布权重图预测网络，通过所述特征提取网络中得到的高维特征矩阵，实现像素级的光源分布权重图预测。本方法克服数码相机成像时的多光源色彩恒常问题，能够有效的完成基于场景语义信息的多光源预测，同时，该方法对于不同的光照模式都有较好的适应性，能够实现从现实各类情况的多光源图片中获得准确的光源分布以及光源色彩信息。

技术领域

本发明涉及计算摄影学，特别是涉及一种多光源预测方法。

背景技术

色彩恒常(Color Constancy,CC)是相机成像时所面对的一个经典问题,在受到不同颜色的光源影响时，人眼能够准确的还原物体本身的色彩，这得益于人脑对于特定环境的先验知识，然而对于相机来说，在面对环境光源的干扰时，其并不能准确的还原出物体本身的颜色。

常见的色彩恒常手段可分为两类，一类是传统的基于统计学的算法，另一类是基于数据驱动的方法。其中，前者以Grey World以及Max-RGB为主要算法，这些算法的主要思想是通过寻找不同通道中的特定白点响应，来获得对应的入射光源，这样方法的优点是速度快，计算量小，缺点是在面对缺少白点的情况(如大面积纯色场景等)这样的方法极易受大面积纯色区域的影响，从而导致较差的适应性。随着深度学习在计算机视觉领域的兴起，基于数据驱动的算法也应用到色彩恒常上，数据驱动的算法主要有学习以频域谱为主的快速傅立叶色彩恒常(Fast Fourier Color Constancy,FFCC)以及基于图片语义信息的全连接卷积网路色彩恒常(Fully Connect Convolutional Color Constancy,FC⁴),近几年也不断有更新的算法提出，相较于传统算法，基于数据驱动的方法在面对复杂场景时能够有更好的适应性，比如在面对大面积纯色场景时，基于数据驱动的方法往往能实现更好的光源预测。

然而，目前的色彩恒常方法大多数都集中在对于单一光源的恢复上，而忽略了常见的场景的光源往往是多光源的，虽然通过聚类或切块的方法，传统方法以及数据驱动的方法均能实现对于多光源的预测，然而这样的预测手段往往忽略了图片自身的语义信息也就无法真实地还原多光源场景的信息。

有学者提出利用生成对抗网络实现图到图的多光源修复，但是该方法有可能对于图片的结构信息造成影响，在对抗生成中可能引入不属于真实图片的场景，进而导致还原结果无法真正的应用于移动拍照端。

需要说明的是，在上述背景技术部分公开的信息仅用于对本申请的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本发明的主要目的在于克服上述背景技术存在的缺陷，提供一种多光源预测方法。

为实现上述目的，本发明采用以下技术方案：

一种多光源预测方法，包括如下步骤：

由特征提取网络进行图像的色彩与语义特征的解耦，得到高维特征矩阵；

由主成光源预测网络，通过所述特征提取网络得到的高维特征矩阵进行主成光源的光源值的预测；

由光源分布权重图预测网络，通过所述特征提取网络中得到的高维特征矩阵，实现像素级的光源分布权重图预测。

进一步地：

所述特征提取网络包含浅层语义提取分支、深层语义提取分支以及色彩偏好提取分支，所述浅层语义提取分支通过较小的感受野对图像中的浅层语义信息进行提取，所述深层语义提取分支通过较大的感受野对图像中的深层语义信息进行提取，以便提取图像中不同组成结构的关联关系，所述色彩偏好提取分支进行图像中的色彩偏好提取，以便实现色彩与语义特征的解耦。

采用如下设置一种或多种：