[发明专利]一种结合相机光谱灵敏度信息的场景真彩色恢复方法

说明书

技术领域

本发明涉及颜色恒常性领域，尤其是涉及了一种结合相机光谱灵敏度信息的场景真彩色恢复方法。

背景技术

随着数字图像和视频的快速发展，对很多实际应用来说，从本征图像分解到基于颜色的目标识别和跟踪纺织与食品加工的质量控制，通过设备捕捉的图像准确记录一个场景的真彩色是非常重要的。然而，这些设备捕捉的图像颜色总是因场景光源颜色的改变而受影响。而如果在传统的颜色恒常性算法处理过程，结合相机光谱灵敏度信息，则可以获得一个场景的稳定的独立于光源和相机传感器的彩色图像表示，还会进一步造福于计算机视觉应用，如本征图像分解，3D视图合成、基于物理的反射描述符等。

本发明引入使用基于学习的颜色恒常性算法进行基于内部数据集评估导致失败的问题，采用一种结合相机光谱灵敏度信息的场景真彩色恢复方法，首先训练一个变换矩阵，它使一个相机光谱灵敏度下的光源和图像对应转换到另外一个相机光谱灵敏度下的光源和图像。接着，在另外一个数据集应用颜色恒常模型之前，这个矩阵被用于将一个相机光谱灵敏度下的已渲染数据变换为另外一个特定相机光谱灵敏度下的已渲染数据。

发明内容

针对使用基于学习的颜色恒常性算法进行基于内部数据集评估导致失败的问题，本发明的目的在于提供一种结合相机光谱灵敏度(CSS)信息的基于内部数据集的颜色恒常性算法，首先训练一个变换矩阵，这个矩阵可以将光源和图像的记录由一个CSS(CSS-1)变换到另一个CSS对应的光源和图像的记录(CSS-2)。接着，利用变换得到的数据训练模型并在以CSS-2记录的图像和光源数据上测试该模型。

为解决上述问题，本发明提供一种结合相机光谱灵敏度信息的场景真彩色恢复方法，其主要内容包括：

(一)数据输入；

(二)变换矩阵训练；

(三)图像和光源变换；

(四)模型训练；

(五)数据集测试。

其中，一种结合相机光谱灵敏度信息的场景真彩色恢复方法，颜色恒常性是指，室外光线的彩色成分变化非常大，但人却能正确的感知场景中物体的颜色，并且在大部分情况下不依赖于环境照明的颜色；颜色恒常性算法可以消除不同光照对图像颜色的影响，为计算机视觉系统提供类似于人类视觉系统的颜色恒常性感知功能，从而得到物体表面与光照无关的颜色特性。

其中，一种结合相机光谱灵敏度信息的场景真彩色恢复方法，提出一个简单而有效的框架，它将相机光谱灵敏度(CSS)结合到颜色恒常性算法的过程；首先训练一个变换矩阵，这个矩阵可以将一个相机光谱灵敏度下的光源和图像对应转换到另外一个相机光谱灵敏度下的光源和图像；接着，训练颜色恒常性模型并在以另一个相机光谱灵敏度记录的图像上测试该模型。

其中，所述的数据输入，以某个相机光谱灵敏度(简记为CSS-1，下同)下的一台相机收集到的数据集的图像以及光源作为颜色恒常性算法输入，用于训练模型，以不同相机光谱灵敏度(简记为CSS-2，下同)下的另一台相机收集到的数据集的图像作为颜色恒常性算法输入，用于测试训练得到的模型。

进一步地，所述的相机光谱灵敏度，相机光谱灵敏度会影响图像颜色，除此之外，场景中物体的反射率和场景光源同样会影响最后测量到的图像的每个像素的颜色值。

其中，所述的变换矩阵训练，传感器转换可以简单地描述为一个3×3矩阵；如果fr¹(x)表示CSS-1对一个反射率的响应量，fr²(x)表示对同一反射率的响应量，我们定义方程(1)。

fr¹(x)＝S·fr²(x)(1)

进一步地，所述的变换矩阵，S是一个3×3的矩阵，它由最小均方误差(LMS)训练方法得到；为了得到在方程(1)基础上的CSS-1和CSS-2之间的变换矩阵S，我们总是使用相同的1995反射光谱，以SFU高光谱数据集作为输入，得出方程(1)中的响应量fr¹(x)和fr¹(x)。

其中，所述的图像和光源变换，对于基于内部数据集的颜色恒常性算法，利用矩阵S来变换从CSS-1到CSS-2下的渲染的图像f¹(x)和光源

其中，所述的模型训练，经矩阵S变换后，在变换后的图像和光源数据中以方程(2)训练CC模型Γ。

其中，所述的数据集测试，将在CSS-2渲染下的数据集输入训练模型Γ中测试，得出基于内部数据集的评估，即根据方程(3)获得光源

附图说明