[发明专利]一种时空一致的立体视频颜色校正方法

说明书

本发明涉及一种时空一致的立体视频颜色校正方法，首先从参考视频帧和目标视频帧中每隔a帧选出一对关键帧，在每个时间滑动窗口内选取k对；接着对于每一对关键帧，采用图像颜色校正算法获得目标视频关键帧的初始颜色校正结果帧，然后利用引导滤波计算得到和输入的目标视频关键帧结构更加一致的颜色校正结果视频帧；然后在时间滑动窗口内，利用改进的直方图匹配求出目标视频关键帧和颜色校正后的目标视频关键帧之间的颜色映射函数；最后用该颜色映射函数校正位于时间滑动窗口中心的a帧目标视频帧，得到a帧颜色校正后的最终目标视频帧。本发明对于立体视频颜色差异能够起到很好的校正效果。

技术领域

本发明涉及图像和视频处理以及计算机视觉领域，特别是一种时空一致的立体视频颜色校正方法。

背景技术

图像和视频中颜色和亮度差异通常是由各种因素引起的，例如强度变化、光源位置、孔径尺寸差异、拍摄角度、拍摄时间等。立体显示中左右视图之间的颜色差异将增加立体图像融合的负担，从而导致人的视觉疲劳。已经有一些颜色校正算法被提出用来减少颜色差异，提高立体图像或视频的质量。

基于颜色映射函数的数量，可以将颜色校正算法分类为全局颜色校正算法和局部颜色校正算法。但是全局颜色校正算法对图像中的局部颜色差异的校正效果较差，并且只利用了统计信息，例如均值和标准差，颜色校正的结果往往不自然。为了解决全局颜色校正算法的不足，许多局部颜色校正算法也被不断提出。但是基于稀疏特征匹配的局部颜色校正算法的特征点少，因此颜色校正结果非常依赖于特征点匹配的准确度，一旦出现误匹配和没有特征点匹配的区域，就会出现错误的颜色校正结果。

颜色校正按照应用的类型也可以分为图像颜色校正算法和视频颜色校正算法。图像颜色校正算法使用参考图像对存在颜色差异的目标图像进行颜色校正，使目标图像的颜色特征尽可能的与参考图像保持一致。Reinhard等人提出了利用参考和目标图像的均值和方差的图像颜色转换。图像颜色校正算法需要在不相关的颜色空间中执行，以避免某个颜色通道在被修改时影响到其它通道颜色。Xiao等人通过使用协方差矩阵，在相关色彩空间中进行全局颜色转换。Yan等人提出基于尺度不变特征变换的局部图像颜色校正算法，利用稀疏特征点匹配参考图像和目标图像，对每个区域进行颜色校正。Panetta等人利用K均值算法来分割图像参考图像和目标图像，求出参考图像和目标图像的匹配区域，对每个匹配区域进行颜色校正。

迄今为止，提出的视频颜色校正的算法较少。Fecker等人提出了一个针对图像和多视角视频的累积直方图映射颜色校正算法，算法根据参考图像和目标图像颜色值出现次数来得到颜色值映射，从匹配到的参考图像颜色值中选取最大的颜色值作为目标图像中该颜色值的匹配。在视频颜色校正上，Fecker等人将所有的参考视频帧和目标视频帧的颜色信息都考虑进去，求出一个颜色映射函数来校正所有的目标视频帧，以此提高视频颜色的时间连续性。但是这种方法求解的颜色映射函数会产生部分颜色跳跃性大即匹配错误的情况，从而导致结果图像的某些区域和参考图像有较大的颜色差异，并且考虑所有图像的颜色信息进行映射函数求解非常耗时。Yao和Chang等人的梯度保留颜色转换算法是使用直方图匹配和拉普拉斯金字塔来获得和参考图像颜色一致的结果图像，然后利用块匹配将该方法拓展到视频颜色校正上，以此来提高视频颜色的时间一致性。Fezza等人提出了一个基于特征匹配的颜色校正算法来增强视频的编码性能和质量。他们使用SIFT特征点来找到视角间的公共区域，然后将目标视频序列分成多组，计算多组图片的公共区域的颜色直方图来求出多个颜色映射函数，再应用到对应组的目标视频帧上。Lu等人提出的基于时空一致和结构优化的视频颜色校正算法，利用前一帧的目标视频帧、前一帧的结果视频帧、当前的目标视频帧、当前的参考视频帧以及纹理信息来构建一个拉普拉斯矩阵优化问题，最后逐帧进行颜色校正。

发明内容

有鉴于此，本发明的目的是提出一种时空一致的立体视频颜色校正方法，先利用改进的直方图匹配来提高颜色映射的准确性，然后通过时间滑动窗口来维持校正后的目标视频帧的时间连续性。本发明对于立体视频颜色差异能够起到很好的校正效果。