[发明专利]一种快速多视点视频颜色校正方法

摘要

本发明公开了一种快速多视点视频颜色校正方法，本发明方法将所有的多视点视频图像分为关键帧图像和非关键帧图像两类，对于关键帧图像，通过提取主颜色信息来实现精确的颜色校正，而对于非关键帧图像，则通过时域跟踪来实现快速的颜色校正，在保证颜色校正精确性的同时大大降低了颜色校正的计算复杂度；本发明方法根据颜色校正方法对复杂性和实时性的要求，设计了同步跟踪和非同步跟踪两种方式，同步跟踪方式能对实现颜色校正的同步处理但计算复杂度较高，而非同步跟踪方式虽然不能实现颜色校正的同步处理但计算复杂度较低，这样能够实现自适应跟踪，大大提高了颜色校正方法的有效性。

主权项

1.一种快速多视点视频颜色校正方法，其特征在于包括以下步骤：①将由多视点视频系统拍摄的未经处理的且颜色空间为YUV的多视点视频定义为原始多视点视频，将原始多视点视频中的一个视点定义为目标视点，记为T，将原始多视点视频中的其它视点定义为源视点，记为S；在空域上该原始多视点视频包括目标视点原始视频和源视点原始视频，目标视点原始视频主要由若干个帧组的目标视点图像组成，源视点原始视频主要由若干个帧组的源视点图像组成，其中，YUV颜色空间的三个颜色分量中的第1个颜色分量为亮度分量，记为Y，第2个颜色分量为第一色度分量，记为U，第3个颜色分量为第二色度分量，记为V；②将目标视点原始视频中第i个帧组第j时刻的目标视点图像记为{^(T)I_i，j，k(x，y)}，将源视点原始视频中第i个帧组第j时刻的源视点图像记为{^(S)I_i，j，k(x，y)}，将目标视点原始视频中每个帧组第1时刻的目标视点图像定义为目标视点关键帧图像，将目标视点原始视频中除每个帧组第1时刻的目标视点图像外的目标视点图像定义为目标视点非关键帧图像，将源视点原始视频中每个帧组第1时刻的源视点图像定义为源视点关键帧图像，将源视点原始视频中除每个帧组第1时刻的源视点图像外的源视点图像定义为源视点非关键帧图像，其中，1≤i≤N，N为目标视点原始视频和源视点原始视频包含的帧组的个数，1≤j≤N_GOP，N_GOP表示帧组的长度，i·N_GOP+j表示第i个帧组第j时刻的目标视点图像或第i个帧组第j时刻的源视点图像的帧号，k＝1，2，3分别表示YUV颜色空间的三个颜色分量，(x，y)表示图像中的像素点的坐标位置，^(T)I_i，j，k(x，y)表示{^(T)I_i，j，k(x，y)}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值，^(S)I_i，j，k(x，y)表示{^(S)I_i，j，k(x，y)}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值；定义目标视点原始视频和源视点原始视频中当前待处理的第i个帧组为当前帧组；③通过主颜色提取算法分别估计出目标视点原始视频中当前帧组的目标视点关键帧图像{^(T)I_i，1，k(x，y)}和源视点原始视频中当前帧组的源视点关键帧图像{^(S)I_i，1，k(x，y)}的主颜色信息，分别记为^(T)Θ_i，1和^(S)Θ_i，1，^(T)Θ_i，1＝{^(T)μ′_i，1，k，^(T)σ′_i，1，k}，^(S)Θ_i，1＝{^(S)μ′_i，1，k，^(S)σ′_i，1，k}，其中，^(T)μ′_i，1，k表示{^(T)I_i，1，k(x，y)}的主颜色的第k个颜色分量的颜色值的均值，^(T)σ′_i，1，k表示{^(T)I_i，1，k(x，y)}的主颜色的第k个颜色分量的颜色值的标准差，^(S)μ′_i，1，k表示{^(S)I_i，1，k(x，y)}的主颜色的第k个颜色分量的颜色值的均值，^(S)σ′_i，1，k表示{^(S)I_i，1，k(x，y)}的主颜色的第k个颜色分量的颜色值的标准差；④将{^(T)I_i，1，k(x，y)}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值^(T)I_i，1，k(x，y)与{^(S)I_i，1，k(x，y)}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值^(S)I_i，1，k(x，y)的乘性误差记为a_i，1，k，a_i，1，k＝^(T)σ′_i，1，k/^(S)σ′_i，1，k，将{^(T)I_i，1，k(x，y)}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值^(T)I_i，1，k(x，y)与{^(S)I_i，1，k(x，y)}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值^(S)I_i，1，k(x，y)的加性误差记为e_i，1，k，e_i，1，k＝^(T)μ′_i，1，k-a_i，1，k·^(S)μ′_i，1，k，然后根据{^(T)I_i，1，k(x，y)}和{^(S)I_i，1，k(x，y)}中各个对应的像素点的各个颜色分量的颜色值的乘性误差和加性误差，对{^(S)I_i，1，k(x，y)}的每个像素点的各个颜色分量进行颜色校正，^(C)I_i，1，k(x，y)＝a_i，1，k·^(S)I_i，1，k(x，y)+e_i，1，k，其中，^(C)I_i，1，k(x，y)为{^(S)I_i，1，k(x，y)}经颜色校正后的校正图像中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值；⑤选择跟踪方式对源视点原始视频中当前帧组的各个源视点非关键帧图像的每个像素点的各个颜色分量进行颜色校正，对于源视点原始视频中当前帧组的第j′时刻的源视点非关键帧图像{^(S)I_i，j′，k(x，y)}，1＜j′≤N_GOP，如果选择的跟踪方式为同步跟踪方式，则执行步骤⑥至⑦，如果选择的跟踪方式为非同步跟踪方式，则执行步骤⑧至⑩；对源视点原始视频中当前帧组的各个源视点非关键帧图像的每个像素点的各个颜色分量完成颜色校正后，执行步骤；⑥通过区域检测算法分别估计出目标视点原始视频中当前帧组第j′时刻的目标视点非关键帧图像{^(T)I_i，j′，k(x，y)}和第j′-1时刻的目标视点图像{^(T)I_i，j′-1，k(x，y)}的背景颜色信息，分别记为^(T)Θ′_i，j′和^(T)Θ′_i，j′-1，^(T)Θ′_i，j′＝{^(T)μ″_i，j′，k，^(T)σ″_i，j′，k}，^(T)Θ′_i，j′-1＝{^(T)μ″_{i，j′-1，k}，^(T)σ″_{i，j′-1，k}}，其中，^(T)μ″_i，j′，k表示{^(T)I_i，j′，k(x，y)}的背景颜色的第k个颜色分量的颜色值的均值，^(T)σ″_i，j′，k表示{^(T)I_i，j′，k(x，y)}的背景颜色的第k个颜色分量的颜色值的标准差，^(T)μ″_{i，j′-1，k}表示{^(T)I_{i，j′-1，k}(x，y)}的背景颜色的第k个颜色分量的颜色值的均值，^(T)σ″_{i，j′-1，k}表示{^(T)I_{i，j′-1，k}(x，y)}的背景颜色的第k个颜色分量的颜色值的标准差，1＜j′≤N_GOP；通过区域检查算法分别估计出源视点原始视频中当前帧组第j′时刻的源视点非关键帧图像{^(S)I_i，j′，k(x，y)}和第j′-1时刻的源视点图像{^(S)I_{i，j′-1，k}(x，y)}的背景颜色信息，分别记为^(S)Θ′_i，j′和^(S)Θ′_i，j′-1，^(S)Θ′_i，j′＝{^(S)μ″_i，j′，k，^(S)σ″_i，j′，k}，^(S)Θ′_i，j′-1＝{^(S)μ″_{i，j′-1，k}，^(S)σ″_{i，j′-1，k}}，其中，^(S)μ″_i，j′，k表示{^(S)I_i，j′，k(x，y)}的背景颜色的第k个颜色分量的颜色值的均值，^(S)σ″_i，j′，k表示{^(S)I_i，j′，k(x，y)}的背景颜色的第k个颜色分量的颜色值的标准差，^(S)μ″_{i，j′-1，k}表示{^(S)I_{i，j′-1，k}(x，y)}的背景颜色的第k个颜色分量的颜色值的均值，^(S)σ″_{i，j′-1，k}表示{^(S)I_{i，j′-1，k}(x，y)}的背景颜色的第k个颜色分量的颜色值的标准差，1＜j′≤N_GOP；⑦将{^(T)I_i，j′，k(x，y)}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值^(T)I_i，j′，k(x，y)与{^(S)I_i，j′，k(x，y)}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值^(S)I_i，j′，k(x，y)的乘性误差记为a_i，j′，k，将{^(T)I_i，j′，k(x，y)}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值^(T)I_i，j′，k(x，y)与{^(S)I_i，j′，k(x，y)}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值^(S)I_i，j′，k(x，y)的加性误差记为e_i，j′，k，然后根据已得到的a_{i，j′-1，k}和e_{i，j′-1，k}，快速估计得到a_i，j′，k和e_i，j′，k，再利用a_i，j′，k和e_i，j′，k对{^(S)I_i，j′，k(x，y)}的每个像素点的各个颜色分量进行颜色校正，^(C)I_i，j′，k(x，y)＝a_i，j′，k·^(S)I_i，j′，k(x，y)+e_i，j′，k，其中，^(C)I_i，j′，k(x，y)为{^(S)I_i，j′，k(x，y)}经颜色校正后的校正图像中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值；⑧通过主颜色提取算法分别估计出目标视点原始视频中其余各个帧组的目标视点关键帧图像和源视点原始视频中其余各个帧组的源视点关键帧图像的主颜色信息，得到目标视点原始视频中所有帧组的目标视点关键帧图像和源视点原始视频中所有帧组的源视点关键帧图像的主颜色信息集合，分别记为{^(T)Θ_i，1}和{^(S)Θ_i，1}，将所有目标视点关键帧图像的帧号作为控制顶点，将所有目标视点关键帧图像的主颜色信息集合{^(T)Θ_i，1}作为节点矢量，通过B样条曲线拟合算法分别估计出所有目标视点图像的各个颜色分量的颜色值的均值和标准差曲线变化函数，分别记为y₁＝^(T)f_u，k(x₁)和y₁＝^(T)f_σ，k(x₁)，将所有源视点关键帧图像的帧号作为控制顶点，将所有源视点关键帧图像的主颜色信息集合{^(S)Θ_i，1}作为节点矢量，通过B样条曲线拟合算法分别估计出所有源视点图像的各个颜色分量的颜色值的均值和标准差曲线变化函数，分别记为y₁＝^(S)f_u，k(x₁)和y₁＝^(S)f_σ，k(x₁)，其中，^(T)f_u，k()表示所有目标视点图像的各个颜色分量的颜色值的均值曲线变化函数，^(T)f_σ，k()表示所有目标视点图像的各个颜色分量的颜色值的标准差曲线变化函数，^(S)f_u，k()表示所有源视点图像的各个颜色分量的颜色值的均值曲线变化函数，^(S)f_σ，k()表示所有源视点图像的各个颜色分量的颜色值的标准差曲线变化函数，x₁表示均值和标准差曲线变化函数的输入变量，y₁表示均值和标准差曲线变化函数的输出变量；⑨根据所有目标视点图像的各个颜色分量的颜色值的均值和标准差曲线变化函数，估计得到目标视点原始视频中当前帧组第j′时刻的目标视点非关键帧图像{^(T)I_i，j′，k(x，y)}的主颜色信息，记为^(T)Θ_i，j′，^(T)Θ_i，j′＝{^(T)μ′_i，j′，k，^(T)σ′_i，j′，k}，根据所有源视点图像的各个颜色分量的颜色值的均值和标准差曲线变化函数，估计得到源视点原始视频中当前帧组第j′时刻的源视点非关键帧图像{^(S)I_i，j′，k(x，y)}的主颜色信息，记为^(S)Θ_i，j′，^(S)Θ_i，j′＝{^(S)μ′_i，j′，k，^(S)σ′_i，j′，k}，其中，1＜j′≤N_GOP，^(T)μ′_i，j′，k＝^(T)f_u，k(i·N_GOP+j′)，^(T)σ′_i，j′，k＝^(T)f_σ，k(i·N_GOP+j′)，^(S)μ′_i，j′，k＝^(S)f_u，k(i·N_GOP+j′)，^(S)σ′_i，j′，k＝^(S)f_σ，k(i·N_GOP+j′)；⑩根据已得到的^(T)Θ_i，j′和^(S)Θ_i，j′，计算{^(T)I_i，j′，k(x，y)}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值与{^(S)I_i，j′，k(x，y)}中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值的乘性误差和加性误差，分别记为a_i，j′，k和e_i，j′，k，a_i，j′，k＝^(T)σ′_i，j′，k/(S)σ′_i，j′，k，e_i，j′，k＝^(T)μ′_i，j′，k-a_i，j′，k·^(S)μ′_i，j′，k，再利用a_i，j′，k和e_i，j′，k对{^(S)I_i，j′，k(x，y)}的每个像素点的各个颜色分量进行颜色校正，^(C)I_i，j′，k(x，y)＝a_i，j′，k·^(S)I_i，j′，k(x，y)+e_i，j′，k，其中，^(C)I_i，j′，k(x，y)为{^(S)I_i，j′，k(x，y)}经颜色校正后的校正图像中坐标位置为(x，y)的像素点的第k个颜色分量的颜色值；将目标视点原始视频和源视点原始视频中下一个待处理的帧组作为当前帧组，然后返回执行步骤③，直至对源视点原始视频中所有帧组的源视点图像完成颜色校正。