[发明专利]一种三维视频图像重定位方法

权利要求书

1.一种三维视频图像重定位方法，其特征在于包括以下步骤：

①将待处理的三维视频图像的左视点彩色图像、右视点彩色图像、左视点深度图像及右视点深度图像对应记为{I_L(x,y)}、{I_R(x,y)}、{D_L(x,y)}及{D_R(x,y)}，其中，(x,y)表示待处理的三维视频图像中的像素点的坐标位置，1≤x≤W，1≤y≤H，W表示待处理的三维视频图像的宽度，H表示待处理的三维视频图像的高度，I_L(x,y)表示{I_L(x,y)}中坐标位置为(x,y)的像素点的像素值，I_R(x,y)表示{I_R(x,y)}中坐标位置为(x,y)的像素点的像素值，D_L(x,y)表示{D_L(x,y)}中坐标位置为(x,y)的像素点的像素值，D_R(x,y)表示{D_R(x,y)}中坐标位置为(x,y)的像素点的像素值；

②将{I_L(x,y)}和{D_L(x,y)}分割成个互不重叠的尺寸大小为40×40的四边形网格；然后以{I_L(x,y)}中的每个四边形网格的左上、左下、右上和右下4个网格顶点的集合来描述{I_L(x,y)}中的每个四边形网格，将{I_L(x,y)}中的第k个四边形网格记为U_L,k，其中，1≤k≤M，对应表示U_L,k的左上网格顶点、左下网格顶点、右上网格顶点、右下网格顶点，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，

③计算{D_L(x,y)}中的每个像素点的场景深度值，将{D_L(x,y)}中坐标位置为(x,y)的像素点的场景深度值记为z_L(x,y)，然后计算{I_L(x,y)}中的每个像素点在{I_R(x,y)}中的对应坐标位置，将{I_L(x,y)}中坐标位置为(x,y)的像素点在{I_R(x,y)}中的对应坐标位置记为(x_R,y_R)，x_R＝x'/w'，y_R＝y'/w'，接着计算{I_L(x,y)}中的每个像素点的水平视差值，将{I_L(x,y)}中坐标位置为(x,y)的像素点的水平视差值记为d_L(x,y)，d_L(x,y)＝x_R-x；其中，z_near表示最小的场景深度值，z_far表示最大的场景深度值，R₁为左视点相机的旋转矩阵，A₁为左视点相机的内参矩阵，T₁为左视点相机的平移矩阵，R₂为右视点相机的旋转矩阵，A₂为右视点相机的内参矩阵，T₂为右视点相机的平移矩阵，A₁^-1为A₁的逆矩阵，R₂^-1为R₂的逆矩阵；

④根据{I_L(x,y)}中的每个四边形网格，获取对应的三维曲面网格，以{I_L(x,y)}中的每个三维曲面网格的左上、左下、右上和右下4个网格顶点的集合来描述{I_L(x,y)}中的每个三维曲面网格，将根据U_L,k获取的对应的三维曲面网格记为V_L,k，其中，对应表示V_L,k的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，以在三维显示空间的水平坐标位置垂直坐标位置和深度坐标位置来描述，

以在三维显示空间的水平坐标位置垂直坐标位置和深度坐标位置来描述，

以在三维显示空间的水平坐标位置垂直坐标位置和深度坐标位置来描述，

以在三维显示空间的水平坐标位置垂直坐标位置和深度坐标位置来描述，

d_e表示待处理的三维视频图像的左视点与右视点之间的水平基线距离，L_D表示待处理的三维视频图像的左视点和右视点与显示器之间的观看距离，W_d表示显示器的水平宽度，R表示显示器的水平分辨率，表示{I_L(x,y)}中坐标位置为的像素点的水平视差值，表示{I_L(x,y)}中坐标位置为的像素点的水平视差值，表示{I_L(x,y)}中坐标位置为的像素点的水平视差值，表示{I_L(x,y)}中坐标位置为的像素点的水平视差值；

⑤根据{I_L(x,y)}中的所有三维曲面网格对应的P个候选目标三维曲面网格，对{I_L(x,y)}中的每个三维曲面网格的各个网格顶点分别进行相似变换，使得原三维曲面网格与原三维曲面网格经过相似变换后得到的候选目标三维曲面网格的变换误差最小，得到{I_L(x,y)}中的每个三维曲面网格对应的各个候选目标三维曲面网格的相似变换矩阵，将V_L,k对应的第p个候选目标三维曲面网格的相似变换矩阵记为其中，1≤p≤P，表示V_L,k对应的第p个候选目标三维曲面网格，对应表示的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，表示的第i个网格顶点，i＝1,2,3,4，和对应表示的水平坐标位置、垂直坐标位置和深度坐标位置，和对应表示的水平坐标位置、垂直坐标位置和深度坐标位置，和对应表示的水平坐标位置、垂直坐标位置和深度坐标位置，和对应表示的水平坐标位置、垂直坐标位置和深度坐标位置，(A_L,k)^T为A_L,k的转置，((A_L,k)^TA_L,k)^-1为(A_L,k)^TA_L,k的逆；

⑥获取{D_L(x,y)}中的每个像素点的左方向最大可容忍失真值和右方向最大可容忍失真值；然后根据{D_L(x,y)}中的每个像素点的左方向最大可容忍失真值和右方向最大可容忍失真值，提取出{D_L(x,y)}的最大可容忍失真分布图像，记为{S_L(x,y)}；其中，S_L(x,y)表示{S_L(x,y)}中坐标位置为(x,y)的像素点的像素值，亦表示{D_L(x,y)}中坐标位置为(x,y)的像素点的最大可容忍失真值；

所述的步骤⑥的具体过程为：

⑥_1、将{D_L(x,y)}中当前待处理的像素点定义为当前像素点；

⑥_2、将当前像素点的坐标位置记为(x₁,y₁)，如果1≤x₁≤W且y₁＝1，则直接将当前像素点的横坐标作为当前像素点的左方向最大可容忍失真值，记为δ_l(x₁,y₁)；如果1≤x₁≤W且1<y₁≤H，则在{I_L(x,y)}中位于坐标位置为(x₁,y₁)的像素点的水平左侧的所有像素点中，找出亮度分量的值与坐标位置为(x₁,y₁)的像素点的亮度分量的值相等的所有像素点，再计算找出的每个像素点的横坐标与坐标位置为(x₁,y₁)的像素点的横坐标x₁的横坐标差值，最后将所有横坐标差值中值最小的横坐标差值作为当前像素点的左方向最大可容忍失真值，记为δ_l(x₁,y₁)；同样，如果1≤x₁≤W且y₁＝H，则直接将当前像素点的横坐标作为当前像素点的右方向最大可容忍失真值，记为δ_r(x₁,y₁)；如果1≤x₁≤W且1≤y₁<H，则在{I_L(x,y)}中位于坐标位置为(x₁,y₁)的像素点的水平右侧的所有像素点中，找出亮度分量的值与坐标位置为(x₁,y₁)的像素点的亮度分量的值相等的所有像素点，再计算找出的每个像素点的横坐标与坐标位置为(x₁,y₁)的像素点的横坐标x₁的横坐标差值，最后将所有横坐标差值中值最大的横坐标差值作为当前像素点的右方向最大可容忍失真值，记为δ_r(x₁,y₁)；其中，1≤x₁≤W，1≤y₁≤H；

⑥_3、根据δ_l(x₁,y₁)和δ_r(x₁,y₁)，确定当前像素点的最大可容忍失真值，记为S_L(x₁,y₁)，S_L(x₁,y₁)＝min(|δ_l(x₁,y₁)|,|δ_r(x₁,y₁)|)，其中，min( )为取最小值函数，符号“| |”为取绝对值符号；

⑥_4、将{D_L(x,y)}中下一个待处理的像素点作为当前像素点，然后返回步骤⑥_2继续执行，直至{D_L(x,y)}中的所有像素点处理完毕，得到{D_L(x,y)}中的每个像素点的最大可容忍失真值，再由{D_L(x,y)}中的所有像素点的最大可容忍失真值得到{D_L(x,y)}的最大可容忍失真分布图像{S_L(x,y)}；

⑦采用基于图论的视觉显著模型提取出{I_L(x,y)}的显著图，记为{M_L(x,y)}；然后根据{M_L(x,y)}和{S_L(x,y)}，获取{I_L(x,y)}的视觉显著图，记为将中坐标位置为(x,y)的像素点的像素值记为其中，M_L(x,y)表示{M_L(x,y)}中坐标位置为(x,y)的像素点的像素值，λ₁表示M_L(x,y)的权重，λ₂表示S_L(x,y)的权重，λ₁+λ₂＝1；

⑧根据{I_L(x,y)}中的每个三维曲面网格对应的各个候选目标三维曲面网格的相似变换矩阵，并结合计算在{I_L(x,y)}中的所有三维曲面网格对应的同一个候选目标三维曲面网格的相似变换矩阵下{I_L(x,y)}的形状保护能量项，将在{I_L(x,y)}中的所有三维曲面网格对应的第p个候选目标三维曲面网格的相似变换矩阵下{I_L(x,y)}的形状保护能量项记为其中，表示V_L,k中的所有像素点的视觉显著值的均值，也即表示中与V_L,k对应的区域中的所有像素点的像素值的均值，符号“|| ||”为求欧氏距离符号；

⑨根据{I_L(x,y)}中的每个三维曲面网格的各个网格顶点的边缘和{I_L(x,y)}中的每个三维曲面网格经过每次相似变换后得到的候选目标三维曲面网格的各个网格顶点的边缘，计算在{I_L(x,y)}中的所有三维曲面网格对应的同一个候选目标三维曲面网格的相似变换矩阵下{I_L(x,y)}的边界弯曲度能量项，将在{I_L(x,y)}中的所有三维曲面网格对应的第p个候选目标三维曲面网格的相似变换矩阵下{I_L(x,y)}的边界弯曲度能量项记为其中，符号“|| ||”为求欧氏距离符号，e_L,k表示V_L,k的所有网格顶点的边缘组成的矩阵，(e_L,k)T为e_L,k的转置，((e_L,k)^Te_L,k)^-1为(e_L,k)^Te_L,k的逆，表示的所有网格顶点的边缘组成的矩阵，

⑩根据{I_L(x,y)}中的每个三维曲面网格的各个网格顶点的深度值和{I_L(x,y)}中的每个三维曲面网格经过每次相似变换后得到的候选目标三维曲面网格的各个网格顶点的深度值，计算在{I_L(x,y)}中的所有三维曲面网格对应的同一个候选目标三维曲面网格的相似变换矩阵下{I_L(x,y)}的舒适度保持能量项，将在{I_L(x,y)}中的所有三维曲面网格对应的第p个候选目标三维曲面网格的相似变换矩阵下{I_L(x,y)}的舒适度保持能量项记为其中，表示V_L,k的第i个网格顶点的深度坐标位置，exp( )表示以自然基数e为底的指数函数，符号“| |”为取绝对值符号，Z_max表示{I_L(x,y)}在显示空间的最大深度值，Z_min表示{I_L(x,y)}在显示空间的最小深度值，CVZ_min表示最小舒适观看区域范围，η₁表示最小舒适观看视角，CVZ_max表示最大舒适观看区域范围，η₂表示最大舒适观看视角，表示的第i个网格顶点的深度坐标位置；

计算在{I_L(x,y)}中的所有三维曲面网格对应的同一个候选目标三维曲面网格的相似变换矩阵下{I_L(x,y)}的总能量，将在{I_L(x,y)}中的所有三维曲面网格对应的第p个候选目标三维曲面网格的相似变换矩阵下{I_L(x,y)}的总能量记为然后令表示在{I_L(x,y)}中的所有三维曲面网格对应的所有候选目标三维曲面网格的最佳相似变换矩阵下{I_L(x,y)}的总能量，根据{I_L(x,y)}中的所有三维曲面网格对应的所有候选目标三维曲面网格的相似变换矩阵，通过最小二乘法求解得到并将相应的V_L,k对应的最佳相似变换矩阵记为

根据{I_L(x,y)}中的每个三维曲面网格对应的最佳相似变换矩阵，计算{I_L(x,y)}中的每个三维曲面网格的各个网格顶点经最佳相似变换后的三维坐标值，将V_L,k中三维坐标值为(X'_L,k,Y'_L,k,Z'_L,k)的网格顶点经最佳相似变换后的三维坐标值记为

和通过求解得到，其中，X'_L,k,Y'_L,k,Z'_L,k对应表示V_L,k中的一个网格顶点的水平坐标位置、垂直坐标位置和深度坐标位置，对应表示V_L,k中三维坐标值为(X'_L,k,Y'_L,k,Z'_L,k)的网格顶点经最佳相似变换后得到的水平坐标位置、垂直坐标位置和深度坐标位置，

(A'_L,k)^T为A'_L,k的转置，((A'_L,k)^TA'_L,k)^-1为(A'_L,k)^TA'_L,k的逆，

根据{I_L(x,y)}中的所有三维曲面网格的网格顶点经最佳相似变换后的三维坐标值，获取{D_L(x,y)}中的每个四边形网格的各个网格顶点到重定位后的左视点深度图像中的映射函数值，假设(x₂,y₂)为{D_L(x,y)}中的一个四边形网格的其中一个网格顶点的坐标位置，则将{D_L(x,y)}中坐标位置为(x₂,y₂)的网格顶点到重定位后的左视点深度图像中的映射函数值记为f(D_L(x₂,y₂))，β₁、β₂、β₃、β₄和β₅是通过求解得到的，其中，(x₂,y₂)∈Ω，Ω表示{I_L(x,y)}中的所有三维曲面网格中的网格顶点的坐标位置构成的集合，β₁、β₂、β₃、β₄和β₅均为系数，D_L(x₂,y₂)表示{D_L(x,y)}中坐标位置为(x₂,y₂)的网格顶点的像素值，表示{D_L(x,y)}中坐标位置为(x₂,y₂)的网格顶点经重定位后的深度值，表示{D_L(x,y)}中坐标位置为(x₂,y₂)的网格顶点经重定位后的场景深度值，f表示水平相机阵列中各相机的水平焦距，表示{I_L(x,y)}中坐标位置为(x₂,y₂)的网格顶点经最佳相似变换后的三维坐标值的深度坐标位置；

采用相同的最佳相似变换矩阵对{I_L(x,y)}中的每个三维曲面网格中的所有像素点进行相似变换，得到{I_L(x,y)}中的每个三维曲面网格中的每个像素点经最佳相似变换后的三维坐标值，并进而获得重定位后的左视点彩色图像及左视点深度图像，对应记为和将中坐标位置为(x',y')的像素点的像素值记为将中坐标位置为(x',y')的像素点的像素值记为

其中，1≤x'≤W'，1≤y'≤H，W'表示重定位后的三维视频图像的宽度，H亦表示重定位后的三维视频图像的高度，f(D_L(x,y))表示{D_L(x,y)}中坐标位置为(x,y)的像素点到重定位后的左视点深度图像中的映射函数值，表示{D_L(x,y)}中坐标位置为(x,y)的像素点经重定位后的像素值，表示{I_L(x,y)}中坐标位置为(x,y)的网格顶点经最佳相似变换后的三维坐标值的水平坐标位置，表示{I_L(x,y)}中坐标位置为(x,y)的网格顶点经最佳相似变换后的三维坐标值的垂直坐标位置，表示{I_L(x,y)}中坐标位置为(x,y)的网格顶点经最佳相似变换后的三维坐标值的深度坐标位置；

根据和获取重定位后的右视点彩色图像及右视点深度图像，对应记为和将中坐标位置为(x”,y”)的像素点的像素值记为将中坐标位置为(x”,y”)的像素点的像素值记为其中，1≤x”≤W'，1≤y”≤H，表示中坐标位置为(x',y')的像素点的像素值，