[发明专利]一种基于对象的立体图像深度调整方法

摘要

本发明公开了一种基于对象的立体图像深度调整方法，其通过提取立体图像的左视点图像和右视点图像对应的总边缘保持能量、总对象控制能量、总深度控制能量和总背景保持能量，并通过优化使得总能量最小，获取最佳相似变换矩阵，这样可使得深度调整后的立体图像能够保留精确的对象形状、具有较高的舒适性和深度感，且可以根据用户的选择自适应地控制重要内容的缩放比例；其通过控制立体图像中的所有落在重要区域内和背景区域内的特征点的坐标位置，并进而控制四边形网格的形变，从而能够保证深度调整后的立体图像的舒适性和深度感。

主权项

1.一种基于对象的立体图像深度调整方法，其特征在于包括以下步骤：步骤一：将待处理的宽度为W且高度为H的立体图像的左视点图像、右视点图像及左视差图像对应记为{L(x,y)}、{R(x,y)}及{d_L(x,y)}；其中，1≤x≤W，1≤y≤H，W和H均能被8整除，L(x,y)表示{L(x,y)}中坐标位置为(x,y)的像素点的像素值，R(x,y)表示{R(x,y)}中坐标位置为(x,y)的像素点的像素值，d_L(x,y)表示{d_L(x,y)}中坐标位置为(x,y)的像素点的像素值；步骤二：将{L(x,y)}分割成个互不重叠的尺寸大小为8×8的四边形网格，将{L(x,y)}中的第k个四边形网格记为U_L,k，并将{L(x,y)}中的所有四边形网格构成的集合记为V_L，V_L＝{U_L,k|1≤k≤M}；然后根据{L(x,y)}中的所有四边形网格和{d_L(x,y)}，获取{R(x,y)}中的所有互不重叠的尺寸大小为8×8的四边形网格，将{R(x,y)}中的第k个四边形网格记为U_R,k，并将{R(x,y)}中的所有四边形网格构成的集合记为V_R，V_R＝{U_R,k|1≤k≤M}；其中，k为正整数，1≤k≤M，M表示{L(x,y)}中包含的四边形网格的总个数，也表示{R(x,y)}中包含的四边形网格的总个数，U_L,k通过其左上、左下、右上和右下4个网格顶点的集合来描述，对应表示U_L,k的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，U_R,k通过其左上、左下、右上和右下4个网格顶点的集合来描述，对应表示U_R,k的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，以的水平坐标位置和垂直坐标位置来描述，表示{d_L(x,y)}中坐标位置为的像素点的像素值，以的水平坐标位置和垂直坐标位置来描述，表示{d_L(x,y)}中坐标位置为的像素点的像素值，以的水平坐标位置和垂直坐标位置来描述，表示{d_L(x,y)}中坐标位置为的像素点的像素值，以的水平坐标位置和垂直坐标位置来描述，表示{d_L(x,y)}中坐标位置为的像素点的像素值；采用尺度不变特征转换提取出{L(x,y)}中的所有特征点；然后将{L(x,y)}中的第q个特征点记为接着根据{L(x,y)}中的每个特征点和{d_L(x,y)}，获取{R(x,y)}中与{L(x,y)}中的每个特征点匹配的特征点，将{R(x,y)}中与匹配的特征点记为其中，q为正整数，1≤q≤Q，Q表示{L(x,y)}中的特征点的总个数，也表示{R(x,y)}中的特征点的总个数，表示的横坐标位置，表示的纵坐标位置，表示的横坐标位置，表示{d_L(x,y)}中坐标位置为的像素点的像素值，表示的纵坐标位置，步骤三：根据{L(x,y)}中的每个四边形网格的所有网格顶点的边缘组成的矩阵和{L(x,y)}中的每个四边形网格对应的目标四边形网格的所有网格顶点的边缘组成的矩阵、{R(x,y)}中的每个四边形网格的所有网格顶点的边缘组成的矩阵和{R(x,y)}中的每个四边形网格对应的目标四边形网格的所有网格顶点的边缘组成的矩阵，计算{L(x,y)}和{R(x,y)}中的所有四边形网格对应的目标四边形网格的总边缘保持能量，记为E_edge；根据用户选择的重要内容，计算{L(x,y)}和{R(x,y)}中落于用户选择的重要内容所在的矩形区域内的所有四边形网格对应的目标四边形网格的总对象控制能量，记为E_object；根据{L(x,y)}和{R(x,y)}中落于用户选择的重要内容所在的矩形区域内的所有特征点，计算{L(x,y)}和{R(x,y)}中落于用户选择的重要内容所在的矩形区域内的所有四边形网格对应的目标四边形网格的总深度控制能量，记为E_depth；根据{L(x,y)}中落于背景区域内的所有特征点和对应的目标特征点、{R(x,y)}中落于背景区域内的所有特征点和对应的目标特征点，计算{L(x,y)}和{R(x,y)}中落于背景区域内的所有四边形网格对应的目标四边形网格的总背景保持能量，记为E_back；其中，背景区域为除用户选择的重要内容所在的矩形区域外的区域；步骤四：根据E_edge、E_object、E_depth和E_back，计算{L(x,y)}和{R(x,y)}中的所有四边形网格对应的目标四边形网格的总能量，记为E_total，E_total＝E_edge+λ_object×E_object+λ_depth×E_depth+λ_back×E_back；然后通过最小二乘优化求解得到{L(x,y)}中的所有四边形网格对应的最佳目标四边形网格构成的集合及{R(x,y)}中的所有四边形网格对应的最佳目标四边形网格构成的集合，对应记为及接着根据计算{L(x,y)}中的每个四边形网格对应的最佳目标四边形网格的最佳相似变换矩阵，将U_L,k对应的最佳目标四边形网格的最佳相似变换矩阵记为并根据计算{R(x,y)}中的每个四边形网格对应的最佳目标四边形网格的最佳相似变换矩阵，将U_R,k对应的最佳目标四边形网格的最佳相似变换矩阵记为其中，λ_object为E_object的加权参数，λ_depth为E_depth的加权参数，λ_back为E_back的加权参数，min()为取最小值函数，表示{L(x,y)}中的所有四边形网格对应的目标四边形网格构成的集合，表示{R(x,y)}中的所有四边形网格对应的目标四边形网格构成的集合，表示U_L,k对应的最佳目标四边形网格，对应表示的第1个网格顶点、第2个网格顶点、第3个网格顶点、第4个网格顶点，表示U_R,k对应的最佳目标四边形网格，对应表示的第1个网格顶点、第2个网格顶点、第3个网格顶点、第4个网格顶点，(A_L,k)^T为A_L,k的转置，((A_L,k)^TA_L,k)^‑1为(A_L,k)^TA_L,k的逆，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，(A_R,k)^T为A_R,k的转置，((A_R,k)^TA_R,k)^‑1为(A_R,k)^TA_R,k的逆，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置；步骤五：根据{L(x,y)}中的每个四边形网格对应的最佳目标四边形网格的最佳相似变换矩阵，计算{L(x,y)}中的每个四边形网格中的每个像素点经最佳相似变换矩形变换后的水平坐标位置和垂直坐标位置，将U_L,k中水平坐标位置为x'_L,k和垂直坐标位置y'_L,k的像素点经最佳相似变换矩阵变换后的水平坐标位置和垂直坐标位置对应记为和然后根据{L(x,y)}中的每个四边形网格中的每个像素点经最佳相似变换矩形变换后的水平坐标位置和垂直坐标位置，获取深度调整后的左视点图像，记为其中，1≤x'_L,k≤W，1≤y'_L,k≤H，1≤x'≤W'，1≤y'≤H，W'表示深度调整后的立体图像的宽度，H亦为深度调整后的立体图像的高度，表示中坐标位置为(x',y')的像素点的像素值；同样，根据{R(x,y)}中的每个四边形网格对应的最佳目标四边形网格的最佳相似变换矩阵，计算{R(x,y)}中的每个四边形网格中的每个像素点经最佳相似变换矩形变换后的水平坐标位置和垂直坐标位置，将U_R,k中水平坐标位置为x'_R,k和垂直坐标位置y'_R,k的像素点经最佳相似变换矩阵变换后的水平坐标位置和垂直坐标位置对应记为和然后根据{R(x,y)}中的每个四边形网格中的每个像素点经最佳相似变换矩形变换后的水平坐标位置和垂直坐标位置，获取深度调整后的右视点图像，记为其中，1≤x'_R,k≤W，1≤y'_R,k≤H，1≤x'≤W'，1≤y'≤H，表示中坐标位置为(x',y')的像素点的像素值；所述的步骤三中的E_edge的计算过程为：A1、计算{L(x,y)}中的所有四边形网格对应的目标四边形网格的边缘保持能量，记为其中，e_L,k表示U_L,k的所有网格顶点的边缘组成的矩阵，(e_L,k)^T为e_L,k的转置，((e_L,k)^Te_L,k)^‑1为(e_L,k)^Te_L,k的逆，表示的所有网格顶点的边缘组成的矩阵，表示U_L,k对应的目标四边形网格，通过其左上、左下、右上和右下4个网格顶点的集合来描述，对应表示的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，符号“|| ||”为求欧氏距离符号；同样，计算{R(x,y)}中的所有四边形网格对应的目标四边形网格的边缘保持能量，记为其中，e_R,k表示U_R,k的所有网格顶点的边缘组成的矩阵，(e_R,k)^T为e_R,k的转置，((e_R,k)^Te_R,k)^‑1为(e_R,k)^Te_R,k的逆，表示的所有网格顶点的边缘组成的矩阵，表示U_R,k对应的目标四边形网格，通过其左上、左下、右上和右下4个网格顶点的集合来描述，对应表示的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，A2、根据和计算{L(x,y)}和{R(x,y)}中的所有四边形网格对应的目标四边形网格的总边缘保持能量E_edge，所述的步骤三中的E_depth的计算过程为：B1、计算{L(x,y)}中落于用户选择的重要内容所在的矩形区域内的所有特征点的舒适度保持能量，记为E_comfort，其中，表示{L(x,y)}中落于用户选择的重要内容所在的矩形区域内的所有特征点重新编号后的序号构成的集合，表示{L(x,y)}中落于用户选择的重要内容所在的矩形区域内的第p个特征点的深度值，exp()表示以自然基数e为底的指数函数，符号“| |”为取绝对值符号，Z_max表示{L(x,y)}的最大深度值，Z_min表示{L(x,y)}的最小深度值，CVZ_min表示最小舒适观看区域范围，H_e表示待处理的立体图像的左视点与右视点之间的水平基线距离，D表示待处理的立体图像的左视点和右视点与显示器之间的观看距离，W_d表示显示器的水平宽度，R_d表示显示器的水平分辨率，η₁表示最小舒适观看视角，CVZ_max表示最大舒适观看区域范围，η₂表示最大舒适观看视角，表示{L(x,y)}中落于用户选择的重要内容所在的矩形区域内的第p个特征点的视差值，也表示{d_L(x,y)}中坐标位置为落于用户选择的重要内容所在的矩形区域内的第p个特征点的像素点的像素值，表示的目标深度值；B2、计算{L(x,y)}中落于用户选择的重要内容所在的矩形区域内的所有特征点的特征保持能量，记为E_feature，其中，表示{L(x,y)}中落于用户选择的重要内容所在的矩形区域内与该矩形区域内的第p个特征点相邻的八邻域范围内的所有特征点重新编号后的序号构成的集合，表示{L(x,y)}中落于用户选择的重要内容所在的矩形区域内与该矩形区域内的第p个特征点相邻的八邻域范围内的第p'个特征点的深度值，表示的目标深度值；B3、通过求解min(E_comfort+λ_feature×E_feature)，得到{L(x,y)}中落于用户选择的重要内容所在的矩形区域内的所有特征点的最佳目标深度值集合，记为为的最佳目标深度值；然后根据获取{L(x,y)}中落于用户选择的重要内容所在的矩形区域内的所有特征点的最佳目标视差值集合，记为为的最佳目标视差值，其中，min()为取最小值函数，λ_feature为E_feature的加权参数；B4、根据计算{L(x,y)}和{R(x,y)}中落于用户选择的重要内容所在的矩形区域内的所有四边形网格对应的目标四边形网格的总深度控制能量E_depth，其中，符号“|| ||”为求欧氏距离符号，表示{L(x,y)}中落于用户选择的重要内容所在的矩形区域内的第p个特征点，表示{R(x,y)}中落于用户选择的重要内容所在的矩形区域内的第p个特征点，表示对应的目标特征点，表示对应的目标特征点，表示的横坐标位置，表示的横坐标位置，表示的横坐标位置，表示的横坐标位置，1≤i'≤4，1≤k'≤M，表示所在的四边形网格U_L,k'的第i'个网格顶点，U_L,k'为{L(x,y)}中的第k'个四边形网格，表示所在的四边形网格U_L,k'的作为第1个网格顶点的左上网格顶点，表示所在的四边形网格U_L,k'的作为第2个网格顶点的左下网格顶点，表示所在的四边形网格U_L,k'的作为第3个网格顶点的右上网格顶点，表示所在的四边形网格U_L,k'的作为第4个网格顶点的右下网格顶点，表示与之间的欧氏距离，表示所在的目标四边形网格的第i'个网格顶点，为U_L,k'对应的目标四边形网格，表示所在的目标四边形网格的作为第1个网格顶点的左上网格顶点，表示所在的目标四边形网格的作为第2个网格顶点的左下网格顶点，表示所在的目标四边形网格的作为第3个网格顶点的右上网格顶点，表示所在的目标四边形网格的作为第4个网格顶点的右下网格顶点，表示所在的四边形网格U_R,k'的第i'个网格顶点，U_R,k'为{R(x,y)}中的第k'个四边形网格，表示所在的四边形网格U_R,k'的作为第1个网格顶点的左上网格顶点，表示所在的四边形网格U_R,k'的作为第2个网格顶点的左下网格顶点，表示所在的四边形网格U_R,k'的作为第3个网格顶点的右上网格顶点，表示所在的四边形网格U_R,k'的作为第4个网格顶点的右下网格顶点，表示与之间的欧氏距离，表示所在的目标四边形网格的第i'个网格顶点，为U_R,k'对应的目标四边形网格，表示特征点所在的目标四边形网格的作为第1个网格顶点的左上网格顶点，表示所在的目标四边形网格的作为第2个网格顶点的左下网格顶点，表示所在的目标四边形网格的作为第3个网格顶点的右上网格顶点，表示特征点所在的目标四边形网格的作为第4个网格顶点的右下网格顶点；所述的步骤三中的E_back的计算过程为：其中，表示{L(x,y)}和{R(x,y)}中落于背景区域内的所有特征点重新编号后的序号构成的集合，表示{L(x,y)}中落于背景区域内的第g个特征点，表示{R(x,y)}中落于背景区域内的第g个特征点，表示对应的目标特征点，表示对应的目标特征点，符号“|| ||”为求欧氏距离符号，1≤i'≤4，1≤k”≤M，表示所在的四边形网格U_L,k”的第i'个网格顶点，U_L,k”为{L(x,y)}中的第k”个四边形网格，表示所在的四边形网格U_L,k”的作为第1个网格顶点的左上网格顶点，表示所在的四边形网格U_L,k”的作为第2个网格顶点的左下网格顶点，表示所在的四边形网格U_L,k”的作为第3个网格顶点的右上网格顶点，表示所在的四边形网格U_L,k”的作为第4个网格顶点的右下网格顶点，表示与之间的欧氏距离，表示所在的目标四边形网格的第i'个网格顶点，为U_L,k”对应的目标四边形网格，表示所在的目标四边形网格的作为第1个网格顶点的左上网格顶点，表示所在的目标四边形网格的作为第2个网格顶点的左下网格顶点，表示所在的目标四边形网格的作为第3个网格顶点的右上网格顶点，表示所在的目标四边形网格的作为第4个网格顶点的右下网格顶点，表示所在的四边形网格U_R,k”的第i'个网格顶点，U_R,k”为{R(x,y)}中的第k”个四边形网格，表示所在的四边形网格U_R,k”的作为第1个网格顶点的左上网格顶点，表示所在的四边形网格U_R,k”的作为第2个网格顶点的左下网格顶点，表示所在的四边形网格U_R,k”的作为第3个网格顶点的右上网格顶点，表示所在的四边形网格U_R,k”的作为第4个网格顶点的右下网格顶点，表示与之间的欧氏距离，表示所在的目标四边形网格的第i'个网格顶点，为U_R,k”对应的目标四边形网格，表示所在的目标四边形网格的作为第1个网格顶点的左上网格顶点，表示特征点所在的目标四边形网格的作为第2个网格顶点的左下网格顶点，表示特征点所在的目标四边形网格的作为第3个网格顶点的右上网格顶点，表示特征点所在的目标四边形网格的作为第4个网格顶点的右下网格顶点；所述的步骤三中的E_object的计算过程为：其中，表示用户选择的重要内容所在的矩形区域范围，表示{L(x,y)}中在水平方向为第j个且在垂直方向为第i个的网格顶点的水平坐标位置，表示{L(x,y)}中在水平方向为第j+1个且在垂直方向为第i个的网格顶点的水平坐标位置，表示{L(x,y)}中在水平方向为第j个且在垂直方向为第i个的网格顶点在目标四边形网格中的网格顶点的水平坐标位置，表示{L(x,y)}中在水平方向为第j+1个且在垂直方向为第i个的网格顶点在目标四边形网格中的网格顶点的水平坐标位置，表示{R(x,y)}中在水平方向为第j个且在垂直方向为第i个的网格顶点的水平坐标位置，表示{R(x,y)}中在水平方向为第j+1个且在垂直方向为第i个的网格顶点的水平坐标位置，表示{R(x,y)}中在水平方向为第j个且在垂直方向为第i个的网格顶点在目标四边形网格中的网格顶点的水平坐标位置，表示{R(x,y)}中在水平方向为第j+1个且在垂直方向为第i个的网格顶点在目标四边形网格中的网格顶点的水平坐标位置，s_x表示用户指定的重要内容的水平缩放因子。