[发明专利]一种立体图像变焦方法

权利要求书

1.一种立体图像变焦方法，其特征在于包括以下步骤：

步骤一：将待处理的宽度为W且高度为H的立体图像的左视点图像、右视点图像及左视差图像对应记为{L(x,y)}、{R(x,y)}及{d_L(x,y)}；其中，W和H均能够被2整除，1≤x≤W，1≤y≤H，L(x,y)表示{L(x,y)}中坐标位置为(x,y)的像素点的像素值，{R(x,y)}表示{R(x,y)}中坐标位置为(x,y)的像素点的像素值，d_L(x,y)表示{d_L(x,y)}中坐标位置为(x,y)的像素点的像素值；

步骤二：采用SIFT-Flow方法建立{L(x,y)}与{R(x,y)}之间的匹配关系，得到{L(x,y)}中的每个像素点的SIFT-Flow向量，将{L(x,y)}中坐标位置为(x,y)的像素点的SIFT-Flow向量记为v_L(x,y)，其中，用于表示水平方向，用于表示垂直方向，表示v_L(x,y)的水平偏移量，表示v_L(x,y)的垂直偏移量；

步骤三：将{L(x,y)}的图像主点的坐标位置记为将{R(x,y)}的图像主点的坐标位置记为然后根据{L(x,y)}中坐标位置为的像素点即{L(x,y)}的图像主点的SIFT-Flow向量，确定{L(x,y)}中坐标位置为的像素点即{L(x,y)}的图像主点在{R(x,y)}中匹配的像素点，将该匹配的像素点的坐标位置记为并计算{L(x,y)}和{R(x,y)}的垂直偏差，记为b，其中，表示{L(x,y)}中坐标位置为的像素点即{L(x,y)}的图像主点的SIFT-Flow向量的水平偏移量，表示{L(x,y)}中坐标位置为的像素点即{L(x,y)}的图像主点的SIFT-Flow向量的垂直偏移量；

步骤四：将{L(x,y)}和{R(x,y)}的焦距记为f₀，将{L(x,y)}和{R(x,y)}的物距记为然后根据用户指定的焦距f，计算{L(x,y)}和{R(x,y)}的放大倍数，记为a，其中，θ为由用户指定的焦距f及{L(x,y)}和{R(x,y)}的物距确定的像距，θ₀为由{L(x,y)}和{R(x,y)}的焦距f₀及{L(x,y)}和{R(x,y)}的物距确定的像距，

步骤五：将{L(x,y)}分割成M个互不重叠的尺寸大小为22×22的四边形网格，将{L(x,y)}中的第k个四边形网格记为U_L,k；然后根据{L(x,y)}中的所有四边形网格和{d_L(x,y)}，获取{R(x,y)}中的所有互不重叠的尺寸大小为22×22的四边形网格，将{R(x,y)}中的第k个四边形网格记为U_R,k；其中，符号为向下取整运算符号，k为正整数，1≤k≤M，U_L,k通过其左上、左下、右上和右下4个网格顶点的集合来描述，对应表示U_L,k的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，U_R,k通过其左上、左下、右上和右下4个网格顶点的集合来描述，对应表示U_R,k的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，以的水平坐标位置和垂直坐标位置来描述，表示{d_L(x,y)}中坐标位置为的像素点的像素值，以的水平坐标位置和垂直坐标位置来描述，表示{d_L(x,y)}中坐标位置为的像素点的像素值，以的水平坐标位置和垂直坐标位置来描述，表示{d_L(x,y)}中坐标位置为的像素点的像素值，以的水平坐标位置和垂直坐标位置来描述，表示{d_L(x,y)}中坐标位置为的像素点的像素值；

步骤六：根据{L(x,y)}和{R(x,y)}的放大倍数a及{L(x,y)}和{R(x,y)}的垂直偏差b，计算{L(x,y)}中的每个四边形网格的期望网格，将U_L,k的期望网格记为同样，根据{L(x,y)}和{R(x,y)}的放大倍数a及{L(x,y)}和{R(x,y)}的垂直偏差b，计算{R(x,y)}中的每个四边形网格的期望网格，将U_R,k的期望网格记为其中，通过其左上、左下、右上和右下4个网格顶点的集合来描述，对应表示的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，也对应表示各自的期望网格顶点，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，通过其左上、左下、右上和右下4个网格顶点的集合来描述，对应表示的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，也对应表示各自的期望网格顶点，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，

步骤七：{L(x,y)}中的每个四边形网格对应有目标四边形网格，将U_L,k对应的目标四边形网格记为同样，{R(x,y)}中的每个四边形网格对应有目标四边形网格，将U_R,k对应的目标四边形网格记为其中，通过其左上、左下、右上和右下4个网格顶点的集合来描述，对应表示的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，也对应表示各自的目标网格顶点，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，通过其左上、左下、右上和右下4个网格顶点的集合来描述，对应表示的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，也对应表示各自对应的目标网格顶点，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，

步骤八：用户通过编辑操作在待处理的立体图像中手工选择对象；然后根据{L(x,y)}和{R(x,y)}中落于用户选择的对象内的所有四边形网格的期望网格，计算{L(x,y)}和{R(x,y)}中落于用户选择的对象内的所有四边形网格对应的目标四边形网格的坐标偏移能量，记为E_object，其中，符号“||||”为求欧氏距离符号，t为正整数，t＝1,2,3,4，表示的第t个网格顶点，表示{L(x,y)}中落于用户选择的对象内的所有四边形网格对应的目标四边形网格的网格顶点构成的集合，表示的第t个网格顶点，表示的第t个网格顶点，表示{R(x,y)}中落于用户选择的对象内的所有四边形网格对应的目标四边形网格的网格顶点构成的集合，表示的第t个网格顶点；

步骤九：根据{L(x,y)}和{R(x,y)}中落于用户选择的对象边界的所有四边形网格的期望网格，计算{L(x,y)}和{R(x,y)}中落于用户选择的对象边界的所有四边形网格对应的目标四边形网格的坐标偏移能量，记为E_edge，其中，表示{L(x,y)}中落于用户选择的对象边界的所有四边形网格对应的目标四边形网格的网格顶点构成的集合，表示{R(x,y)}中落于用户选择的对象边界的所有四边形网格对应的目标四边形网格的网格顶点构成的集合；

步骤十：根据{L(x,y)}和{R(x,y)}中落于背景区域内的所有四边形网格的期望网格，计算{L(x,y)}和{R(x,y)}中落于背景区域内的所有四边形网格对应的目标四边形网格的背景保持能量，记为E_back，其中，背景区域为待处理的立体图像中除用户选择的对象所在的区域外的区域，表示{L(x,y)}中落于背景区域内的所有四边形网格对应的目标四边形网格的网格顶点构成的集合，表示{R(x,y)}中落于背景区域内的所有四边形网格对应的目标四边形网格的网格顶点构成的集合；

步骤十一：计算{L(x,y)}和{R(x,y)}中落于用户选择的对象内的所有四边形网格对应的目标四边形网格的尺寸控制能量，记为E_import，其中，表示{L(x,y)}中在水平方向为第j个且在垂直方向为第i个的网格顶点，表示{L(x,y)}中在水平方向为第j+1个且在垂直方向为第i个的网格顶点，表示对应的目标网格顶点，表示对应的目标网格顶点，表示{R(x,y)}中在水平方向为第j个且在垂直方向为第i个的网格顶点，表示{R(x,y)}中在水平方向为第j+1个且在垂直方向为第i个的网格顶点，表示对应的目标网格顶点，表示对应的目标网格顶点，s表示用户指定的缩放因子；

步骤十二：计算{L(x,y)}和{R(x,y)}中落于用户选择的对象内的所有四边形网格对应的目标四边形网格的左右一致性能量，记为E_depth，其中，表示的水平坐标位置，表示的水平坐标位置，表示的垂直坐标位置，表示的垂直坐标位置，表示{d_L(x,y)}中坐标位置为的像素点的像素值，表示U_R,k的第t个网格顶点的水平坐标位置，表示U_R,k的第t个网格顶点的垂直坐标位置，e表示待处理的立体图像的左视点与右视点之间的水平基线距离；

步骤十三：根据E_object、E_edge、E_back、E_import和E_depth，计算{L(x,y)}和{R(x,y)}中的所有四边形网格对应的目标四边形网格的总能量，记为E_total，E_total＝λ₁E_object+λ₂E_edge+λ₃E_back+λ₄E_import+λ₅E_depth；然后通过最小二乘优化求解得到{L(x,y)}中的所有四边形网格对应的最佳目标四边形网格构成的集合及{R(x,y)}中的所有四边形网格对应的最佳目标四边形网格构成的集合，对应记为及接着计算{L(x,y)}中的每个四边形网格对应的最佳目标四边形网格的仿射变换矩阵，将U_L,k对应的最佳目标四边形网格的仿射变换矩阵记为并计算{R(x,y)}中的每个四边形网格对应的最佳目标四边形网格的仿射变换矩阵，将U_R,k对应的最佳目标四边形网格的仿射变换矩阵记为其中，λ₁、λ₂、λ₃、λ₄、λ₅均为加权参数，min()为取最小值函数，表示{L(x,y)}中的所有四边形网格对应的目标四边形网格构成的集合，表示{R(x,y)}中的所有四边形网格对应的目标四边形网格构成的集合，表示U_L,k对应的最佳目标四边形网格，表示U_R,k对应的最佳目标四边形网格，通过其左上、左下、右上和右下4个网格顶点的集合来描述，对应表示的第1个网格顶点、第2个网格顶点、第3个网格顶点、第4个网格顶点，通过其左上、左下、右上和右下4个网格顶点的集合来描述，对应表示的第1个网格顶点、第2个网格顶点、第3个网格顶点、第4个网格顶点，(A_L,k)^T为A_L,k的转置，((A_L,k)^TA_L,k)^-1为(A_L,k)^TA_L,k的逆，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，(A_R,k)^T为A_R,k的转置，((A_R,k)^TA_R,k)^-1为(A_R,k)^TA_R,k的逆，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置；

步骤十四：根据{L(x,y)}中的每个四边形网格对应的最佳目标四边形网格的仿射变换矩阵，计算{L(x,y)}中的每个四边形网格中的每个像素点经仿射变换矩阵变换后的水平坐标位置和垂直坐标位置，将U_L,k中水平坐标位置为x'_L,k和垂直坐标位置为y'_L,k的像素点经仿射变换矩阵变换后的水平坐标位置和垂直坐标位置对应记为和然后根据{L(x,y)}中的每个四边形网格中的每个像素点经仿射变换矩阵变换后的水平坐标位置和垂直坐标位置，获取变焦后的左视点图像，记为其中，1≤x'_L,k≤W，1≤y'_L,k≤H，1≤x'≤W'，1≤y'≤H，W'表示变焦后的立体图像的宽度，H亦为变焦后的立体图像的高度，表示中坐标位置为(x',y')的像素点的像素值；

同样，根据{R(x,y)}中的每个四边形网格对应的最佳目标四边形网格的仿射变换矩阵，计算{R(x,y)}中的每个四边形网格中的每个像素点经仿射变换矩阵变换后的水平坐标位置和垂直坐标位置，将U_R,k中水平坐标位置为x'_R,k和垂直坐标位置为y'_R,k的像素点经仿射变换矩阵变换后的水平坐标位置和垂直坐标位置对应记为和然后根据{R(x,y)}中的每个四边形网格中的每个像素点经仿射变换矩阵变换后的水平坐标位置和垂直坐标位置，获取变焦后的右视点图像，记为其中，1≤x'_R,k≤W，1≤y'_R,k≤H，1≤x'≤W'，1≤y'≤H，表示中坐标位置为(x',y')的像素点的像素值；

由变焦后的左视点图像和变焦后的右视点图像构成变焦后的立体图像。