[发明专利]一种立体图像内容重组方法

摘要

本发明公开了一种立体图像内容重组方法，其通过提取立体图像的左视点图像和右视点图像对应的图像质量能量、对象缩放能量、位置调整能量和视差适应能量，并通过优化使得总能量最小，获取最佳相似变换矩阵，这样可使得内容重组后的立体图像能够保留精确的对象形状、具有较高的深度感，且可以根据用户的选择自适应地控制重要内容的位置和大小，符合显著语义特征；其通过控制立体图像中的用户选择的聚类对象和其他聚类对象中的Delaunay网格的坐标位置，并进而控制Delaunay网格的形变，从而能够保证内容重组后的立体图像的视觉体验质量。

主权项

1.一种立体图像内容重组方法，其特征在于包括以下步骤：步骤一：将待处理的宽度为W且高度为H的立体图像的左视点图像、右视点图像及左视差图像对应记为{L(x,y)}、{R(x,y)}及{d_L(x,y)}；其中，1≤x≤W，1≤y≤H，L(x,y)表示{L(x,y)}中坐标位置为(x,y)的像素点的像素值，R(x,y)表示{R(x,y)}中坐标位置为(x,y)的像素点的像素值，d_L(x,y)表示{d_L(x,y)}中坐标位置为(x,y)的像素点的像素值；步骤二：采用基于图论的视觉显著模型提取出{L(x,y)}的显著图，记为{SM_L(x,y)}；然后根据{SM_L(x,y)}和{d_L(x,y)}，获取{L(x,y)}的视觉显著图，记为{S_L(x,y)}；接着根据{S_L(x,y)}和{d_L(x,y)}，获取{R(x,y)}的视觉显著图，记为{S_R(x,y)}；其中，SM_L(x,y)表示{SM_L(x,y)}中坐标位置为(x,y)的像素点的像素值，S_L(x,y)表示{S_L(x,y)}中坐标位置为(x,y)的像素点的像素值，S_R(x,y)表示{S_R(x,y)}中坐标位置为(x,y)的像素点的像素值；步骤三：将{L(x,y)}分割成多个互不重叠的不规则的Delaunay网格，将{L(x,y)}中的第k个Delaunay网格记为U_L,k，U_L,k以其3个网格顶点构成的集合来描述，然后根据{L(x,y)}中的所有Delaunay网格和{d_L(x,y)}，获取{R(x,y)}中的所有互不重叠的不规则的Delaunay网格，将{R(x,y)}中的第k个Delaunay网格记为U_R,k，U_R,k以其3个网格顶点构成的集合来描述，其中，k为正整数，1≤k≤M，M表示{L(x,y)}中包含的Delaunay网格的总个数，M＞1，对应表示U_L,k的第1个网格顶点、第2个网格顶点、第3个网格顶点，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，对应表示U_R,k的第1个网格顶点、第2个网格顶点、第3个网格顶点，以的水平坐标位置和垂直坐标位置来描述，表示{d_L(x,y)}中坐标位置为的像素点的像素值，以的水平坐标位置和垂直坐标位置来描述，表示{d_L(x,y)}中坐标位置为的像素点的像素值，以的水平坐标位置和垂直坐标位置来描述，表示{d_L(x,y)}中坐标位置为的像素点的像素值；步骤四：采用K均值聚类方法对{L(x,y)}中的所有像素点进行聚类分割，得到{L(x,y)}中的所有聚类对象，进而得到{L(x,y)}中的每个聚类对象的对象掩膜，将{L(x,y)}中的第n个聚类对象的对象掩膜记为O_n；设定用户选择了{L(x,y)}中的第n个聚类对象，则根据{L(x,y)}中的所有Delaunay网格，将O_n中的第k”个Delaunay网格记为以其3个网格顶点构成的集合来描述，其中，n为正整数，1≤n≤N，N表示{L(x,y)}中的聚类对象的总个数，N＞1，k”为正整数，1≤k”≤M”，M”表示O_n中包含的Delaunay网格的总个数，M”＞1，对应表示的第1个网格顶点、第2个网格顶点、第3个网格顶点，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，步骤五：将用户提供的参考对象掩膜记为P；然后将P分割成多个互不重叠的不规则的Delaunay网格，将P中的第k'个Delaunay网格记为U_P,k'，U_P,k'以其3个网格顶点构成的集合来描述，其中，k'为正整数，1≤k'≤M'，M'表示P中包含的Delaunay网格的总个数，M'＞1，对应表示U_P,k'的第1个网格顶点、第2个网格顶点、第3个网格顶点，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，步骤六：在用户选择了{L(x,y)}中的第n个聚类对象的基础上，计算O_n与P的对象水平偏移量、对象垂直偏移量和对象缩放因子，对应记为和ρ，其中，表示水平方向，表示垂直方向，表示O_n中的所有Delaunay网格的所有网格顶点中的第t个网格顶点，表示的水平坐标位置，表示的垂直坐标位置，表示P中的所有Delaunay网格的所有网格顶点中的第t'个网格顶点，表示的水平坐标位置，表示的垂直坐标位置，表示O_n中的所有Delaunay网格构成的集合，也表示O_n中的所有Delaunay网格的所有网格顶点构成的集合，V_P表示P中的所有Delaunay网格构成的集合，也表示P中的所有Delaunay网格的所有网格顶点构成的集合，1≤t'≤N_P，表示O_n中的所有Delaunay网格的网格顶点的总个数，N_P表示P中的所有Delaunay网格的网格顶点的总个数，符号“| |”为取绝对值符号；步骤七：{L(x,y)}中的每个Delaunay网格对应有目标Delaunay网格，将U_L,k对应的目标Delaunay网格记为以其3个网格顶点构成的集合来描述，然后根据{L(x,y)}中的所有Delaunay网格对应的目标Delaunay网格，对{L(x,y)}中的每个Delaunay网格进行相似变换，使得原本的Delaunay网格与原本的Delaunay网格经过相似变换后得到的目标Delaunay网格的变换误差最小，得到{L(x,y)}中的每个Delaunay网格对应的目标Delaunay网格的相似变换矩阵，将的相似变换矩阵记为其中，对应表示的第1个网格顶点、第2个网格顶点、第3个网格顶点，表示的第i个网格顶点，i＝1,2,3，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，(A_L,k)^T为A_L,k的转置，((A_L,k)^TA_L,k)^‑1为(A_L,k)^TA_L,k的逆；同样，{R(x,y)}中的每个Delaunay网格对应有目标Delaunay网格，将U_R,k对应的目标Delaunay网格记为以其3个网格顶点构成的集合来描述，然后根据{R(x,y)}中的所有Delaunay网格对应的目标Delaunay网格，对{R(x,y)}中的每个Delaunay网格进行相似变换，使得原本的Delaunay网格与原本的Delaunay网格经过相似变换后得到的目标Delaunay网格的变换误差最小，得到{R(x,y)}中的每个Delaunay网格对应的目标Delaunay网格的相似变换矩阵，将的相似变换矩阵记为其中，对应表示的第1个网格顶点、第2个网格顶点、第3个网格顶点，表示的第i个网格顶点，i＝1,2,3，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，(A_R,k)^T为A_R,k的转置，((A_R,k)^TA_R,k)^‑1为(A_R,k)^TA_R,k的逆；步骤八：根据{L(x,y)}中的每个Delaunay网格对应的目标Delaunay网格的相似变换矩阵和{R(x,y)}中的每个Delaunay网格对应的目标Delaunay网格的相似变换矩阵，并结合{S_L(x,y)}和{S_R(x,y)}，计算{L(x,y)}和{R(x,y)}中的所有Delaunay网格对应的目标Delaunay网格的图像质量能量，记为E_IQ；根据ρ，计算{L(x,y)}中用户选择的第n个聚类对象中的所有Delaunay网格和{R(x,y)}中相对应的所有Delaunay网格对应的目标Delaunay网格的对象缩放能量，记为E_SO；根据和计算{L(x,y)}中用户选择的第n个聚类对象中的所有Delaunay网格对应的目标Delaunay网格的位置调整能量，记为E_AO；根据ρ，计算{L(x,y)}中用户选择的第n个聚类对象中的所有Delaunay网格和{R(x,y)}中相对应的所有Delaunay网格对应的目标Delaunay网格的视差适应能量，记为E_DS；所述的步骤八中的E_IQ的计算过程为：A、计算{L(x,y)}中的所有Delaunay网格对应的目标Delaunay网格的形状保护能量，记为其中，S_L(k)表示U_L,k中的所有像素点的视觉显著值的均值，也即表示{S_L(x,y)}中与U_L,k对应的区域中的所有像素点的像素值的均值，符号“|| ||”为求欧氏距离符号；同样，计算{R(x,y)}中的所有Delaunay网格对应的目标Delaunay网格的形状保护能量，记为其中，S_R(k)表示U_R,k中的所有像素点的视觉显著值的均值，也即表示{S_R(x,y)}中与U_R,k对应的区域中的所有像素点的像素值的均值；B、计算{L(x,y)}中的所有Delaunay网格对应的目标Delaunay网格的边界弯曲度能量，记为其中，e_L,k表示U_L,k的所有网格顶点的边缘组成的矩阵，(e_L,k)^T为e_L,k的转置，((e_L,k)^Te_L,k)^‑1为(e_L,k)^Te_L,k的逆，表示的所有网格顶点的边缘组成的矩阵，同样，计算{R(x,y)}中的所有Delaunay网格对应的目标Delaunay网格的边界弯曲度能量，记为其中，e_R,k表示U_R,k的所有网格顶点的边缘组成的矩阵，(e_R,k)^T为e_R,k的转置，((e_R,k)^Te_R,k)^‑1为(e_R,k)^Te_R,k的逆，表示的所有网格顶点的边缘组成的矩阵，C、根据和计算E_IQ，其中，λ_LB为加权参数；所述的步骤八中的E_SO的计算过程为：其中，表示{L(x,y)}中用户选择的第n个聚类对象中的所有Delaunay网格对应的目标Delaunay网格的对象缩放能量，表示{R(x,y)}中与用户选择的第n个聚类对象对应的区域中的所有Delaunay网格对应的目标Delaunay网格的对象缩放能量，符号“|| ||”为求欧氏距离符号，e_L,k”表示{L(x,y)}中用户选择的第n个聚类对象中的第k”个Delaunay网格的所有网格顶点的边缘组成的矩阵，亦表示的所有网格顶点的边缘组成的矩阵，表示{L(x,y)}中用户选择的第n个聚类对象中的第k”个Delaunay网格对应的目标Delaunay网格的所有网格顶点的边缘组成的矩阵，亦表示对应的目标Delaunay网格的所有网格顶点的边缘组成的矩阵，e_R,k”表示{R(x,y)}中与{L(x,y)}中用户选择的第n个聚类对象中的第k”个Delaunay网格相对应的Delaunay网格的所有网格顶点的边缘组成的矩阵，亦表示{R(x,y)}中与相对应的Delaunay网格的所有网格顶点的边缘组成的矩阵，表示{R(x,y)}中与{L(x,y)}中用户选择的第n个聚类对象中的第k”个Delaunay网格相对应的Delaunay网格所对应的目标Delaunay网格的所有网格顶点的边缘组成的矩阵，亦表示{R(x,y)}中与相对应的Delaunay网格所对应的目标Delaunay网格的所有网格顶点的边缘组成的矩阵；所述的步骤八中的E_AO的计算过程为：其中，表示所属的Delaunay网格对应的目标Delaunay网格中与相对应的网格顶点的水平坐标位置，表示所属的Delaunay网格对应的目标Delaunay网格中与相对应的网格顶点的垂直坐标位置；所述的步骤八中的E_DS的计算过程为：，其中，表示的视差值，表示所属的Delaunay网格对应的目标Delaunay网格中与相对应的网格顶点的水平坐标位置，表示所属的Delaunay网格对应的目标Delaunay网格中与相对应的网格顶点的垂直坐标位置，表示{R(x,y)}中与所属的Delaunay网格相对应的Delaunay网格所对应的目标Delaunay网格中与相对应的网格顶点的水平坐标位置，表示{R(x,y)}中与所属的Delaunay网格相对应的Delaunay网格所对应的目标Delaunay网格中与相对应的网格顶点的垂直坐标位置，表示除O_n外的其他所有对象掩膜构成的集合，表示中的所有Delaunay网格的网格顶点的总个数，表示中的所有Delaunay网格的所有网格顶点中的第t”个网格顶点，表示的视差值，表示所属的Delaunay网格对应的目标Delaunay网格中与相对应的网格顶点的水平坐标位置，表示所属的Delaunay网格对应的目标Delaunay网格中与相对应的网格顶点的垂直坐标位置，表示{R(x,y)}中与所属的Delaunay网格相对应的Delaunay网格所对应的目标Delaunay网格中与相对应的网格顶点的水平坐标位置，表示{R(x,y)}中与所属的Delaunay网格相对应的Delaunay网格所对应的目标Delaunay网格中与相对应的网格顶点的垂直坐标位置，表示中的所有Delaunay网格的所有网格顶点构成的集合；步骤九：根据E_IQ、E_SO、E_AO和E_DS，计算{L(x,y)}和{R(x,y)}中的所有Delaunay网格对应的目标Delaunay网格的总能量，记为E_total，E_total＝E_IQ+λ_SO×E_SO+λ_AO×E_AO+λ_DS×E_DS；然后通过最小二乘优化求解得到{L(x,y)}中的每个Delaunay网格对应的最佳目标Delaunay网格及{R(x,y)}中的每个Delaunay网格对应的最佳目标Delaunay网格，将U_L,k对应的最佳目标Delaunay网格记为将U_R,k对应的最佳目标Delaunay网格记为接着计算{L(x,y)}中的每个Delaunay网格对应的最佳目标Delaunay网格的最佳相似变换矩阵，将的最佳相似变换矩阵记为并计算{R(x,y)}中的每个Delaunay网格对应的最佳目标Delaunay网格的最佳相似变换矩阵，将的最佳相似变换矩阵记为其中，λ_SO为E_SO的加权参数，λ_AO为E_AO的加权参数，λ_DS为E_DS的加权参数，min()为取最小值函数，表示{L(x,y)}中的所有Delaunay网格对应的目标Delaunay网格构成的集合，表示{R(x,y)}中的所有Delaunay网格对应的目标Delaunay网格构成的集合，对应表示的第1个网格顶点、第2个网格顶点、第3个网格顶点，对应表示的第1个网格顶点、第2个网格顶点、第3个网格顶点，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置；步骤十：根据{L(x,y)}中的每个Delaunay网格对应的最佳目标Delaunay网格的最佳相似变换矩阵，计算{L(x,y)}中的每个Delaunay网格中的每个像素点经最佳相似变换矩形变换后的水平坐标位置和垂直坐标位置，将U_L,k中水平坐标位置为x'_L,k和垂直坐标位置y'_L,k的像素点经最佳相似变换矩阵变换后的水平坐标位置和垂直坐标位置对应记为和然后根据{L(x,y)}中的每个Delaunay网格中的每个像素点经最佳相似变换矩形变换后的水平坐标位置和垂直坐标位置，获取内容重组后的左视点图像，记为其中，1≤x'_L,k≤W，1≤y'_L,k≤H，1≤x'≤W，1≤y'≤H，表示中坐标位置为(x',y')的像素点的像素值；同样，根据{R(x,y)}中的每个Delaunay网格对应的最佳目标Delaunay网格的最佳相似变换矩阵，计算{R(x,y)}中的每个Delaunay网格中的每个像素点经最佳相似变换矩形变换后的水平坐标位置和垂直坐标位置，将U_R,k中水平坐标位置为x'_R,k和垂直坐标位置y'_R,k的像素点经最佳相似变换矩阵变换后的水平坐标位置和垂直坐标位置对应记为和然后根据{R(x,y)}中的每个Delaunay网格中的每个像素点经最佳相似变换矩形变换后的水平坐标位置和垂直坐标位置，获取内容重组后的右视点图像，记为其中，1≤x'_R,k≤W，1≤y'_R,k≤H，表示中坐标位置为(x',y')的像素点的像素值。