[发明专利]一种基于样例学习并增强视觉质量的3D图像裁剪方法

权利要求书

1.一种基于样例学习并增强视觉质量的3D图像裁剪方法，其特征在于，包括以下步骤：

步骤S1：计算专业3D立体图像库中每幅图像的描述图像场景的GIST特征；

步骤S2：计算专业3D立体图像库中每幅图像的描述图像色彩的颜色直方图HIST特征；

步骤S3：输入待裁剪图像和目标尺寸，采用采样方法，获得候选裁剪窗口集合；

步骤S4：计算待裁剪图像的每个候选裁剪窗口与所述步骤S1、S2得到的专业3D立体图像库中每幅图像的GIST特征和HIST特征的相似性，并获得与每个候选裁剪窗口最相似的n幅图像，组合所有候选裁剪窗口的n幅图像作为学习的样例集合；

步骤S5：利用样例集合中的样例评估各候选裁剪窗口的构图和深度信息分布的质量，以及各候选裁剪窗口的信息丢失和立体图像视觉舒适规则遵守情况，综合计算得到一个最优裁剪窗口，此窗口即是左视图的裁剪窗口；

步骤S6：再次通过对样例的学习，对左视图的裁剪窗口进行水平移动，选择与所学习样例最相似的深度分布对应的平移量，确定右视图的裁剪窗口，从而通过左、右视图的裁剪窗口，组成最终的裁剪结果；

所述步骤S3中，采用采样方法获得候选裁剪窗口集合的方法为：

输入的待裁剪图像的尺寸为W×H，目标尺寸为W’×H’，采用采样方法，即在水平和垂直方向上，每隔l个窗口中选择一个窗口，获得候选裁剪窗口集合其中表示第k个候选裁剪窗口，候选裁剪窗口集合的样本容量m的计算方式如下：

所述步骤S4中，计算待裁剪图像的每个候选裁剪窗口与专业3D立体图像库中每幅图像的GIST特征和HIST特征的相似性，并获得与每个候选裁剪窗口最相似的n幅图像，组合所有候选裁剪窗口的n幅图像作为学习的样例集合，包括以下步骤：

步骤S41：对于候选裁剪窗口集合中的每个候选项I_i^ck，与专业3D立体图像库中每幅图像进行图像相似性度量；结合GIST特征和HIST特征对图像的场景和色彩进行描述，按照如下公式计算两幅图像I_i和I_j之间的相似性：

F(I_i,I_j)＝αf_G(I_i,I_j)+(1-α)f_H(I_i,I_j)

其中，F(I_i,I_j)是图像I_i和I_j的相似性，f_G(I_i,I_j)和f_H(I_i,I_j)分别是图像I_i和I_j的GIST相似性和HIST相似性，f_G(I_i,I_j)和f_H(I_i,I_j)的值越小，图像越相似；G_di和G_dj分别是图像I_i和I_j第d维的GIST特征，N_G是GIST特征的维数，即512；H_di和H_dj分别是图像I_i和I_j第d维的HIST特征，N_H是HIST特征的维数，即512；α是f_G(I_i,I_j)的权重；

步骤S42：通过步骤S41中的图像相似性度量方法，获得与每个候选裁剪窗口最相似的n幅图像，最后将所有候选裁剪窗口的n幅图像去除重复图像后，互相不重复的u幅图像构成学习的样例集合其中表示第t个学习的样例；

所述步骤S5中，利用样例评估各候选裁剪窗口的构图和深度信息分布的质量，以及各候选裁剪窗口的信息丢失和立体图像视觉舒适规则遵守情况，综合计算得到一个最优裁剪窗口，包括以下步骤：

步骤S51：根据任意样例图像计算任意候选裁剪窗口图像的构图质量；构图的相似性通过两个左视图的显著性图的相似性度量；候选裁剪窗口图像和样例图像之间的构图相似性度量公式为：

其中，(p,q)是像素位置，分别是候选裁剪窗口图像和样例图像的左视图的显著性图，函数R()表示对显著性图进行放缩，放缩后的宽度为w、高度为h，分别是显著性图放缩后的显著性图，是放缩后的显著性图在(p,q)处的显著性值，是放缩后的显著性图在(p,q)处的显著性；

步骤S52：根据任意样例图像计算任意候选裁剪窗口图像的深度信息分布质量；深度信息分布的相似性通过两个视差图的相似性度量；候选裁剪窗口图像和样例图像之间的深度信息分布相似性度量公式为：

其中，分别是候选裁剪窗口图像和样例图像的视差图，函数N()表示对视差图进行一系列预处理：为了消除图像不同尺寸的影响，首先将分别除以图像的宽度，从而将视差表示成占图像宽度的比例；然后将再除以的最大值，使得的最大值接近1；最后将放缩到同一图像尺寸，即宽度为w，高度为h，分别是经过函数N()预处理后的视差图，分别是在(p,q)处的视差值；

步骤S53：对于任意候选裁剪窗口图像按如下公式计算其与每一个样例图像的相似度：

其中，β是的权重；

步骤S54：对于每个候选裁剪窗口图像将相似性度量进行非降序排序，排在第v位的样例图像为然后获得与每个候选裁剪窗口图像最相似的s(s＝5)个样例图像集合然后计算与这s个样例图像的平均相似性作为的构图和深度信息分布的质量：

步骤S55：计算每个候选裁剪窗口的信息丢失量；信息丢失表示为输入图像I_i中候选裁剪窗口之外的图像区域中显著性总和与输入图像I_i的显著性总和的比例，计算公式为：

其中，和S_i分别是候选裁剪窗口图像和输入图像I_i的显著性图，(p,q)是像素位置；

步骤S56：从两方面考虑候选裁剪窗口的立体图像视觉舒适规则遵守情况；首先，计算对避免出现“单目对象”这一规则的遵守质量；通过最小化鬼影边缘区域中的显著性，从而避免在裁剪结果中出现“单目对象”，计算公式为：

其中，R_l和R_r分别是候选裁剪窗口图像的宽度为w个像素的左边缘和右边缘区域，max()为取最大值运算；

其次，计算对避免出现窗口冲突这一规则的遵守质量；当候选裁剪窗口图像的左、右边缘区域内的图像内容的视差为负数时，这些图像内容会显示在屏幕前面，从而引起窗口处突现象，因此通过最小化这些负视差像素避免立体窗口冲突，计算公式为：

其中，是指示函数，当像素(p,q)的视差为负数时，取值为1，否则为0；

步骤S58：综合考虑上述各个因素，将最优的裁剪窗口，即左视图的裁剪窗口用如下公式表示：

其中，I_l是左视图的最优裁剪窗口，λ_e、λ_i、λ_o、λ_w分别是各个因素的权重；

所述步骤S6中，利用步骤S5计算得到的最优裁剪窗口以及与其最相似的s个样例图像，计算窗口平移x个像素时新的视差图分布相似性，并选择使得相似性最大的平移值x，计算公式为：

其中，(p+x,q)是从位置(p,q)水平移动x个像素后到达的像素位置，x0时，水平向右移动，否则水平向左移动；步骤S58中求得的左视图最优裁剪窗口对应候选裁剪窗口集合中的候选裁剪窗口图像是的视差图，是在(p+x,q)处的视差值；是与候选裁剪窗口图像最相似第v个的样例，是在(p,q)处的视差值；

通过对左视图的裁剪窗口水平移动x个像素，得到右视图的裁剪窗口I_r，x0时，左视图的裁剪窗口向右移动，否则向左移动；

最终通过左、右视图的裁剪结果I_l和I_r，组成最终的3D裁剪结果。