[发明专利]一种基于样例学习并增强视觉质量的3D图像裁剪方法

说明书

本发明涉及一种基于样例学习并增强视觉质量的3D图像裁剪方法，包括：计算专业3D立体图像库中每幅图像的GIST特征和HIST特征；输入待裁剪图像和目标尺寸，采用采样方法获得候选裁剪窗口集合；计算每个候选裁剪窗口与图像库中每幅图像的GIST特征和HIST特征的相似性，并获得与其最相似的n幅图像，组合形成学习的样例集合；利用样例评估各候选裁剪窗口的构图和深度信息分布质量，及信息丢失和立体图像视觉舒适规则遵守情况，计算左视图的裁剪窗口；通过学习样例，对右视图的裁剪窗口水平移动获得与学习样例最相似的深度分布，从而获得最终的裁剪结果。该方法有利于获得视觉舒适的裁剪结果，可应用于图像处理及计算机视觉等领域。

技术领域

本发明涉及图像处理及计算机视觉领域，特别是一种基于样例学习并增强视觉质量的3D图像裁剪方法。

背景技术

图像裁剪是最基本的图像处理操作之一。从2003年开始，专家学者们不断研究并提出基于内容意识的图像裁剪方法，即基于智能裁剪的方法。该类方法首先根据图像信息的重要度进行裁剪，初步获得与目标屏幕纵横比相同的裁剪区域，然后将裁剪区域的内容用等比放缩技术将其适应成目标屏幕大小的尺寸。Liu H.等人通过眼部追踪(eyetracking)的方法确定图像重要内容的位置信息，然后用交互的方式将包含最少的重要度信息的内容区域裁剪掉。Liu F.等人首先定义了基于区域的图像的感兴趣区域(Regionsof Interest,ROI)，并提出一种ROI排序方法可以将大尺寸的图像很好地缩小到小尺寸的显示屏幕上。Suh B.等人提出自动缩略图(thumbnail)裁剪方法，它融合了图像显著区域检测方法和人脸识别技术，主要解决因缩小图像导致图像对象变得模糊的问题。Chen L Q.等人提出一种适用于小尺寸显示屏幕的视觉注意模型(visual attention model)，从用户感知图像的注意力出发，综合考虑了ROI，图像重要度度值以及由分支限界(branch-and-bound)算法得到的最小可察觉尺寸等属性。Shen X.等人使用了视觉构图、边界简化和内容保护等多个模型进行图像的自动裁剪。Yan J.等人的自动裁剪技术在裁剪掉非重要内容的同时增强图像的全局结构，并利用大量的数据集训练出裁剪前后图像内容和结构的变化程度进行裁剪方法的质量评估。

上述的几种基于智能裁剪的方法在2D图像裁剪技术领域取得重大成果。随着3D媒体内容在人们日常生活中日益普遍化，3D图像裁剪方法正逐渐涌现。对3D图像的裁剪操作不但能对图像重新构图，从而提高美学质量，还能改变图像的深度信息分布，增强视觉舒适度。

与对2D图像的裁剪不同，对3D图像裁剪是一个具有挑战性的任务，因为3D图像的质量是高度主观的，而且3D图像裁剪窗口可能导致违反立体图像视觉舒适规则。3D图像裁剪方法的难点是确保裁减结果能够通过立体显示设备舒适的观看。例如，如果某个视图中的显著对象被裁剪掉，裁剪结果中将引入“单目对象”问题，如果观看者感知到显示在屏幕前面的对象被屏幕边缘切割，裁剪结果将遭受“窗口冲突”问题。对于“单目对象”问题，由于对象只存在于左右视图的某一视图中，而另一张视图中不出现该对象，因此，人眼无法合成该对象的视差，导致大脑无法形成该对象的立体感。对于“窗口冲突”问题，对象被屏幕边缘切割决定了该对象在屏幕后面，而立体视差形成的深度信息表示该对象显示在屏幕前面，从而导致屏幕和对象的位置关系冲突。“单目对象”问题和“窗口冲突”问题都会混淆我们的大脑，导致视觉疲劳。综上，遵守立体图像的构图规则对于3D图像的视觉质量至关重要。

目前研究者已经提出多种3D图像裁剪方法。Zhang F.等人建立了一个交互式裁剪系统，用户执行裁剪操作过程中，系统自动判断裁剪窗口是否引入了立体窗口干扰和单目对象，并将判断结果实时反馈给用户。交互式裁剪系统需要大量用户交互，非常耗时。NiuY.等人提出一种自动立体图像裁剪方法。该方法计算得到一个最好的遵守立体图像摄像学规则和传统图像摄像学规则的最优裁剪窗口。3D图像拍摄过程中，对各种规则的使用是随着拍摄内容变化的，如拍摄肖像和风景通常遵守不同的摄像学规则。已有的自动立体图像裁剪方法没有考虑这一问题。

发明内容