[发明专利]对图像序列重设尺寸

说明书

本申请是申请日为2008年11月17日、发明名称为“对图像序列重设尺寸”、申请号为200880124956.5的专利申请的分案申请。

技术领域

本发明涉及以根据图像内容的方式对相关图像的有序序列进行重设尺寸。本发明的一个应用是电影或视频资料的横纵比变换。

背景技术

经常需要改变含图像序列的一组图像的整体形状。一个实例是修改以16∶9的横纵比(宽高比)创建的视频资料，以使其显示在具有4∶3的横纵比的显示设备上。在这样的处理中，通常不期望改变图像中描绘的对象的比例。已知的方法包括从图像的部分中去除(剪切)资料，以及应用改变整个图像区域的空间缩放，从而只有接近图像边缘的对象失真。

更复杂的技术包括这样的系统，该系统分析图像内容以识别其空间比例必须被保留的被描绘对象，并且只缩放图像的其他部分，以获得符合要求的图像的整个形状的改变。

Avidan和Shamir于2007年8月在SIGGRAPH会议的会议录中发表的文章“Seam Carving for Content-Aware Image Resizing”中描述了一种用于对单一图像重设尺寸的特别有趣的技术。在该技术中，经由相邻像素组(其具有累积的高空间频率能量的最小测量值)来连接图像的相对边缘的路径被认为是“接缝(seam)”。然后，从图像中去除包含这种接缝的像素，从而在与接缝正交的方向上将图像尺寸减小一个像素间距。在被处理的图像上重复该处理以识别也要去除的第二接缝；并且该处理一直持续到获得期望的尺寸减小量。

通过使用最小高空间频率能量的测量值来识别接缝位置，去除位于更有可能表示被描绘对象之间的空间的相对不详细的区域中的像素，从而使被描绘对象的形状失真最小化。

本文还描述了可以如何在纵向和横向方向上应用不同程度的尺寸减小以及该技术可以如何扩展到处理图像尺寸的放大。

然而，这些技术对相关图像的序列(诸如，在时间或视点序列中捕获的相同场景的视图)的应用将导致令人不快的缺陷。

发明内容

在一个方面中，本发明包括一种改变第一图像的尺寸、形成部分图像序列的方法和装置，其中，将低空间频率能量区从第一图像中去除或者在第一图像中放大，其中，第一图像中要去除或放大的区域的选择偏向序列中的第二图像中的低空间频率能量区的位置。

优选地，第一图像中要去除或放大的区域的选择偏向序列中的第二图像中的低空间频率能量区的运动补偿位置，并且运动补偿用于补偿第一和第二图像之间的移动。

对于实现图像尺寸减小，去除低空间频率能量像素并将剩余像素移动得更加接近，而无需改变它们各自的值，从而恢复像素位置的规则序列。

对于实现图像尺寸放大，复制低空间频率能量像素并在邻近该低空间频率能量像素处插入复制的像素，以将初始像素移动得更加分离，而无需改变它们各自的值，从而恢复像素位置的规则序列。

在本发明的第二方面，对序列中的一个或多个图像的像素推导出取决于一个或多个低空间频率能量区的位置的一组像素位移值，从而由各自的像素位移值定义产生各自改变尺寸的输出图像所需要的输入像素的平移(translation)，并通过将各自的像素位移值应用到它们的像素而在尺寸上改变各自的图像。

在另一方面中，可以通过在识别低空间频率能量区之前内插新图像来增加序列中的图像的数量。

优选地，通过运动补偿内插生成附加的图像。

在另一方面中，可以通过分析要改变尺寸的图像的下采样版本来识别低空间频率能量区。

优选地，该下采样是各向异性的。

优选地，下采样的间距在与图像尺寸减小的方向正交的方向上更长。

在另一方面中，通过分析要改变尺寸的图像的空间低通滤波版本来识别低空间频率能量区。

优选地，该空间低通滤波器是各向异性的。

优选地，该各向异性的空间滤波器的截止频率在与图像尺寸减小的方向正交的方向上更低。

在第二方面中，该像素位移值可以在用于形成减小尺寸的图像之前进行空间滤波。

优选地，该空间滤波是各向异性的。

优选地，该各向异性空间滤波的截止频率在与图像尺寸减小的方向正交的方向上更低。

在第二方面的某些实施例中，该像素位移值在用于形成减小尺寸的图像之前进行时间滤波。

优选地，时间滤波器是运动补偿的。