[发明专利]重构视频序列的图像的方法和重构视频序列的图像的设备

说明书

重构应用基于视频源内容裁剪视频源的子部分。重构应用包含产生显著性图的视觉关注模型、和基于显著性图推断裁剪窗口的专用重构算法。裁剪后，只有每个视频图像的重构部分保持可见。处理视频序列的图像的方法包括以下步骤：确定（21）视频序列的参数、视频序列的先前解码的子序列的参数和用户设置，根据所确定的参数确定（22）要裁剪的部分，在重构步骤剪裁（23）所确定的部分以供显示。本发明的优点是提供了基于视频内容自动调整重构参数的先进自动方法。

技术领域

本发明涉及一种处理视频序列的图像的方法和设备，尤其是重构视频序列的图像。

背景技术

例如从EP1956550A已知的重构应用最初被设计来基于视频源内容裁剪视频源的子部分。裁剪后，只有每个视频图像的重构部分仍然可见。重构应用包含视觉关注模型(visual attention model)和专用的重构算法。视觉关注模型产生显著性图，而重构算法基于该显著性图推算出裁剪窗口。裁剪窗口的位置和大小根据视频内容是可变的。重构算法与编码或解码过程是互补的。根据使用情况，可以不同地使用重构应用。例如，重构应用可以被用作在移动视频编码前的预处理。在另一个例子中，重构应用在视频解码后执行。

问题是目前还没有基于视频内容自动地调整重构参数的可用的先进的或自动的解决方案。

发明内容

本发明通过利用在解码视频源数据时可用的信息来自动调整重构应用的设置或输入参数。所公开的用于自动调整已解码视频序列的设置或输入参数的解决方案利用了先前解码序列的特性。

根据本发明，一种处理视频序列的图像的方法包括以下步骤：确定视频序列的参数、视频序列的先前解码的GOP(画面组)的参数，确定用户设置，根据所确定的参数确定要裁减的部分，剪裁所剪裁的部分以供显示。

视频序列的不同参数可以被确定和使用，如GOP大小，时间子采样因子，最小和最大缩放因子或边界框速度。这些参数可以单独或组合使用。例如，在一个实施例中，所确定的和使用的参数仅仅包括(从上述参数中)边界框速度。

在一个实施例中，所确定和使用的参数包括最小和最大缩放因子。

在一个实施例中，所确定和使用的参数包括GOP大小、时间子采样因子、最小和最大缩放因子，以及边界框速度。

在本发明的一个实施例中，一种处理视频序列的图像的方法包括以下步骤：在前一图像中确定作为前一图像的最突出部分的像素子区域或像素子集以供包含在重构窗口中，围绕所述像素子区域或像素子集确定第一边界框；在当前图像中确定作为当前图像的最突出部分的像素子区域或像素子集以供包含在重构窗口中，并且围绕所述区域确定第二边界框；在连续图像之间确定边界框移动的最大边界框速度；依据第一和第二边界框以及所确定的边界框的最大速度来确定新的边界框；在当前图像中根据所确定的新边界框裁剪子区域以供显示。

最大边界框速度可以根据视频序列的先前解码的GOP的参数确定。最大边界框速度也可以是可从寄存器或存储器取得的预定义值，这也对于视频序列的先前解码的GOP有效。

使用该方法的设备包括：图像分析装置，用于确定视频序列的参数，确定视频序列的先前解码的GOP(画面组)的参数，并确定用户设置(例如，用户接口装置)；和图像处理装置，用于根据所确定的参数来确定要裁剪的部分，并裁剪所确定的部分以供显示。如上所述，视频序列的各种参数可单独使用或组合使用。