[发明专利]视频/音频信号处理方法和视频/音频信号处理设备

说明书

技术领域

本发明涉及视频/音频信号处理方法和视频/音频信号处理设备，并且提供一种用于此的有效计算方法以简化(facilitate)诸如(但不限于)来自MPEG压缩领域的摄像运动提取和视频概括(video summarization)的应用。

背景技术

随着视频存储装置容量的增加，出现了为用户浏览方便进行视频内容的构建和概括的需要。元数据(即，关于数据的数据)使视频浏览成为可能，该元数据最好被自动提取。

图1描述了从在像素域中的MPEG(运动图像专家组)压缩视频提取与元数据有关的运动的现有技术。MPEG视频至像素域的全解码(Full decoding)由MPEG解码单元11执行。运动估计单元12(基于本领域技术人员都知道的光流计算或块匹配)从视频流的像素表示中计算运动矢量。参数和摄像运动计算单元13从这些运动矢量中计算涉及元数据的运动。

对于像素域中的摄像运动估计，有Ingemar J.Cox，Sebastien Roy的专利“US5,751,838：5/1998：“在两图像帧382/107间的摄像运动的校正(Correction of camera motion between two image frames：382/107)”以及出版物。

在Yi Tong Tse和Richard L.Baker的“视频压缩的全局缩放/全景估计以及补偿(Global Zoom/Pan estimation and compensation for video compression)”ICASSP 91，1991，2725-2728页中估计了视频编码的摄像缩放和全景。但是，该方法在不是已建模的那些摄像运动类型的情况下可能产生不可靠的结果。

在SPIE的1992年第1818卷的视觉通信和图像处理部分1522-1530页中发表的A.Akutsu，Y.Tonomura，H.Hashimoto，Y.Ohha的“使用运动矢量进行视频检索(Video indexing using motion vectors)”中分析了使用霍夫变换(Hough Transform)像素域中的摄像运动，然而所描述的方法没有提取摄像运动量。

在IEEE Trans.CSVT的1994年6月卷4第3册的288-296页中发表的Jong-II Park，Nobuyuki Yagi，Kazumasa Enami，Kiyoharu Aizama，MitsutoshiHatori的“对基于视频编码模型的图像序列中的摄像参数的估计(Estimationof Camera Parameters from Image Sequence for model based video coding)”以及在“信号处理：图像通信”的1996年第9卷43-53页中发表的Jong-II Park，Choong Woong Lee的“从视频组成的图像序列中进行摄像参数的强健(robust)估计(Robust estimation of camera parameters from image sequence for videocomposition)”中发现了使用纹理倾斜度的像素域中的特征点，并确定了这些特征点的运动的摄像运动。

在“信号处理：图像通信”的1996年第9卷43-53页中发表的Jong-II Park，Choong Woong Lee的“从视频组成的图像序列中进行摄像参数的强健估计(Robust estimation of camera parameters from image sequence for videocomposition)”中使用了非正常值拒绝方法使得在像素域中的摄像运动估计更强健。

在1995年的Proc.ICPC的406-409页中发表的Y.P.Tan，S.R.Kuilarni，P.J.Ramadge的“摄像运动参数估计的新方法(A new method for camera motionparameter estimation)”中描述了根据摄像运动的小总量的假设的像素域中的摄像运动估计的回归最小二乘法。