[发明专利]减小基于运动估计的视频处理系统的反应时间

说明书

技术领域

本发明通常涉及视频处理领域。更具体地本发明涉及通过执行多个运动估计扫描而并不相反地增加视频处理系统的运动估计操作的反应时间，来增强在视频屏幕例如电视屏幕上被显示图像的质量。

背景技术

在运动估计被用来增强显示图像的质量的电视领域公知，运动估计的质量是至关重要的。在其它视频应用技术中，运动估计被用作两个主要的视频应用技术——去隔行和画面上变换的一部分。而且，包括空-时噪音减小和锐度增强的视频应用技术将同样受益于运动估计的使用。

过去，对于两个应用技术仅使用一个运动估计器意味着去隔行都是匆忙运行的，紧跟着的是画面速率上变换(up-conversion)。另一方面，今天的电视屏幕更大且更亮并且因此使得赝象变得更加可见。在减小赝象影响的持久努力中，研究者已经提出了更加复杂的算法。在C.Ciuhu和G.de Haan在2004年1月出版的SPIE，Proceeding of VCIP的700-711页发表的“A two dimensional generalised sampling theory and application tode-interlacing”公开的基于新2D广义取样法则(GST)的去隔行算法中，以及R.B.Wittebrood，G.de Haan和R.Lodder在2003年6月出版的Digestof the ICCE’03的344-45页发表的“Tackling occlusion in scan rateconversion system”公开的减小晕圈的画面速率上变换算法都是典型的例子。这些算法基于已有的运动向量域提供了更好的结果，意味着它们仅消耗了已经可用的运动向量域。因此它们高度依赖已消耗的运动向量域的质量。

改善运动向量域的质量的一种方式是增加每个输入图像对的运动估计扫描的数量。更大数量的扫描应当意味着更好的图像质量。在两个连续运动估计通道上改变扫描的方向，例如第一通道是从屏幕的顶部到底部以及第二通道是从屏幕的底部到顶部，也似乎是个可关注的选择，因为其实现了运动向量域从两个不同方向的集中。多次扫描、扫描方向交替和两种扫描方式(曲折(meandering)方式和从顶部到底部以及从左到右的常规方式)的效果被A.Beric，G de Haan，J.van Meerbergen和R.Sethuraman在2003年9月以CD出版的“Proceedings of the IEEEInternational Conference on Image Processing”上发表的“Towards anefficient high quality picture rate up-converter”用实验方法分析，其在此整体引入作为参考。

该实验在如图1所示的五个渐进序列上(自行车101，独白102，BBC脚本103，乒乓球104，混合器105)使用一组六个运动向量候选者进行。计算的运动向量域的质量通过在文献中广泛使用的标准——修正均方误差(MMSE)来测量。实验的结论是增加运动估计扫描的数量实现了运动向量域的更好质量。然而，在第二或第三扫描之后，MMSE曲线饱和，并且更多的扫描并不能实现更好的图像质量。而且，扫描方向的交替促使了运动向量域的更快集中，特别是在不同序列的情况下。这些结论在图2中示出，其示出了为不同数量的运动估计通道并且具有扫描所使用的交替和曲折方式的不同结合而画出的序列混合器105的MMSE。

然而，更多的运动估计扫描意味着视频处理系统的更高等待时间，其使得例如在当使用单独声音表现系统时的情况下产生唇同步损失，并且需要额外的存储器资源来缓存图像。

为了保持运动向量域的高水平质量，两个交替方向的扫描应当在去隔行侧和上变换器侧都执行。图3示出了在去隔行侧301和303以及上变换侧305和307执行的运动估计扫描。一个单独的运动估计器执行四个扫描。第一扫描从顶部到底部，以及第二扫描从底部到顶部。如图3所示，执行这个操作的时间是4T，给出执行一个扫描需要的时间是1T。随着第二扫描的执行，去隔行帧的产生就可以开始了。这大概在t＝1T发生。上变换帧的产生在大概t＝3T开始。不幸的，该方法在视频处理系统中产生了太多不需要的等待时间。