[发明专利]基于边缘的时空滤波方法和装置

说明书

相关申请的交叉参考

本申请要求在2006年1月31日提交的美国临时申请60/764,252的优先权，其全部公开一并在此作为参考。

技术领域

本发明一般涉及视频编解码，尤其涉及基于边缘的时空滤波方法和装置。

背景技术

从低分辨率图像序列中生成超分辨率图像近来受到广泛关注，并导致几种强制算法的出现。然而，多数现存的算法依靠相对复杂并很难实施的模型。进而，许多现存的算法并不总能达到令人满意的结果。

成像传感器的物理约束会显著的限制图像分辨率，因而会限制所捕获的图像的质量。如果检测器阵列并不足够密集，这会导致混杂(aliased)或欠采样图像。近来，在通过考虑相同场景的多个捕获图像来产生更高分辨率和质量的图像方面做了许多工作。这个过程被称作超分辨率图像生成。超分辨率图像生成尤其适合依次捕获的图像，举例来说，使用视频摄像机，因为连续帧之间存在高度的时间和空间相关性。

超分辨率图像生成有许多不同的应用，从为了打印的目的从低分辨率视频图像产生静态图像，到从标准清晰度(SD)信号中产生高清晰度电视(HDTV)。另一应用是在安防/监视系统和法院学科领域中，特别是在2001年9月11号之后，为了达到例如通过识别嫌疑犯解决或甚至是防止犯罪的目的，很希望从捕获的图像序列中生成超分辨率图像。其他应用包括航空/卫星成像、天文和医学成像。尽管，从通常在电影和电视节目中显示的静态图像中产生超分辨率图像仍不太现实，但是最近提出的方法可以产生很令人印象深刻的结果。

许多先前的技术利用傅立叶域方法，其中从低分辨率图像的低频数据中提取高频信息。尽管这样的方法实施起来相对简单，但是不幸的是在性能和适用性方面，由于其不能处理局部和全局运动，其同样在相当程度上受到了限制。可替代的，空间域技术可以产生相当好的结果，尽管，由于其需要考虑运动配准并在许多情形下会迭代，该技术会复杂得多。一些这样的方法同样适合压缩的视频，这样使其在适用性和有用性方面更具吸引力。通常的，大部分这样的方法使用确定性方法，诸如凸集投影(POCS)，在不考虑任何源统计的情形下，在空间域内提高分辨率，而其他方法基于统计公式，诸如最大似然或最大后验概率(MPA)估计。

一个非常类似超分辨率生成的应用是视频降噪。视频降噪是许多现代视频编码结构的特征，因为其可以相当大的提高编码效率，同时，改善客观和主观质量。数字静态或视频图像包含由于捕获或模数转换过程而产生的噪声，或甚至是由于传输的原因而产生的噪声。然而，噪声除了其自身在视觉上不令人满意的印象，还在许多应用中有几种严重的影响，尤其是在视频压缩中。由于其随机特性，噪声很大程度上降低了时间和空间相关性，因此限制了该带噪视频信号的编码效率。所以，期望在没有消除图像中任何重要细节的情况下，诸如边缘和纹理，能够消除噪声。

已经提出了几种视频降噪结构，其中通过考虑空间或时间滤波方法或其组合而进行降噪。甚至是最先进的空间方法，诸如维纳或小波滤波，都趋向更适合于静态图像，同时由于其特性，时间和时空方法更加适合视频信号，因为相邻图像之间存在时间相关性。在该技术领域中广泛已知这样的方法，并且通常被归类到运动和非运动补偿滤波中，其在对当前图像进行滤波时可能会也可能不会考虑运动估计和补偿技术。

在第一种现有方法中，提出了一种结合有视频编码器的时空视频降噪结构，该视频编码器符合国际标准化组织/国际电工委员会(ISO/IEC)运动图像专家组-4(MPEG-4)部分10高级视频编码(AVC)标准/国际电信联盟，电信部分(ITU-T)的H.264推荐标准(在下文中称作“MPEG-4AVC标准”)。在第一种现有技术的方法中，使用基于阈值的3×3像素平均对所有像素进行空间滤波，同时为了进行时间滤波而重新使用MPEG-4AVC标准的运动估计过程。鉴于MPEG-4AVC标准允许考虑和使用多个参考以用于预测块或宏块，可能使用这种策略在本质上产生针对当前像素的几种可能的时间预测。然后，将这些时间预测一起进行平均，以形成最终的滤波后的图像。在这种方法中需要注意的是，对先前滤波的像素执行运动估计和补偿。尽管这个过程会产生更为精确的运动场，但是这个过程同样导致场景中某些更为精确细节的消除的情况，诸如纹理和边缘。

在第二种现有技术方法中已经提出了这个概念的延伸，包括执行更多高级运动补偿方法，考虑用小波滤波代替基于阈值的中值。在第二种现有技术的方法中，引进去块滤波，其应用于运动补偿后的残余，因此导致最终降噪的视频中更少的伪像。

发明内容