[发明专利]用于高效视频处理的方法和系统

说明书

技术领域

本发明涉及图像处理，并且具体地，涉及一种用于将各种处理操作应用于视频流的帧的高效视频处理方法和系统，所述处理操作包括对视频图像流进行去噪、锐化、增强和去模糊。

背景技术

当前，图像处理是对其付出了显著的研究和开发努力的重要的技术领域。随着包括手持式摄像机、视频会议系统、蜂窝电话和包括通过互联网的视频图像的实时传送的视频分送信道的各种类型的视频图像捕获、传输和显示设备的可用性的增加以及成本的降低，视频图像的处理正在变为日益重要的研究和开发领域并且提供了视频处理系统的越来越大的市场。

在许多应用中，可以在视频采集之后以及在视频分送之前通过计算上昂贵的技术执行视频处理。然而，在许多当前的和涌现的应用中，诸如在实时视频处理系统中，视频处理需要快速地和高效地执行。视频会议是其中实时视频处理可以提供众多益处的应用的一个示例。视频会议设备制造商和销售商已经确定，视频会议的有效性可以极大地取决于递送到视频会议参与者的视频图像的质量。通过使用复杂的和昂贵的相机、高端显示系统、大量的专用计算硬件和宽带宽通信信道，可以实现视频质量。不幸地，这种昂贵的、高端视频会议系统的市场较之较低成本的视频会议系统的潜在市场是相对小的。需要实时视频处理的视频会议设备和其他系统的研究人员和开发人员、制造商和销售商以及视频会议设备和其他这种基于视频的系统的用户均已认识到需要较低成本的基于视频的系统，其中视频处理部件可以用于在计算上抵消因使用不太昂贵的相机、通信信道和专用硬件而导致的视频图像质量的降低。

发明内容

本发明的实施例针对用于计算上高效地对视频帧的流进行去噪、锐化、对比度增强、去模糊和其他空间和时间处理的高效的视频处理方法和系统。本发明的实施例使仅针对从视频流中以固定的或可变的间隔选择的小百分比的视频帧执行的统计量相关计算与针对视频流的每个帧执行的各种空间和时间处理步骤分离，所述统计量相关计算包括估计像素值关联方差、标准差、噪声阈值和信号对比度阈值。在本发明的某些实施例中，统计量相关计算由计算机系统的一个或多个通用处理器执行，而逐帧的空间和时间处理由计算机系统中的一个或多个专用图形处理器执行。

附图说明

图1图示了二维图像信号。

图2示出了具有数值像素值的图1的二维图像。

图3A-E图示了由本发明的方法和系统实施例执行的各种类型的图像和视频帧处理的简单示例。

图4提供了简单的计算机系统的高级别的类似框图的表示。

图5图示了图像中的邻域的概念。

图6A-B图示了基于邻域的操作中使用的图像的各种类型的遍历。

图7图示了由本发明的方法和系统实施例解决的基本问题。

图8图示了表示本发明的一个实施例的实时高质量视频处理系统。

图9-11图示了表示本发明的一个实施例的实时视频处理系统的噪声和对比度模块的操作。

图12图示了两个图像A和B的相加。

图13图示了被称为“缩减（downscaling）”的一种类型的缩放操作。

图14图示了D操作的一个实施例。

图15图示了权重模板（mask）W中包括的权重的计算。

图16图示了通过将D操作两次应用到中间尺度图像而获得的高斯金字塔的一部分。

图17图示了U操作的一个实施例。

图18图示了本发明的实施例中使用的鲁棒过滤操作的一个实施例。

图19图示了作为本发明的实施例中使用的上文参照图18描述的鲁棒过滤操作的一部分的针对原始图像Y的每个像素Y(i,j)执行的过滤操作f_s(i,j)。

图20图示了在本发明的实施例中使用的过滤操作f_s(i,j)中使用的非线性函数的一般形式。

图21图示了在本发明的实施例中使用的函数ψ_s。

图22示出了在图15中使用的许多图示约定。

图23图示了由本发明的各种实施例中的多尺度去噪、锐化和对比度增强模块使用的一个多尺度鲁棒锐化和对比度增强方法。

图24-25图示了由表示本发明的一个实施例的实时视频处理系统的运动检测模块针对当前分析的帧中的每个像素执行的计算。

图26-29图示了表示本发明的一个实施例的实时视频处理系统的自适应时间处理模块的操作。

图30示出了用于本发明的实时视频处理方法的实施例的高级别控制流程图。

图31提供了表示本发明的一个实施例的实时视频处理系统的噪声和对比度模块的控制流程图。