[发明专利]一种基于稀疏编码融合的夜间监控视频实时增强方法

说明书

技术领域

本发明涉及计算机视觉领域和信号处理领域，特别是涉及稀疏编码、图像增强、信息融合和视频图像处理的方法。

背景技术

视频增强在计算机视觉领域的研究由来已久。它主要解决如下问题：如何将较低质量(亮度小，对比度低，细节模糊等)的输入视频流输出为高质量(亮度大，对比度高，细节清晰)的视频流。目前视频增强技术在视频监控领用已经展开了大量的应用研究，尤其是针对特定地点的的夜间视频监控。夜间环境下的若光照影响给视频增强技术带来了不小的挑战。

根据视频增强技术中是否利用被增强图像本身以外的信息，目前关于视频增强常用的方法可以分为两大类：自身修补增强和信息融合增强。其中前者主要依靠算法提高被增强图像的质量，后者主要将外来有用信息，一般是同一地点的白天视频信息，和夜间视频信息通过融合算法来增强视频质量。目前自身修补类的增强技术有：伽马校准增强，直方图均衡增强，色调映射增强，HDR(高动态范围成像)增强，小波变换增强等。而信息融合类的增强技术有：同态滤波融合增强，梯度融合增强，高斯混合模型增强等。关于这两类技术的比较，自身修补增强技术的时间复杂度会较高，而且增强效果相对较低，不宜应用于实时视频监；而信息融合类增强方法却利用较低的时间复杂度实现较好的增强效果。由于时间复杂性的限制，使得信息融合类方法更适宜于实时视频监控领域。通过融合类增强技术的基本流程，如图1所示，由于白天信息的加入导致这类技术出现了新的问题：过度增强、夜灯不亮、夜间倒影等问题。这些问题在图2中有很好的显示。左边的图是原来的视频帧，右边的图示利用白天背景融合增强后的视频帧。增强的效果看上去很好，但是正如上面所标注的ABC三个问题也很明显。A:由于过多增强，导致运动的人和背景的对比度降低，这使得在增强后的视频中，原本应该被重点关注的人不再那么突出；B:树上的彩灯也由于白天强光的影响，甚至不能判断其是否正常工作，这会妨碍夜间监控的有效性；C:由于白天的背景中有倒影，导致在增强过后的视频帧中倒影不合理出现。

稀疏编码是较为常用的数据压缩算法,该算法包括原子字典更新和稀疏编码更新两个迭代过程。追踪算法是较为常用的求解字典原子的方法,稀疏编码的更新过程中，由于目标函数的不同，所采用的更新方法也不同；对于没有惩罚项的优化目标，K_SVD是常用的求解算法。最终的编码以原子字典为引用，压缩原始数据，同时也能移除原始数据中的噪音和冗余。

发明内容

针对背景技术的不足之处，本发明提供一种基于稀疏编码融合的夜间监控视频实时增强方法，达到在夜间监控视频增强过程中计算复杂度低、计算时间短、增强效果好、增强图像噪音小的目的。

本发明的技术方案是一种基于稀疏编码融合的夜间监控视频实时增强方法，本方法通过白天和夜间的视频数据集的稀疏训练和学习，以获得较为高质量的原子集和对应的稀疏编码；通过稀疏编码融合算法，重构出增强的背景；然后，使用背景差方法，把运动物体从原夜间视频帧中提取出来；最后将增强的背景和运动物体融合得到最终的增强后的视频帧，从而实现发明目的。因而该方法包括以下步骤：

A、离线学习和融合：通过大量视频数据集的稀疏训练和学习，得到原子字典和稀疏编码，并通过稀疏融合算法重构出增强后的背景；

A1、收集大量特定地点的白天和夜间监控视频流数据；

A2、使用MCL(mutual coherence learning:互相干扰性学习)方法训练和学习A1中收集到的数据，将视频数据中每一帧划分为若干小块，求出白天数据和夜间数据视频帧中相同位置小块的原子字典和稀疏编码；

A3、将学习到的白天的原子字典和稀疏编码与夜间的原子字典和稀疏编码，按照公式(1)进行融合；

P_scf(i)＝γD_dX_d(i)+ηD_nX_n(i)(1)

公式中i为图像块序号，P_scf(i)是融合后i号的图像块，D_d是白天的原子字典，D_n是夜间的原子字典，X_d(i)是白天的i号图像块的稀疏编码，X_n(i)是夜间的i号图像块的稀疏编码，η和γ分别是白天和夜间的融合系数；

A4、将融合后的图像块按照块序号重构出增强后的背景图；

A5、将夜间原子字典和对应稀疏编码按照D_nX_n(i)的方式重构出夜间稳定背景图；