[发明专利]异源视频融合的夜视抗晕光行人检测及跟踪方法

说明书

本发明公开了一种异源视频融合的夜视抗晕光行人检测及跟踪方法。该方法依据帧间差异阈值和最大隔帧阈值为条件，自适应选择检测帧，其中通过两帧图像的特征向量余弦夹角阈值与间隔帧数、检测帧视觉效果的相关性来确定帧间差异阈值，能在满足人眼视觉特性的前提下最大程度地减少检测帧数，提高夜视抗晕光行人检测的处理效率，并能解决间歇性循环检测‑跟踪时因视频帧内容差异过大而造成的漏检和差异过小造成的多检问题；引入最大隔帧阈值，能够克服检测跟踪时视频帧内容差异过小导致更新不及时、跟踪丢失出错等问题，提高夜视抗晕光行人检测的精度和容错能力。

技术领域

本发明属于夜视抗晕光技术领域，尤其涉及一种夜视抗晕光的自适应间歇循环检测-跟踪方法，具体涉及一种异源视频融合的夜视抗晕光行人检测及跟踪方法。

背景技术

异源图像融合的夜视抗晕光技术结合了红外图像无晕光、可见光图像色彩细节信息丰富的优点，为解决夜间行车的晕光问题提供了一种新途径，有很好的应用前景。

异源图像融合的夜视抗晕光方法通过红外与可见光图像融合技术消除夜视图像中的晕光，提高图像的色彩、细节信息，改善夜视图像的成像质量，从早期的小波、色彩空间等单一变换融合，发展到色彩空间与多分辨率、多尺度等变换相结合的复合融合方法，获得的融合图像晕光消除更彻底、细节色彩更丰富，但应用于夜间行人检测依然面临两大挑战：一是复合融合方法效果虽好，但算法复杂度较高，导致整个系统的行人检测及跟踪处理效率低，速度难以满足实际要求；二是融合图像虽相比原始图像无晕光、暗处细节色彩信息丰富，但因夜间光线不足、成像条件差，与日间图像质量相比仍差距较大，导致行人漏检、跟踪精度低等问题依然突出。

发明内容

本发明针对现有异源视频融合夜视抗晕光行人检测及跟踪方法存在的处理速度慢、精度低的问题，设计了一种异源视频融合的夜视抗晕光行人检测及跟踪方法，来提高夜视晕光动态场景中行人检测及跟踪的速度和精度。

为了达到上述目的，本发明的技术方案是：

一种异源视频融合的夜视抗晕光行人检测及跟踪方法，包括以下步骤：

步骤1、自适应选择检测帧，该步骤具体包括下述步骤：

步骤1.1、提取视频帧，确定视频序列的第1帧为参考帧，视频序列的第2帧为当前帧；

步骤1.2、根据下式，计算当前帧与参考帧的间隔帧数n；

n＝n_c-n_r

式中，n_c为当前帧帧号，n_r为参考帧帧号；

步骤1.3、根据下式，计算最大隔帧阈值N；

N＝f×T

式中，f为帧率，T为最大检测时间阈值，取T＝0.2s；

步骤1.4、若n≥N，则当前帧C为检测帧，并将当前帧C设为新的参考帧，当前帧C的下一帧设为新的当前帧，并跳回步骤1.2执行；

若nN，顺序执行步骤1.5；

步骤1.5、按以下步骤，计算当前帧与参考帧的特征向量余弦夹角θ；

式中，参考帧特征向量R＝[r₀,r₁,...,r₆₃]，当前帧特征向量C＝[c₀,c₁,...,c₆₃]；

步骤1.6、将θ与设定的帧间差异阈值τ进行比较，阈值τ取值为1.5～2.2，仅检测超过阈值的当前帧：