[发明专利]一种红外-可见光图像融合的异常行为识别方法

说明书

本发明涉及图像识别处理技术领域，具体地说，涉及一种红外‑可见光图像融合的异常行为识别方法。先对红外‑可见光图像均进行图像增强处理，对融合后的图像进行目标分类并标注，作为训练样本，构建目标检测模型，将融合图像信息对应的特征向量输入目标检测模型当中，得到识别结果；将红外可见光融合视频流输入至3D神经网络，在视频数据的时间维度和空间维度上进行特征计算；利用3D卷积神经网络对人体关节点相关数据进行特征提取，根据提取人体骨架得到的姿态信息和视角变换获得的目标位置信息检测异常行为。本发明设计提升了训练速度，减少了训练时间；对数据具有很强的适应性，尤其在标定数据较少的情况下能够获得更好的效果。

技术领域

本发明涉及图像识别处理技术领域，具体地说，涉及一种红外-可见光图像融合的异常行为识别方法。

背景技术

红外-可见光系统，是利用可见光和红外两种技术实现全天时、全天候监控。通过网络、无线传输或光缆等多种传输手段，实现监视传输，使上级部门能够直观、实时地掌控现场情况，并可在千里之外操纵前方的摄像机，进行重点观察。系统也可用于军事、公安、消防、油田森林防火、交通管理、电力电网行业等重要场所等需要全天时、全天候监控的领域。但是，现有的系统，在面对恶劣环境下，如雾气、光照不足、恶劣天气时，监测的视频图像受到严重干扰和影响，导致最终的成像质量降低、目标识别率下降，甚至导致监控系统无法工作，从而影响工作稳定性。因此，研究多特征的红外-可见光多源图像增强技术，为远方监控人员提供更好的监控视频效果，已是目前行业内的重要课题。

图像增强的主要目的是利用卷积神经网络，解决背景复杂和低光照问题，主要是将图像特征点提取出来经过卷积反复进行特征增强，使需要的目标差异特征最大化，提升识别准确度，为远方监控人员提供更好的监控视频效果。

人体行为识别和深度学习理论是智能视频分析领域的研究热点，近年来得到了学术界及工程界的广泛重视，是智能视频分析与理解、视频监控、人机交互等诸多领域的理论基础。近年来，被广泛关注的深度学习算法已经被成功运用于语音识别、图形识别等各个领域。深度学习理论在静态图像特征提取上取得了卓著成就，并逐步推广至具有时间序列的视频行为识别研究中。如何进一步提高弱光环境下对视频图像中人体行为识别的精确性，是本发明所要解决的技术问题。

为此，我们对传统的行为识别方法和基于深度学习的人体行为识别方法进行了分析总结。传统的方法对视频的环境或拍摄条件等有较高的要求，并且特征提取方法是人工先验设计出来。而基于深度学习的行为识别方法不需要像传统方法那样对特征提取方法进行人工设计，可以在视频数据上进行训练和学习，得到最有效的表征方法。鉴于此，我们提出了一种红外-可见光图像融合的异常行为识别方法。

发明内容

本发明的目的在于提供一种红外-可见光图像融合的异常行为识别方法，以解决上述背景技术中提出的问题。

为实现上述技术问题的解决，本发明的目的之一在于，提供了一种红外-可见光图像融合的异常行为识别方法，包括如下步骤：

S1、红外-可见光图像均进行图像增强处理；

S2、将图像增强过后的可见光与红外光输入Fusion-GAN网络的生成器中，其中，Fusion-GAN的生成器能捕获数据分布，判别器能估计样本来自训练数据而不是生成器的概率，然后生成器与判别器之间进行对抗，Fusion-GAN的判别器以融合图像与可见光图像作为输入，区分融合图像与可见光图像，更改生成器与判别器的卷积为深度可分离卷积，采用mobilenet-v3架构进行处理，减少计算量，输出融合图像；将输出的融合图像输入判别器单独调整融合图像信息，得到结果；在生成器和判别器的对抗学习过程当中，不断地对融合图像进行优化，损失函数达到平衡后，保留效果最佳的图像；