[发明专利]一种红外-可见光图像融合的异常行为识别方法

权利要求书

1.一种红外-可见光图像融合的异常行为识别方法，其特征在于，包括如下步骤：

S1、红外-可见光图像均进行图像增强处理；

S2、将图像增强过后的可见光与红外光输入Fusion-GAN网络的生成器中，更改生成器与判别器的卷积为深度可分离卷积，采用mobilenet-v3架构进行处理，减少计算量，输出融合图像；将输出的融合图像输入判别器单独调整融合图像信息，得到结果；在生成器和判别器的对抗学习过程当中，不断地对融合图像进行优化，损失函数达到平衡后，保留效果最佳的图像；

S3、对融合后的图像进行目标分类并标注，根据类别坐标信息进行归一化处理，与融合图像输入进yolov5网络，将融合后的图像进行HLV颜色变换，采用Mosaic数据增强对图像进行拼接，作为训练样本；并提出了一种改进的特征金字塔模型，命名为AF-FPN，它是利用自适应注意力模块和特征增强模块来减少特征图生成过程中的信息丢失并增强表示能力的特征金字塔，保证实时检测的前提下提高了YOLOv5网络对多尺度目标的检测性能，构建目标检测模型，将融合图像信息对应的特征向量输入目标检测模型当中，得到识别结果；

S4、在改进Fusion-GAN网络融合完红外和可见光图像后，将红外可见光融合视频流输入至3D神经网络，在视频数据的时间维度和空间维度上进行特征计算；

S5、输入视频被分作两组独立的数据流：低分辨率的数据流和原始分辨率的数据流；两个数据流都交替的包含卷积层、正则层和抽取层，同时这两个数据流最后合并成两个全连接层用于后续的特征识别；

S6、利用3D卷积神经网络对人体关节点相关数据进行特征提取，根据提取人体骨架得到的姿态信息和视角变换获得的目标位置信息检测异常行为。

2.根据权利要求1所述的红外-可见光图像融合的异常行为识别方法，其特征在于，在所述S1红外-可见光图像均进行图像增强处理之前，还包括建立数据集的步骤：

通过摄像头持续获取采集到的图像数据并传输至处理端，并进行逐帧抽取，采集图像信息；对输入的图像做简单的平移、缩放、颜色变化、裁剪及高斯模糊；

采用改进yolov5方法对数据进行训练分别设置500轮次的训练次数，设置初始学习率为0.001；训练的动量选择0.9，训练批batch_size设置为2；

损失函数采用交叉熵函数以提升使模型收敛得更加迅速和准确。

3.根据权利要求1所述的红外-可见光图像融合的异常行为识别方法，其特征在于，所述S1中的图像增强处理还包括：

将图像特征点提取出来后，经过深度卷积神经网络的算法与训练反复进行特征增强，使需要的目标差异特征最大化，提升识别准确度，并在卷积层之后，加入Norm归一化层，以提升主体与其他部分的区分度；

其中，所述深度卷积层神经网络包含5个卷积层，3个池化层，2个LRN层，2个随机采样层，3个全连接层和1个softmax分类回归层；卷积层和池化层交替出现，池化层为max-pooling。