[发明专利]基于红外-可见光图像融合的电网现场作业一体管控方法

权利要求书

1.基于红外-可见光图像融合的电网现场作业一体管控方法，其特征在于，包括如下步骤：

S1、基于自循环学习的特征融合步骤，对特征金字塔FPN输出的多尺度特征图像进行特征的再次学习；

S2、基于多通道的剩余增强步骤，对再次学习的特征图像降低冗余特征干扰；

S3、基于不同样本特征的特征融合步骤，在网络中添加特征增强机制，通过不同图片间的目标共享提高模型效率；能针对RFP模型进行修改和完善，缩短信息路径的同时削减冗余特征，使用迭代机制实现特征融合模型；

S4、基于红外-可见光图像融合的异常行为识别步骤，用于将输出的融合图像进行目标分类并标注，根据类别坐标信息进行归一化处理构建目标检测模型，将融合图像信息对应的特征向量输入目标检测模型当中，得到识别结果；能在视频数据的时间维度和空间维度上进行特征计算，利用3D卷积神经网络对人体关节点相关数据进行特征提取，根据提取人体骨架得到的姿态信息和视角变换获得的目标位置信息检测异常行为。

2.根据权利要求1所述的基于红外-可见光图像融合的电网现场作业一体管控方法，其特征在于，所述步骤S1中，特征融合步骤包括，在红外-可见光多源图像在进行融合的过程当中，将需要校正因图像传感器之间的物理距离造成的图像之间的差异；

对红外和可见光图像分别消除畸变，根据摄像头定标后获得的单目内参数据和两个相机相对位置关系，分别对左右视图进行消除畸变和行对准；通过平行校正的方法对两个相机进行标定，完成了对两个图像之间物理差异的一个校正；

其中，标定的过程包括：

(1)分别将两个图像的像素坐标系通过共同的内参矩阵转换到相机坐标系：

(2)分别对两个相机坐标系进行旋转得到新的相机坐标系；

(3)针对新的相机坐标分别进行左、右相机的去畸变操作；

(4)去畸变操作结束后，分别用左、右相机的内参矩阵将左、右两个相机坐标系重新转换到左、右图像像素坐标系；

(5)并分别用左、右源图像的像素值对新左、右图像的像素点进行插值。

3.根据权利要求2所述的基于红外-可见光图像融合的电网现场作业一体管控方法，其特征在于，所述步骤S1中，特征融合步骤，针对RFP模型进行修改和完善，还包括：通过REAML，弥补空白信息得到特征R_i，然后反馈连接到自上而下的金字塔结构，二次传播后，输出特征定义一个迭代操作：

其中，Fⁿ(X)表示特征融合的过程，n∈[1，...，N]是特征金字塔的循环展开的次数；W由多层次特征数i的权重wⁱ组成；B是一个可学习的常量，经过上式计算得到输出结果Sp。

4.根据权利要求1所述的基于红外-可见光图像融合的电网现场作业一体管控方法，其特征在于，所述步骤S2中，基于多通道的剩余增强步骤，对再次学习的特征图像降低冗余特征干扰，包括使用模型公式：

该模型保留第一次特征金字塔FPN的输出n代表模块提取到的第i层特征图，包含可以与F^t+1互补的信息；Dconv是一个包含两个空隙的3×3空洞卷积；R表示REAML的计算过程。

5.根据权利要求4所述的基于红外-可见光图像融合的电网现场作业一体管控方法，其特征在于，所述步骤S2中，基于多通道的剩余增强体系模块，操作筛选每层特征的信息，并将筛选后的结果按照特征的贡献程度融合，残差的实现方法包括：

x＝Δρ+x

其中，Δρ作为模型中的残差结构；n∈[1，...，n]，p⁽ⁱ⁾代表特征图的第i通道，w^(ｉ）和b⁽ⁱ⁾分别代表该通道的权重和自学习常量。