[发明专利]一种基于图像融合与目标检测结合的电力设备故障诊断方法

权利要求书

1.基于图像融合与目标检测结合的电力设备故障诊断方法，其特征在于，

步骤1、采集设定时间段的电力设备红外图像数据和可见光图像数据构成电力设备红外图像数据集和可见光图像数据集，并对其进行图像增强；

步骤2、使用边缘图和特征提取分别对增强后的红外图像和可见光图像进行配准；得到配准后的红外图像数据集和可见光图像数据集；

步骤3、使用改进后的新网络dG-Fusion对步骤2中的图像进行融合，具体方法是

步骤3.1、将步骤2得到的红外光图像数据集按照7:3的比例分配训练集和测试集，

从得到对应的7:3的比例的可见光图像数据集；

步骤3.2、将步骤3中的训练集使用裁剪和归一化方法，以形成用于训练的图像块，便于网络训练；训练集包括可见光图像训练集和红外图像训练集，训练方式如下依次执行：

步骤A、生成器的训练，从训练集中获取M个对应可见光和红外光图像块，填充为132*132后，作为生成器的输入，并对生成器进行训练，获取第一次判别器训练所需的融合图像；

步骤B、对抗训练，训练判别器以及生成器，从训练集中选择M个对应融合与可见光图像进入判别器网络训练，更新判别器的损失L_D

其中，a和b分别表示融合图像I_f和可见图像I_v的标签，和表示可见和融合图像的分类结果；判别器网络运行K次迭代后，从训练集中选M个红外光和可见光图像进入生成器网络进行训练并更新生成器损失L_G

L_G＝L_a+λL_c

其中，L_a表示生成器与判别器之间的对抗损失，L_c表示内容损失，λ表示平衡系数；L_a公式如下

其中，表示判别器，表示融合图像，N表示融合图像的数量，c表示判别器判别图像结果的阈值；L_c公式如下

其中，L_c表示内容损失，HW表示输入图像的高度和宽度，‖·‖_F表示Frobenius范数，表示将红外图像I_r的热辐射信息保留在融合图像I_f中，表示梯度，表示保留可见图像I_v中包含的梯度信息，ξ表示平衡系数；

重复上述过程直到整个GAN网络迭代次数完成；

步骤3.3、将测试集中的可见光和红外光图像进行裁剪，形成带编号的图像块，并作为生成器的输入，根据裁剪的顺序编号连接生成器的融合图像，即可得到最终的融合图像；

步骤4、对步骤3中最终的融合图像使用Faster R-CNN进行目标的故障检测，具体方法是：

步骤A、使用ResNet网络对融合图像的特征提取得到特征图；

步骤B、候选生成网络利用滑窗得到候选区域，将提取后的特征图分别送入分类和回归层；分类回归网络就是检测网络，通过Rol池化层对每一个候选框在任意尺度的卷积网络特征层，设置不同的ROlPooling提取固定尺度特征，输出更加逼近设备真实的故障区域。

2.根据权利要求1所述的一种基于图像融合与目标检测结合的电力设备故障诊断方法，其特征在于，所述步骤1中，针对红外图像进行增强的具体步骤包括：

步骤1.01、进行分层处理，具体是使用非线性滤波器引导滤波对步骤1采集的电力设备的红外图像进行分层，得到基础图像和细节图像，基础图像使用直方图均衡处理，细节图像使用Gamma变换来处理，然后将这两种图像融合；

步骤1.02、对步骤1采集的电力设备的红外图像进行直方图均衡处理和拉普拉斯滤波；

步骤1.03、得出增强图像，将步骤2.01和步骤2.02的结果进行加权融合，得出增强图像为：

I_H＝I_sd+I_L

其中，I_H表示加权融合后的增强图像；I_sd表示非线性滤波器引导滤波处理后得到的图像；I_L代表直方图均衡处理和拉普拉斯滤波后得到的图像。