[发明专利]基于生成对抗网络的红外图像电力设备分割方法

权利要求书

1.基于生成对抗网络的红外图像电力设备分割方法，其特征在于，包括以下步骤：

S1：准备网络输入数据；采用部署在电力系统中视频监控设备和红外检测设备收集的电力设备的自然图像数据集和热成像图像数据集；将所有的图像大小归一化为320mm×320mm，将其值减去均值除以方差，适应网络的输入；

S2：构建生成对抗模型:Cycle-Gan；

Cycle-Gan的网络结构包括第一生成对抗网络和第二生成对抗网络，第一生成对抗网络和第二生成对抗网络形成循环的模型；第一生成对抗网络和第二生成对抗网络均由生成器和鉴别器构成；第一生成对抗网络由彩色图像生成热成像图像的网络，包括生成器网络G_vt和鉴别器网路D_vt；第二生成对抗网络由热成像图生成彩色图像的网络，包括生成器网络G_tv和鉴别器网路D_tv ；

Cycle-Gan的网络结构中，对构成生成器的编码解码结构网络，利用ResNet50网络的特征提取层作为编码网络，利用对应的反卷积网络作为解码网络，同时将网络中的批归一化替换成实例归一化，以得到生成结果；其中，编码解码结构包括编码器和解码器；

Cycle-Gan的网络结构中的鉴别器采用VGG19网络结构；网络的输出包括判断真假的分支和分类的分支，用于图像生成真实的对应模态的图像，并且身份标签不发生改变；

S3：设计热成像图像语义分割模型；

在Cycle-Gan中建立不同模态之间的联系，在后续的热成像图像语义分割网络中，利用自然输入图像构建辅助热成像语义分割的特征空间，进行热成像图像语义分割；

在热成像图像语义分割模型中，利用特征提取卷积网络分别提取热成像图像和自然图像的深度特征，然后采用级联的方式将热成像图像的深度特征和自然图像的深度特征进行级联，该级联的特征通过自然图像辅助热成像图像进行语义分割；其中，对于自然图像的特征提取采用现有的常用的语义分割模型，以将生成的自然图像和原热成像图像的深度特征进行结合；

热成像特征提取网络采用残差网络ResNet50的前三层，并改变输入的通道数以适应热成像图像，ResNet50在ImageNet数据集上进行预训练；

最后，通过Cycle-Gan得到自然图像数据，并利用上述的特征级联的方式构建热成像图像的补充的特征空间，利用卷积层对级联后的特征进行进一步学习，再利用一系列的卷积层和反卷积层输出语义分割的结果；

S4：设计分割网络的损失函数；对于Cycle-Gan分别设计两个对抗损失，两个重构损失，两个分类损失，用于监督生成对抗模型的学习；对于热成像语义分割网络，采用常用的交叉熵损失。

2.根据权利要求1所述的基于生成对抗网络的红外图像电力设备分割方法，其特征在于，在S4中，Cycle-Gan的对抗损失如下：

其中，x,y表示特定模态的真实的图像数据，G(x),G(y)表示特定模态的生成的图像数据；

Cycle-Gan的重构的损失如下：

Cycle-Gan的分类损失如下：

L_c＝[-log(s_i)]+[-log(l_i)]

其中，s_i和l_i为两个鉴别器支路中的分类得分的其中一项。

3.根据权利要求1所述的基于生成对抗网络的红外图像电力设备分割方法，其特征在于，在S3中，加入多尺度模块，用于适应多尺度的目标；引入多个残差连接，用于在模型学习过程中进行信息传递。