[发明专利]一种基于CGAN的巡检图像数据小样本扩充方法

权利要求书

1.一种基于CGAN的巡检图像数据小样本扩充方法，其特征在于，包括以下步骤：

S1.收集巡检图像，根据经验判别巡检图像对应的缺陷类型，并人工对图像进行标注，获得巡检图像数据集；使用异常检测算法，剔除巡检图像数据集中的异常图像；巡检图像数据集中异常巡检图像的检测步骤包括：

采集的巡检图像数据为RGB彩色图片，因此是具有3个通道二维矩阵的三阶张量；将三阶张量压缩为一维向量的形式后使用LOF离群点判别算法进行异常巡检图像数据清洗；遍历巡检图像数据集并根据计算公式得到所有巡检图像数据向量的局部离群因子，局部离群因子大于设定阈值的巡检图像为异常数据；

遍历巡检图像数据集并根据计算公式得到所有巡检图像数据向量的局部离群因子，局部离群因子大于设定阈值的巡检图像为异常数据；具体的计算步骤包括：

设压缩后的一维向量共有m个分量，则向量x和y的距离d(x,y)可使用下式表示：

式中x_i和y_i(i＝1,2,…,m)表示数据向量x和y的第i个分量；

将距离数据向量x第k远的数据向量y_k与数据向量x之间的距离称作数据向量x的第k距离d_k(x)，用公式可表示为：

d_k(x)＝d(x,y_k)

将数据向量x和数据向量y之间的距离d(x,y)与数据向量x的第k距离d_k()的最大值，称作数据向量x和数据向量y的第k可达距离，即：

r_k(x,y)＝max{d_k(x),d(x,y)}

定义与数据向量x之间距离小于等于d_k(x)的所有数据向量构成的集合为数据向量x的第k邻域N_k(x)，|N_k(x)|为第k邻域中数据向量的个数；数据向量x的局部可达密度lrd_k(x)可表示为第k邻域内所有数据向量与数据向量x第k可达距离平均值的倒数，即：

数据向量x的局部离群因子LOF_k(x)表示了数据向量x的局部可达密度与第k邻域内其他数据向量局部可达密度之间的相对大小关系，其表达式为：

如果数据向量x的局部离群因子LOF_k(x)相较于其他数据向量过大，说明数据向量x的局部可达密度低，偏离了其他数据向量，可能是异常数据；

S2.使用传统图像处理算法，对清洗后的巡检图像数据集进行预处理，进一步提升图像数据质量并进行数据增强；

S3.使用巡检图像数据集训练基于卷积神经网络CNN的条件生成对抗网络CGAN，得到可生成给定缺陷类型巡检图像数据的CGAN模型；训练条件生成对抗网络CGAN具体包括以下步骤：

S31.条件生成对抗网络由生成器和判别器组成，设判别器模型为D(x|y)，参数为θ_d，生成器模型为G(z|y)，参数为θ_g；

S32.设巡检图像数据集的分布为p_data(x)，从数据集采样m组巡检图像数据{x¹,x²,…,x^m}和对应的标签{y₁,y₂,…,y_m}，从隐变量z的先验分布p_g(z)中采样m组隐变量数据{z₁,z₂,…,z_m}；

S33.使用上一步中采样的隐变量和标签，使用生成器生成巡检图像数据其中

S34.使用从巡检图像数据集中采样的巡检图像数据和生成的巡检图像数据，计算判别器价值函数V，其表达式为：

使用判别器价值函数关于判别器参数θ_d的梯度更新θ_d，即：

其中η为学习率，是需要设定的超参数；

如果判别器参数更新的次数未达到给定次数，返回步骤S32，否则继续；

S35.从隐变量z的先验分布p_g(z)中采样m组隐变量数据{z₁,z₂,…,z_m}，从巡检图像数据集中采样m组标签{y₁,y₂,…,y_m}，计算生成器的价值函数其表达式为：

使用生成器价值函数关于生成器参数θ_g的梯度更新θ_g，即：

S36.如果生成器参数更新次数未达到给定次数，返回步骤S32，否则训练结束；

S4.使用步骤S3中训练好的CGAN模型的生成器，采样并生成大量巡检图像数据；根据判别器输出的图像真实度，筛选真实度大于给定真实度阈值的生成图像加入巡检图像数据集，得到扩充巡检图像数据集；

S5.将扩充巡检图像数据集划分为训练集和测试集，使用训练集训练基于ResNet-50的巡检图像缺陷分类模型，并使用测试集测试巡检图像缺陷分类模型的分类准确率；如果准确率达到设定的准确率，样本扩充结束；否则重新选取判别器输出的图像真实度的阈值，返回步骤S4；具体包括：

S51.首先将依据步骤S4得到的满足判别器输出图像阈值的生成图像结合步骤S2预处理后的原始图像得到扩充后的巡检图像样本；

S52.构建巡检图像残差网络ResNet-50模型；ResNet模型首先对输入进行卷积操作，在卷积操作中，需要将图像这一结构化数据首先经过卷积核的处理、然后批标准化处理、经过激活函数后经过最大值池化；经过卷积操作后，数据将经过四个残差块处理，四个残差块分别包含了3、4、6、3个Bottleneck；

Bottleneck中包含两种block，分别是Conv Block和Identity Block；数据经过残差层处理后，再经过平均值池化函数以及全连接网络经softmax函数得到输出向量，最后依据输出值判定类别；

S53.将扩充的巡检图像样本划分为训练集、验证集和测试集，使用训练集对巡检图像进行分类；包含污闪、爆裂、雷击三种缺陷类型以及正常情况四类；在训练时采用Adagrad优化方法更新神经网络的参数；

S54.ResNet-50模型的测试：选取划分好的测试集，输入至训练好的模型中，得到模型预判的缺陷类型；将实际缺陷类型与预判的缺陷类型进行对比得到模型预测的准确率；

S55.如果准确率大于设定值，则选定该判别器输出图像的真实度阈值为最终的生成图像筛选阈值；否则，提高阈值使判别器输出图像的真实度提高，以提高分类模型的分类准确率。