[发明专利]一种基于生成对抗网络的交互式孔探数据扩展方法

说明书

本发明公开了一种基于生成对抗网络的交互式孔探数据扩展方法，包括：将缺陷图像按缺陷类型分类，保存在相应文件夹中，构建航空发动机孔探图像数据集，基于深度卷积构建生成对抗网络模型结构；训练生成对抗网络模型，获取一或多个生成不同缺陷的发动机孔探缺陷图像生成器；构建P网络，输入训练样本中的形状信息，编码成发动机孔探缺陷图像生成器识别的隐向量，使用AlexNet模型第四卷积层的特征对P网络进行训练；基于隐向量、发动机孔探缺陷图像生成器，获取指定形状的生成图像，通过训练后的P网络进行测试；构建交互式基本框架并使用自适应阈值分割缺陷，使用泊松融合算法修正融合区域边缘痕迹。

技术领域

本发明涉及数据扩展领域，尤其涉及一种基于生成对抗网络的交互式孔探数据扩展方法。

背景技术

数据扩展(Data Augmentation)是在深度神经网络训练阶段无需增加计算成本即可增强模型性能的最实用方法之一。数据扩展可分为两类：一类是使用传统的数据变换方法，例如文献[1]介绍的随机裁剪算法一定程度上可以使网络对待检测目标的尺度信息更加不敏感，由此提升网络对小物体的识别效果；文献[2]介绍的随机擦除算法可以达到类似随机裁剪的目的；几何转换算法包括平移，缩放，仿射变换，透视变换等经典的数据扩展算法，是最受欢迎的数据扩展方法之一；文献[3]介绍的色彩空间变换算法则可以通过色彩抖动等形式模拟不同的光照，色温环境，提高模型对图像色彩的鲁棒性；文献[4]介绍的神经风格转换算法则可以改变图像的风格，纹理等特征。合理使用这些方法可以达到快速扩充数据集并在一定程度上增强模型鲁棒性的目的。

但对于目标检测任务来说，这些方法只是对图像的表现形式进行了改变，并没有增加样本空间中待检测目标的比例，不能解决数据集内待检测目标不均匀分布的问题。因此需要采用另一类数据扩展方法：数据重采样方法。数据重采样方法是指在模型训练前或模型训练时，对样本多的类别采样频率减少，对样本少的类别采样频率增大，从而使各类类别样本数目维持在较为平衡的水平。文献[5]通过双向重采样技术提高了人脸检测模型的精度。目前数据重采样方法则主要集中于新实例的合成。例如文献[6]提出的图像混合方法，通过插值对离散样本空间进行连续化，提高了邻域内的平滑性；文献[7]提出的特征空间扩展方法通过将数据变换应用到特征层面，从而获得了更为合理的合成数据；文献[8]、文献[9]则通过使用GAN(生成对抗网络)生成图像的方法生成了一些较为真实的样本用于深度学习任务中。这些方法可以生成新的扩展图像，但新生成的扩展图像没有像素级的标签，只能人工再次标注，或仅用于图像的分类任务。

在目标检测任务中像素级的标签信息十分重要。文献[10]提出了一种用场景图像及带标签的目标实例进行随机合成的方法，但实验发现，如果忽略场景的上下文信息，不考虑目标实例是否能够出现在场景中的特定位置，只是对目标实例与图像随机组合，并不能达到提高检测精度的目的，甚至可能会降低模型的性能。

参考文献

[1]Liu W,Anguelov D,Erhan D,et al.SSD:Single shot multibox detector[C]//European conference on computer vision.Springer,Cham,2016:21-37.

[2]Zhong Z,Zheng L,Kang G,et al.Random Erasing Data Augmentation[C]//AAAI.2020:13001-13008.

[3]Shorten C,Khoshgoftaar T M.A survey on image data augmentation fordeep learning[J].Journal of Big Data,2019,6(1):60.

[4]Jing Y,Yang Y,Feng Z,et al.Neural style transfer:A review[J].IEEEtransactions on visualization and computer graphics,2019.