[发明专利]一种基于对抗增强的小样本图像数据拓展方法

说明书

本发明公开了一种基于对抗增强的小样本图像数据拓展方法。本发明使用新颖的生成对抗网络来学习数据增强的表示和过程，展示来自单个新的数据点的真实数据增强样本，结合辅助图重构器及多层图表示门获取增强图像与验证域图像的多层级表示聚合向量，利用源域图像构建多类原型图，将验证域图像的多层级表示聚合向量与对应类原型图之间的欧式距离作为相似度阈值，保留多层级表示聚合向量与对应类原型图之间的欧式距离小于或等于相似度阈值的增强图像，作为拓展结果。本发明在数据量少的情况下使用增强样本对小样本进行训练并进行评估，结果表明，使用增强样本可以提高标准分类器的性能，所有任务的泛化性能都有显著提高。

技术领域

本发明涉及小样本学习领域，尤其是一种基于对抗增强的小样本图像数据拓展方法。

背景技术

样本数据量充足一直是深度学习邻域一个重要条件，而仅从小样本数据来训练出一个理想的模型是一项艰巨的任务，由于样本数据量不足和质量不高，深度神经网络会过拟合训练集并在测试集上产生较差的泛化。

随着深度学习的发展，为解决上述问题诞生了数据增强技术，该技术可以通过将各种变换应用于原始数据集，从现有数据生成更多数据，进而减少模型过拟合的情况。而基于对抗网络的数据增强技术显著提高了对各任务的泛化性。

发明内容

本发明所要解决的技术问题是克服上述现有技术在数据量不足质量较低的情况下，深度神经网络会过拟合训练集并在测试集上产生较差泛化的问题。本发明提供一种基于对抗增强的小样本图像数据拓展方法，以突破现有技术对数据集拓展质量较差的限制，显著提高了对各任务的泛化性。

本发明采用的技术方案如下：

一种基于对抗增强的小样本图像数据拓展方法，如下步骤：

1)通过残差卷积编码器，提取包含样本图像语义信息的样本图像特征向量，所述的残差卷积编码器包含编码卷积神经网络与残差映射；

2)利用标准高斯分布采样得到噪声样本信息，并通过线性映射，生成标准高斯噪声向量；

3)将步骤1)得到的样本图像特征向量与步骤2)得到的标准高斯噪声向量传入多层感知机，得到最终编码向量；

4)根据步骤3)得到的最终编码向量，通过逆残差卷积解码器解码生成增强图像，构成增强图像集，所述的逆残差卷积解码器包含解码卷积神经网络与逆残差映射；

5)对增强图像集中的图像进行评估筛选，将筛选后的图像作为数据拓展结果。

进一步的，所述的步骤5)具体为：

5.1)通过辅助图重构器重构增强图像的图像语义，生成增强图像集特征向量；

5.2)利用多层图表示门，对步骤5.1)得到的增强图像集特征向量提取多层语义，并聚合多层语义得到每一张增强图像的多层级表示聚合向量；

5.3)将原始样本图像分为源域和验证域，首先针对源域图像进行类结构化处理，生成K类关系结构，每一类图像利用原型图神经网络处理，得到对应的原型图；

针对验证域图像，重复步骤5.1)至5.2)，提取验证域图像的多层级表示聚合向量，根据图像类别划分相对应的K类关系结构，计算验证域图像聚合向量与源域图像相对应关系结构的原型图之间的欧氏距离，取均值作为该类关系结构的相似性阈值；

5.4)计算步骤5.2)得到的每一张增强图像的多层级表示聚合向量与源域图像相对应关系结构的欧式距离d，保留欧式距离d小于或等于阈值的增强图像作为数据拓展结果。