[发明专利]一种基于高维空间采样的数据增强方法

说明书

本发明提供了一种基于高维空间采样的数据增强方法，该方法先将需要增强的数据集分为训练集和测试集，包括：S1，将所述训练集从低维空间P映射至高维空间D，以获得第一数据集；S2，搭建训练模型，所述训练模型包括采样器和分类器；S3，所述采样器通过使用蒙特卡罗方法在所述第一数据集上进行采样以获得第二数据集；S4，控制所述训练集、所述第二数据集和所述测试集在相同的维度空间；S5，将控制过维度的训练集和第二数据集输入分类器中，对训练模型进行训练；S6，使用控制过维度的所述测试集对经训练后的训练模型的性能进行评估。该方法摆脱在更多的数据维度上进行采样的限制，产生的新样本更加适合分类器分类。

技术领域

本发明涉及数据增强技术领域，更具体而言，涉及一种将数据训练集升维后，再在高维空间进行蒙特卡罗采样生成新样本来增强数据的方法。

背景技术

机器学习、深度学习提高正确率一般通过数据增强(Data Augmentation)或者调整机器学习分类、回归算法来完成。数据增强是机器学习、深度学习研究的重要分支之一，获得充足、有效的数据是得到高正确率的重要手段。在实践中，数据往往都是不充足的或者原始数据中有很多的无效冗余数据，在这种情况下，需要寻找更多的数据或是对原始数据进行有效增强。在实际问题中，可能存在数据种类多，但是数据量级偏少，这种情况下对问题的解决是一个很大的阻碍，一种解决的办法便是利用原始数据进行数据增强，来获取更多的适用于任务的数据。为了尽可能充分利用训练数据，一般会通过一系列随机变换来“扩充”训练数据，这样机器学习模型就不会看到完全相同的两次训练数据，有助于防止模型过拟合，从而提升测试正确率。以下介绍两种目前最新的数据增强方法：第一种是AutoAugment数据增强方法：EkinD.Cubuk等的论文《AutoAugment:Learning AugmentationPolicies from Data》通过模型学习出适合当前任务的数据增强方法。使用强化学习从数据本身寻找最佳图像变换策略，对于不同的任务学习不同的增强方法组合，是在原始图像上对已有图像操作集合的搜索；但是从本质上来看，该方法和常用的一些算法(如：旋转，仿射等)没有本质的区别，采样的空间以及采样的维度均没有改变。第二种是GAN数据增强方法：生成对抗网络(GAN:Generative adversarial networks)通过模型学习数据的分布，随机生成与训练数据集分布一致的图片，但是该方法不能直接提升分类器的正确率。

发明内容

鉴于上述问题，本发明提出了一种将数据训练集升维，然后根据升维后的数据集采用蒙特卡罗采样的方法来生成新样本，并结合机器学习算法的选择、算法超参数的调整来联合优化，从而提高机器学习正确率的技术方案，如下：

本发明提供了一种基于高维空间采样的数据增强方法，该方法先将需要增强的数据集分为训练集和测试集，具体包括：

S1，将所述训练集从低维空间P映射至高维空间D，以获得第一数据集；

S2，搭建训练模型，所述训练模型包括采样器和分类器；

S3，所述采样器通过使用蒙特卡罗方法在所述第一数据集上进行采样以获得第二数据集；

S4，控制所述训练集、所述第二数据集和所述测试集在相同的维度空间；

S5，将控制过维度的训练集和第二数据集输入分类器中，对训练模型进行训练；

S6，使用控制过维度的所述测试集对经训练后的训练模型的性能进行评估。

优选地，所述训练模型还包括Metropolis-Hastings校正器，在步骤S3中，所述“所述采样器通过使用蒙特卡罗方法在所述第一数据集上进行采样以获得第二数据集”的步骤包括：

S31，在所述第一数据集上随机选取一个样本作为初始样本；

S32，对所述初始样本进行T次迭代以获得候选样本；