[发明专利]一种基于强化学习的数据预处理方法、系统及相关设备

说明书

本发明实施例提供了一种基于强化学习的数据预处理方法、系统及相关设备，基于强化学习机制实现了原始样本的过采样过程中的反馈调节，提高了数据样本过采样的合理性。本发明实施例方法包括：采用原始训练集中的原始样本训练预设变分自编码器模型，得到变分自编码器模型；基于强化学习机制优化所述变分自编码器模型；根据优化之后的变分自编码器模型随机生成新样本。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种基于强化学习的数据预处理方法、系统及相关设备。

背景技术

数据样本的不平衡问题是指，在数据集中不同类别的数据分布不均匀。如金融风控中逾期概率较低，数据量远远少于正常数据，导致数据挖掘结果丧失对逾期风险用户的敏感度，数据挖掘结果失效。

目前数据样本的不平衡问题常见的解决方案是是从数据角度对数据样本进行过采样，生成新样本。现有的过采样算法缺少反馈环节，生成新样本的合理性有待提高。

有鉴于此有必要提出一种新的数据预处理方法。

发明内容

本发明实施例提供了一种基于强化学习的数据预处理方法、系统及相关设备，基于强化学习机制实现了原始样本的过采样过程中的反馈调节，提高了数据样本过采样的合理性。

本发明实施例第一方面提供了一种基于强化学习的数据预处理方法，可包括：

采用原始训练集中的原始样本训练预设变分自编码器模型，得到变分自编码器模型；

基于强化学习机制优化所述变分自编码器模型；

根据优化之后的变分自编码器模型随机生成新样本。

可选的，作为一种可能的实施方式，本发明实施例中的基于强化学习的数据预处理方法中，所述基于强化学习机制优化所述变分自编码器模型，可包括：

采用原始训练集中的原始样本训练预设分类器模型，得到分类器模型；

执行预设数量的迭代计算，所述迭代计算中的一次迭代计算包括：

采用所述变分自编码器模型，随机生成新样本；

采用所述新样本训练所述分类器模型，并采用训练之后的新分类器模型对所述原始训练集中的原始样本进行分类，并计算分类指标参数及状态变量，将所述分类指标参数作为环境奖励变量；

采用预设评价器及所述状态变量计算所述变分自编码器模型的解码器的预估奖励，并根据所述预估奖励优化所述变分自编码器模型的解码器，以使得所述预估奖励最大化。

可选的，作为一种可能的实施方式，本发明实施例中的基于强化学习的数据预处理方法中，所述采用所述新样本训练所述分类器模型可包括：

若所述分类器模型为可反向传播分类器，则采用所述新样本直接训练所述分类器模型；若所述分类器模型为不可反向传播分类器，则将所述新样本加入所述原始训练集，并采用扩充之后的原始训练集训练所述预设分类器模型得到新分类器模型。

可选的，作为一种可能的实施方式，本发明实施例中，所述方法还可包括：根据所述环境奖励变量和预估奖励间的差异，训练所述评价器，使所述环境奖励变量和预估奖励间的差异最小化。

可选的，作为一种可能的实施方式，本发明实施例中，在采用所述新样本训练所述分类器模型之后，所述方法还可包括：

若所述分类器模型为可反向传播分类器，则以预设比例更新原分类器的参数；若所述分类器模型为不可反向传播分类器，则以预设概率保留原分类器。

可选的，作为一种可能的实施方式，本发明实施例中的基于强化学习的数据预处理方法还包括：

根据分类器对新样本的分类结果，选择预设类型的新样本保存至所述原始训练集。