[发明专利]一种基于强化学习来进行特征工程的方法

说明书

本发明涉及一种基于强化学习来进行特征工程的方法，包括步骤：用基于上置信区间算法(UCT)求解当前数据的同时进行策略价值网络的训练，每一次迭代都得到训练数据。然后用训练好的策略价值网络去求解适合于当前数据集的特征变换。本发明能够降低特征工程的成本，减少数据科学家的工作量。

技术领域

本发明涉及特征选择技术领域，特别是一种基于强化学习来进行特征工程的方法。

背景技术

机器学习广泛应用于我们的日常生活中，其中预测分析广泛应用于多个领域的决策，包括欺诈检测，在线广告，风险管理，市场营销等。预测模型是采用监督学习算法来进行预测，通过历史数据进行训练分类或者回归模型来预测未知的结果，来起到决策的作用。所以，数据的表示方法对于模型的准确度十分重要。原始的数据空间往往难以表达数据，因此，在模型构建之前对数据进行适当的处理及转换是必不可少的。

特征工程的主要目的就是改变预测建模的特征来更好的适应算法的训练，通过生成那些判别性高的，具有良好的代表性的特征来提高模型训练的准确度。在现实中，特征工程是由数据科学家由手动和领域知识来进行的，通过反复的试验，根据试验过程中模型性能来确定试验的有效性。但是，这一过程往往是十分繁琐且耗时的，而且很容易产生错误和偏差。。

发明内容

有鉴于此，本发明的目的是提出一种基于强化学习来进行特征工程的方法，能够自动进行特征工程，降低特征工程的成本，减少数据科学家的工作量。

本发明采用以下方案实现：一种基于强化学习来进行特征工程的方法，具体包括以下步骤：

用基于上置信区间算法(UCT)求解当前数据的同时进行策略价值网络的训练，每一次迭代都得到训练数据。

用训练好的策略价值网络去求解适合于当前数据集的特征变换。

进一步地，用基于上置信区间算法(UCT)求解当前数据的同时进行策略价值网络的训练，训练过程包括以下步骤：

步骤S11：采用上置信区间算法对特征工程的过程进行求解，包括选择、扩展、模拟与回溯四个过程；

其中选择为采用下式对动作进行选择：

式中，T_F是节点F的访问次数，A是可供选择的动作空间，u_F,a表示节点F选择动作a时获得的平均奖励，t_F,a表示节点F选这动作a的次数，参数C_e是用来控制勘探强度；

扩展为当选择到子节点时进行扩展，动作空间有多少个动作就扩展多少个子节点；

在模拟的过程中，使用个策略价值网络输出动作选择的概率对当前的数据的评分即奖励；

回溯的过程就是将模拟过程最后得到的奖励来更新当前节点及所有的父亲节点；

步骤S12：步骤S11每一次迭代产生一个变换策略，将变化策略存入矩阵中，将每一个矩阵数据及其对应的标签向量存储为数据集，并同时对策略价值网络进行训练。

进一步地，所述策略价值网络包括公共的3层全卷积网络，然后再分成策略和value两个输出；在策略这一端加上一个全连接层通过softmax输出每一个动作被选择的概率；在价值这一端使用两个全连接层通过tanh输出对当前数据的评分。

本发明还提供了一种基于强化学习来进行特征工程的系统，包括存储器、处理器以及存储在存储器上并能够在处理器上运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如上文所述的方法步骤。

本发明还提供了一种计算机可读存储介质，其上存储有能够被处理器运行的计算机程序，当处理器运行该计算机程序指令时，能够实现如上文所述的方法步骤。