[发明专利]一种基于强化学习来进行特征工程的方法

权利要求书

1.一种基于强化学习来进行特征工程的方法，其特征在于，包括以下步骤：

用基于上置信区间算法(UCT)求解当前数据的同时进行策略价值网络的训练，每一次迭代都得到训练数据；

用训练好的策略价值网络去求解适合于当前数据集的特征变换；

所述用基于上置信区间算法(UCT)求解当前数据的同时进行策略价值网络的训练，训练过程包括以下步骤：

步骤S11：采用上置信区间算法对特征工程的过程进行求解，包括选择、扩展、模拟与回溯四个过程；

其中选择为采用下式对动作进行选择：

式中，T_F是节点F的访问次数，A是可供选择的动作空间，u_F,a表示节点F选择动作a时获得的平均奖励，t_F,a表示节点F选这动作a的次数，参数C_e是用来控制勘探强度；

扩展为当选择到子节点时进行扩展，动作空间有多少个动作就扩展多少个子节点；

在模拟的过程中，使用策略价值网络输出动作选择的概率对当前的数据的评分；

回溯的过程就是将模拟过程最后得到的奖励来更新当前节点及所有的父亲节点；

步骤S12：步骤S11每一次迭代产生一个变换策略，将变化策略存入矩阵中，将每一个矩阵数据及其对应的标签向量存储为数据集，并同时对策略价值网络进行训练；

在模拟的过程中，使用一个策略模块输出动作选择的概率和一个价值模块来获得对当前的数据进行评分；在迭代过程中，收集一系列的(S,Z)数据，S是用来描述当前数据的信息以及实验模拟的信息，如当前层数，以及已经选择的动作；S为3个(a*b)的矩阵，a为设定的最大深度，b为动作空间的个数；第一个[a*b]矩阵，代表着选择的动作矩阵，若第i层选择第j个动作，就将[i,j]即第i行第j列的元素变为1，其他没有选择的动作和层数全部设为0；第二个[a*b]矩阵代表着当前动作空间每一个动作对当前数据进行变换后得到的精度是否提高，如果提高，则将这一列全部设为1，如果下降，则将这一列全部设为0；第三个[a*b]矩阵表示当前特征空间处于的层数，当前处于第几层，则这个矩阵中值全部设为当前的层数；比如深度为10，动作空间为10个动作，第一次迭代从根节点出发，选择一个第3个动作，就把第一个矩阵的[1,3]即第一个矩阵的第一行第三列的元素设为1，其他没有选择到的动作，和还未到达的层数设为0；然后计算每一个动作是否使当前数据的精度提升，比如第3个动作使得精度提升，这把第二个矩阵的第三列设为1；然后当前层数为1，把第三个矩阵中的元素全部设为1；Z为标签数据，它分为两部分；一部分策略模块的标签，是一个[1*b]的向量，向量中的值表示的是一个动作被选择的概率；比如有10个动作，选择每个动作的概率都是0.1，则将这个[1*b]中的b个元素全部设为0.1；另一部分是价值网络的标签，它也是一个[1*b]的向量，这个向量中的值均为最终的特征空间的模型得分与原始数据空间的得分的差值。

2.根据权利要求1所述的一种基于强化学习来进行特征工程的方法，其特征在于，所述策略价值网络包括公共的3层全卷积网络，然后再分成策略和value两个输出；在策略这一端加上一个全连接层通过softmax输出每一个动作被选择的概率；在价值这一端使用两个全连接层通过tanh输出对当前数据的评分。

3.一种基于强化学习来进行特征工程的系统，其特征在于，包括存储器、处理器以及存储在存储器上并能够在处理器上运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如权利要求1-2任一项所述的方法步骤。

4.一种计算机可读存储介质，其特征在于，其上存储有能够被处理器运行的计算机程序，当处理器运行该计算机程序指令时，能够实现如权利要求1-2任一项所述的方法步骤。