[发明专利]一种基于深度增强学习的不平衡分类方法

权利要求书

1.一种基于深度增强学习的不平衡分类方法，其特征在于，包括以下步骤：

1)构建智能体的分类任务与交互规则；

2)构建智能体的动作空间；

3)构建外部环境；

4)构建深度神经网络模型；

5)训练基于深度增强学习的不平衡分类模型，即用深度神经网络模型学习Q函数。

2.根据权利要求1所述的一种基于深度增强学习的不平衡分类方法，其特征在于，在步骤1)中，构建的分类任务为：智能体依次对环境中的每一个训练样本分类，当分类正确时，智能体从环境获得正回报值，否则智能体获得负回报值；智能体的目标就是在分类任务中获得最多的累计回报；

在不平衡分类任务中，为引导智能体学会对不平衡数据分类的策略，制定智能体与环境的交互规则：如果智能体对少数类样本分类正确，环境给予高额的正回报值以奖励；一旦分类错误，则终止当前分类任务，同时环境给予高额的负回报值以惩罚；如果智能体对多数类样本分类正确，环境给予低额的正回报值以奖励；如果分类错误，环境给予低额的负回报值以惩罚。

3.根据权利要求1所述的一种基于深度增强学习的不平衡分类方法，其特征在于，在步骤2)中，智能体的动作空间与训练数据的类别对应，对于不平衡N＝2分类问题，定义智能体的动作空间A＝{0,1}，0和1分别代表样本的标签，在t时刻，智能体对每一个样本分类，输出动作a_t，a_t∈A。

4.根据权利要求1所述的一种基于深度增强学习的不平衡分类方法，其特征在于，在步骤3)中，构建外部环境包括如下步骤：

3-1)构建环境的状态空间

使用训练数据集D＝{＜x_i,y_i＞|i＝1,2,3...}构建外部环境，定义状态空间S为整个训练集的样本空间，并且每个时刻的环境状态s_t唯一对应训练集D的一个样本x_i；

3-2)设置外部环境的回报函数

对于不平衡N＝2分类问题，智能体对少数类样本分类正确时能够获得更多的奖励；分类错误时，获得更多的惩罚；定义训练集中的多数类样本集为D_L，少数类样本集为D_S，训练集样本不平衡的比例为回报函数如下式：

其中，a_t为在t时刻，智能体对每一个样本分类的输出动作；

对于不平衡N>2分类问题，定义标签为k的训练样本集为D_k，|D_k|为标签为k的训练样本数量，定义类别k的不平衡比例为回报函数如下式：

在r_t的表达式中，x_t和y_t是t时刻环境向智能体展示的样本及其标签，λ是常数系数，通常取“1”，当然，也能够根据需要调整其取值；

3-3)构建外部环境的状态转移规则

每当新的一轮分类任务开始时，环境将训练集的所有样本打乱，于每个时刻向智能体展示一个待分类的训练样本x_t；当环境接收到智能体的分类动作时，通过回报函数评价智能体的分类动作的价值，给予智能体即时回报r_t并决定是否状态转移；

对于不平衡N＝2分类问题，样本数量少的类为少数类，另一类为多数类；对于不平衡N>2分类问题，定义数量最少的m个类为少数类，其余类为多数类；当智能体对少类样本错误分类或者完成对所有样本的分类时，终止当前分类任务、环境停止状态转移、重置智能体的累计回报并开始新一轮分类任务，否则，环境当前状态转移至下一个状态，即向智能体展示下一个样本x_t+1。

5.根据权利要求1所述的一种基于深度增强学习的不平衡分类方法，其特征在于，在步骤4)中，根据不同的数据环境构建不同的神经网络模型，对于文本数据，使用带有Embedding层的深度神经网络模型；对于图片数据，使用带有卷积层和池化层的深度神经网络模型。

6.根据权利要求1所述的一种基于深度增强学习的不平衡分类方法，其特征在于，在步骤5)中，训练基于深度增强学习的不平衡分类模型，具有如下特征：

①基于价值函数的深度增强学习算法模型；

②在训练模型的过程中，使用验证数据集对模型进行周期性测试，保存最佳分类模型，对于不平衡N＝2分类问题，训练过程中周期性使用验证数据集监控正负类样本的召回率，当正负两类召回率接近相等时，终止训练，保存模型。