[发明专利]一种基于Keras平台的自适应深度学习模型优化方法

权利要求书

1.一种基于Keras平台的自适应深度学习模型优化方法，其特征在于，该方法包括下列步骤：

1)对Q值网络的参数进行优化，将动作选择与全局最优决策分离；

2)利用Keras建立预测模型，并对模型进行超参数调节；

3)采用Q-Learning算法为深度Q网络提供有标签的样本数据；

4)根据提供的样本数据训练深度Q网络。

2.根据权利要求1所述的一种基于Keras平台的自适应深度学习模型优化方法，其特征在于，步骤1)的具体内容为：

在Q值网络中采用两套不同的用以选择动作的参数θ与θ^-，其中，参数θ用以选出最大Q值的动作，参数θ^-则用以选出最优Q值的动作，两套参数将动作选择与全局最优决策分离，θ为将表格Q(s,a)用函数Q(s,a,θ)映射后的函数参数。

3.根据权利要求1所述的一种基于Keras平台的自适应深度学习模型优化方法，其特征在于，步骤2)具体包括以下步骤：

21)利用Keras包装深度学习模型的每一层神经网络，并将包装好的深度学习模型应用到scikit-learn中作为预测模型；

22)预测模型建立后，通过DQN对超学习率进行自适应调节。

4.根据权利要求2所述的一种基于Keras平台的自适应深度学习模型优化方法，其特征在于，步骤3)的具体内容为：

采用Q-Learning算法计算目标Q值，并将其与当前动作下的奖励结合作为标签，样本数据的表达式为(s_i,a_i,r_i+1,s_i+1,label)^j，其中i表示时间步为i，j表示e_greed为j，label为标签，e_greed为贪婪指数，,_i+1为下一步奖励，s_i为当前步状态，s_i+1为下一步状态，a_i为当前步动作。

5.根据权利要求4所述的一种基于Keras平台的自适应深度学习模型优化方法，其特征在于，步骤4)的具体内容为：

采用经验回放机制对深度Q网络进行训练，每一次对神经网络的参数进行更新时，从数据里随机地调取小批量之前的训练结果，辅助培训神经网络。

6.根据权利要求5所述的一种基于Keras平台的自适应深度学习模型优化方法，其特征在于，步骤4)中，深度Q网络采用两个神经网络，一个用于存放当前训练出来的Q值，另一个用于产生目标Q值，训练过程中，在一定步数后将当前Q值复制到目标Q值网络中。

7.根据权利要求6所述的一种基于Keras平台的自适应深度学习模型优化方法，其特征在于，深度Q网络进行训练的损失函数为：

L(w)＝E[(r+γmaxQ(s′,a′,θ)-Q(s,a,θ))]

式中，+γmaxQ(s′,a′,θ)为目标Q值，r为奖励，γ为折扣因子，Q(s,a,θ)为Q估计值。