[发明专利]基于动态示教数据和行为克隆的深度Q学习网络优化方法

权利要求书

1.一种基于动态示教数据和行为克隆的深度Q学习网络优化方法，应用于序列决策任务，其特征在于，包括：

S100，基于第一示教数据集，对初始行为克隆网络进行有监督的训练，得到第一行为克隆网络；示教数据为根据专家在典型序列决策问题场景下的操作记录生成，包括状态，动作，奖励，下一状态，是否结束标记构成的五元组；其中，专家包括人类专家或其他智能设备，典型序列决策问题场景包括电子游戏、交通调控和电网控制；

S200，基于第二示教数据集，对具有相同网络结构的主网络、目标网络进行预训练；所述主网络基于深度Q学习网络构建；

S300，采用第二示教数据集，基于有专家损失的混合损失函数训练S200优化后的主网络；

S400，若S300取得的奖励值历史最优，基于真实序列决策交互，利用S300优化后的主网络获得交互轨迹，并生成样本数据加入第二示教数据集；

S500，基于S400得到的第二示教数据集，利用更新后的主网络对所述第一行为克隆网络进行有监督的训练，对第一行为克隆网络进行微调；

具体包括：采用损失函数J_E(Q)对所述第一行为克隆网络进行有监督的训练：

J_E(Q)＝max_a∈A[Q(s,a)+l(π,π_bc；s_t)]-Q(s,a_E)

其中，π、π_bc、a_E分别为主网络策略、第一行为克隆模型输出、第二示教数据集中动作，l(π,π_bc；s_t)表示有监督的损失，a为当前步的动作，A为当前任务环境的动作空间，Q(s,a)为当前状态动作值函数，Q(s,a_E)为在状态s和动作a_E下的状态动作值函数；

所述有监督的损失l(π,π_bc；s_t)为：

l(π,π_bc；s_t)＝Crossentropy(π(s_t),π_bc(s_t))

当在状态s_t时，主网络输出π(s_t)和第一行为克隆模型输出π_bc(s_t)的动作相同时，则监督损失为零，否则为一个正数；

S600，采用S300-S500的方法进行下一回合的训练，直至达到预设的训练结束条件，得到最终优化的主网络。

2.根据权利要求1所述的基于动态示教数据和行为克隆的深度Q学习网络优化方法，其特征在于，所述第一示教数据集、所述第二示教数据集中的样本均包括状态、动作、奖励、下一状态、是否结束标记。

3.根据权利要求1所述的基于动态示教数据和行为克隆的深度Q学习网络优化方法，其特征在于，S100中，所述第一行为克隆网络，其获取方法为：

以所述第一示教数据集为训练样本，以训练样本中动作标签和初始行为克隆网络的输出做交叉熵损失，根据误差反传和梯度下降算法对初始行为克隆网络进行训练，得到所述第一行为克隆网络。

4.根据权利要求1所述的基于动态示教数据和行为克隆的深度Q学习网络优化方法，其特征在于，S300中有专家损失的混合损失函数J(Q)为：

J(Q)＝J_DQ(Q)+λ₁J_n(Q)₂J_E(Q)+λ₃J_L2(Q)

其中，J_DQ(Q)、J_n(Q)、J_E(Q)、J_L2(Q)依次为单步TD损失、多步TD损失、专家损失、L2正则项，λ₁、λ₂、λ₃为权重系数。