[发明专利]基于策略选项的分层强化学习方法和装置

权利要求书

1.一种基于策略选项的分层强化学习方法，其特征在于，所述方法包括以下步骤：

构建高层策略网络、低层策略网络和评价网络；

从仿真环境，获取状态轨迹；

基于所述状态轨迹和策略在线算法的学习过程，对高层策略网络、低层策略网络和评价网络的参数进行更新，其中，所述基于所述状态轨迹和策略在线算法的学习过程，对高层策略网络、低层策略网络和评价网络的参数进行更新，包括：

初始化所述仿真环境、高层策略网络低层策略网络和评价网络V，并初始化当前状态s_t和当前策略选项o_t；

在所述当前状态s_t，根据所述高层策略网络和上一个策略选项o_t-1，选择所述当前策略选项o_t，再根据所述低层策略网络和所述当前策略选项o_t，选择当前动作a_t，由所述仿真环境输出下一个状态s_t+1和当前时刻的奖励值r_t，根据所述当前状态s_t、所述当前策略选项o_t、所述当前动作a_t、所述当前时刻的奖励值r_t和所述下一个状态s_t+1，组成五元组(s_t，o_t，a_t，r_t，s_t+1)，并将所述五元组存储至数据存储器；

在所述当前状态s_t到达终止状态，或数据存储器内五元组数量达到预设阈值后，每个时间步取出部分数据，对所述高层策略网络低层策略网络和评价网络V的参数进行更新；

根据更新参数后的高层策略网络、低层策略网络和评价网络，生成更新后的策略模型，并对所述更新后的策略模型进行测试。

2.根据权利要求1所述的基于策略选项的分层强化学习方法，其特征在于，所述对所述高层策略网络和低层策略网络的参数进行更新，包括：

由评价网络计算低层状态值函数并计算高层状态值函数

其中，表示状态为s′且策略选项为o的高层状态值函数，表示下一时刻高层策略网络选中策略选项o′的概率，表示状态为s′且策略选项为o′的低层状态值函数；

计算高层时序差分误差与低层时序差分误差

其中，γ表示预设的折扣因子；

计算高层优势函数和低层优势函数

其中，λ表示预设的泛化估计系数；

基于所述的高层优势函数和低层优势函数构建目标函数，并采用梯度下降法对高层策略网络的参数和低层策略网络的参数进行更新。

3.根据权利要求2所述的基于策略选项的分层强化学习方法，其特征在于，所述对所述评价网络的参数进行更新，包括：

计算累计回报：

其中，T表示所述数据存储器内存储的轨迹中最后一个五元组对应的时刻，表示最后一个五元组的后续状态的低层状态值函数；

利用累计回报G_t与低层状态值函数之间的均方误差和梯度下降法对评价网络V的参数进行更新；

重新计算低层状态值函数并更新所述累计回报G_t。