[发明专利]基于优先经验回放机制的机器人路径规划方法及系统

权利要求书

1.基于优先经验回放机制的机器人路径规划方法，其特征是，包括：

获取路径规划机器人当前状态和目标位置；将路径规划机器人当前状态和目标位置，输入到训练后的深度确定性策略梯度网络，得到机器人动作；路径规划机器人根据得到的机器人动作，完成机器人的路径规划；

其中，训练后的深度确定性策略梯度网络，在训练的过程中，机器人生成的经验存储在经验池中，存储方式采用经验样本优先级序列进行存储；

其中，经验样本优先级序列，其构建过程为：

计算时间差分误差的优先级、当前Actor网络损失函数的优先级和立即奖励的优先级；利用信息熵确定三者的权重，采用加权求和的方式计算经验样本优先级，构建经验样本优先级序列；

在经验采样时，判断奖励是否大于零，如果是，就上调经验样本的优先级，如果否，就保持经验样本的优先级不变；按照优先级由高到低的顺序对经验进行采样，进而更新网络参数。

2.如权利要求1所述的基于优先经验回放机制的机器人路径规划方法，其特征是，所述按照优先级由高到低的顺序对经验进行采样，进而更新网络参数，之后还包括：

在经验被选择参与训练之后，在下一轮的训练过程中，将已经参与训练的经验的优先级进行衰减，判断衰减后的所有优先级的平均值是否小于设定阈值，如果是，就上调经验样本的优先级，如果否，就继续进行优先级衰减，直至降低到优先级序列的平均值。

3.如权利要求1所述的基于优先经验回放机制的机器人路径规划方法，其特征是，所述训练后的深度确定性策略梯度网络，在训练的过程中，机器人与环境的交互过程如下：

在每一时刻t，机器人的当前Actor网络根据环境状态s_t得到动作a_t，作用于环境获得立即奖励r_t和下一时刻环境状态s_t+1，当前Critic网络根据环境状态s_t和动作a_t得到Q值Q(s_t,a_t)，对动作a_t进行评价；

从经验池采样第i个经验[s_i,a_i,r_i,s_i+1]，当前Actor网络根据Q值Q(s_t,a_t)调整动作策略，当前Actor网络的损失函数为▽_aQ(s_i,a_i|θ^Q)；Q表示当前Critic网络产生的Q值，s_i表示从经验池采样的状态，a_i表示从经验池中采样的动作，θ^Q表示当前Actor网络的参数，Q(s_t,a_t)表示状态s_t和动作a_t的价值；

目标Actor网络根据下一时刻环境状态s_t+1得到估计动作a'；

目标Critic网络根据下一时刻环境状态s_t+1和估计动作a'得到Q'值Q'(s_t+1,a')；Q'(s_t+1,a')表示状态s_t+1和动作a'的价值；

计算Q值与Q'值之间的差值，得到时间差分误差TD-error。