[发明专利]基于改进的DDPG算法的机器人路径导航方法及系统

权利要求书

1.基于改进的DDPG算法的机器人路径导航方法，其特征是，包括：

获取机器人当前状态信息和目标位置；

将机器人当前状态信息及目标位置，输入到训练后的改进的DDPG网络中，得到最优可执行动作数据；

机器人根据最优可执行动作数据，完成无碰撞的路径导航；

其中，所述改进的DDPG网络基于DDPG网络，将DDPG网络的奖励值计算利用好奇心奖励机制模型来完成；所述好奇心奖励机制模型，包括：若干个依次串联的LSTM模型；所述依次串联的LSTM模型中，所有LSTM模型的输入端与Actor当前网络的输出端连接，最后一个LSTM模型的输出端与CNN模型的输入端连接，CNN模型的输出端与Actor当前网络的输入端连接；

完成好奇心奖励机制模型的训练，训练步骤包括：

(a)机器人选择在状态S_t下对应的动作A_t，并通过与环境交互产生下一个状态S_t+1和奖励值R；

(b)将机器人与环境交互产生的经验数据(S_t,A_t,R,S_t+1,done)存入经验回放池中，经验回放池中新增一个堆栈结构，以便按照时序性存取经验数据，done代表是否完成机器人导航；

(c)将堆栈结构中带有时序性的经验数据输入LSTM网络，如图2所示，首个LSTM模型只输入对应时刻的机器人状态信息；非首个LSTM模型的输入均由两部分组成，一部分是对应时刻的机器人状态信息，另外一部分是前一时刻的LSTM模型的输出值；最后一个LSTM模型输出下一时刻机器人状态预测值S_t+1'；

(d)将实际的下一个状态S_t+1与预测出的下一个状态S_t+1'之间的差值作为内部奖励rⁱ，同时将内部奖励rⁱ与原有的外部奖励r^e之和作为机器人探索环境的总奖励R；将实际的下一个状态S_t+1与预测出的下一个状态S_t+1'之间的差值作为训练过程中的第一个约束条件；

(e)将当前时刻机器人状态S_t和下一时刻机器人状态预测值S_t+1'，输入到卷积神经网络CNN中，输出反向预测动作A_t'；

(f)反向预测出的动作A_t'与实际的动作A_t之间的差值作为训练过程中的第二个约束条件，利用梯度的反向传播训练好奇心奖励机制模型，完成好奇心奖励机制模型的训练；

所述改进的DDPG网络基于DDPG网络，对DDPG网络的经验回放池新增一个堆栈结构；经验回放池中存储两批数据，一个是原来的随机采样获得的样本，一个是堆栈结构获得的时序样本；堆栈结构获得的时序样本，用于好奇心奖励机制模型训练时使用；随机采样获得的样本，用于DDPG网络的Actor模块和Critic模块训练时使用。

2.如权利要求1所述的基于改进的DDPG算法的机器人路径导航方法，其特征是，将机器人当前状态信息及目标位置，输入到训练后的改进的DDPG网络中，得到最优可执行动作数据；具体包括：

将机器人当前状态信息及目标位置，输入到训练后的改进的DDPG网络中，改进的DDPG网络的Actor模块生成最优可执行动作数据。

3.如权利要求1所述的基于改进的DDPG算法的机器人路径导航方法，其特征是，将机器人当前状态信息及目标位置，输入到训练后的改进的DDPG网络中，得到最优可执行动作数据；其中，改进的DDPG网络，包括：

依次连接的Actor模块、经验回放池和Critic模块；

其中，Actor模块，包括依次连接的Actor当前网络和Actor目标网络；

其中，Critic模块，包括依次连接的Critic当前网络和Critic目标网络；

其中，Actor当前网络与好奇心奖励机制模型的所有的LSTM模型连接；Actor当前网络还与好奇心奖励机制模型的CNN模型的输出端连接。