[发明专利]一种机器人移动控制的方法、系统及设备

权利要求书

1.一种机器人移动控制的方法，其特征在于，包括：

建立基于线性动态跳帧的深度双Q网络模型；其中，所述深度双Q网络模型包括目标网络模型和评估网络模型；

接收输入的初始参数值及环境信息；其中，所述初始参数值包括初始策略、初始状态及动作集合；

利用所述评估网络模型根据所述初始状态及所述初始策略计算所述动作集合中每个动作的Q值，并根据各所述Q值来确定对应动作的跳帧率；

根据各所述跳帧率确定每个动作需要执行的次数，对所述评估网络模型进行训练，得到最优评估网络模型；

将所述最优评估网络模型的权重复制给所述目标网络模型，并根据所述目标网络模型计算所述环境信息的目标值；

根据所述目标值确定最优策略，并令机器人执行所述最优策略进行移动。

2.根据权利要求1所述的方法，其特征在于，所述根据各所述跳帧率确定每个动作需要执行的次数，对所述评估网络模型进行训练，得到最优评估网络模型，包括：

行为策略根据当前状态下所述各动作的跳帧率确定Agent执行的动作和所述动作需要执行的次数；

所述Agent基于所述行为策略重复执行所述动作，得到转移样本e_t＝(s_t,(a_t,k_t),r_t,s_t+1)，并将所述转移样本存放至经验池D_t＝(e₁,e₂,...,e_t)中；

根据公式p＝|δ|+ε₀+ε^-·(k/k_max)定义各所述转移样本的优先级p；

从所述经验池中以优先级方式采样各所述转移样本，并根据各所述转移样本对所述评估网络模型进行训练，得到所述最优评估网络模型；

其中，Agent为策略网络，e_t为t时刻的转移样本，s_t为t时刻的状态，a_t为t时刻的动作，k_t为t时刻的跳帧率，r_t为t时刻的奖赏，s_t+1为t+1时刻的状态，D_t为经验池，δ为转移样本的TD误差，ε₀为避免优先级为0的正值；ε^-为控制(k/k_max)和TD误差具有相近的数量级的超参数，且ε^-随时间步的增长而衰减，k_max为跳帧率的最大值。