[发明专利]一种基于深度强化学习的机械臂控制方法及系统

权利要求书

1.一种基于深度强化学习的机械臂控制方法，其特征在于，所述方法包括：

建立机械臂的环境空间、机械臂的状态、机械臂的动作以及抓取物体的目标位置；

机械臂在每个时刻t观察自身状态s_t，在当前策略π下选择一个动作a_t与环境进行交互，得到环境的反馈r_t，并转移到下一个状态s_t+1，此时获得时刻t下的经验，e_t＝(s_t,a_t,r_t,s_t+1)，即样本，所述样本的数量为M；

构建短期记忆回放池B₁和被遗忘回忆池B₂；所述短期记忆回放池B₁的大小为K；

将获取的M个样本以η的概率替换所述短期记忆回放池B₁中的样本；

将所有被替换的样本存入所述被遗忘回忆池B₂中；

在所述短期记忆回放池B₁和被遗忘回忆池B₂中按照各自的抽样比例进行抽样，抽取B个样本；

采用抽取的B个样本对神经网络进行训练，更新当前策略；

将机械臂的当前状态s_t输入至训练好的神经网络中，得到动作输出；

将所述动作输出作为机械臂在当前状态下所需执行的最优动作。

2.根据权利要求1所述的基于深度强化学习的机械臂控制方法，其特征在于，所述机械臂的当前状态s_t＝s_t||g_t，g_t为目标位置，双竖线符号“||”表示两个向量进行串联拼接。

3.根据权利要求1所述的基于深度强化学习的机械臂控制方法，其特征在于，所述样本数量M远小于K，K为短期记忆回放池B₁的大小。

4.根据权利要求1所述的基于深度强化学习的机械臂控制方法，其特征在于，所述概率η的表达式如下：

其中，x表示时间步的索引，T表示实验设置的总时间步。

5.根据权利要求1所述的基于深度强化学习的机械臂控制方法，其特征在于，在所述短期记忆回放池B₁和被遗忘回忆池B₂中按照各自的抽样比例进行抽样，抽取B个样本具体包括：

定义退火的参数α；

从B₁中均匀抽取α·B个样本，从B₂中均匀抽取(1-α)·B个样本。