[发明专利]一种基于强化学习算法的工业机械臂运动规划方法

权利要求书

1.一种基于强化学习算法的工业机械臂运动规划方法，其特征在于：包括如下步骤：

步骤1：搭建机械臂手眼系统的仿真环境；

步骤2：建立强化学习Actor-Critic算法模型框架；

步骤3：基于步骤2中建立的Actor-Critic算法模型框架，完善强化学习Actor部分的策略函数算法模型，搭建策略函数神经网络，优化策略参数，寻找最优策略；

步骤4：根据步骤3中策略函数算法模型，建立强化学习Critic部分价值函数算法模型，搭建价值函数神经网络，评估策略函数选取动作的优劣；

步骤5：完成机械臂的运动规划训练，实现机械臂的智能控制。

2.根据权利要求1所述的基于强化学习算法的工业机械臂运动规划方法，其特征在于：在步骤1中，基于强化学习算法的仿真环境具备马尔可夫性质；马尔可夫决策过程的数学描述形式如公式(1)所示，按照状态s、行动a、反馈r的顺序，构成了如下所示的循环序列：

S₁,A₁,R₁,S₂,A₂,R₂…S_t,A_t,R_t… (1)；

所有在t时刻环境状态s组成的状态集合S_i(i＝1,2,…,t)；

所有在t时刻执行动作a对应的动作集合A_i(i＝1,2,…,t)；

所有在t时刻环境反馈r对应的反馈集合R_i(i＝1,2,…,t)，有S×A→R；

所有状态转移概率分布的集合P，有S×A→S；

p表示转移概率p(s'|s,a)，转移概率p(s'|s,a)表示在状态s下选择动作a，使环境状态转移到状态s'的概率；

具体包括如下步骤：

步骤1.1：初始化，设定目标状态及时间步长，通过观测得到当前环境状态s_i；

步骤1.2：将当前环境状态s_i输入策略π_*得到动作信息a；

步骤1.3：执行动作信息a，观测下一时刻的环境状态；

步骤1.4：判断步骤1.3中的环境状态是否到达目标状态，若是则结束，若否则返回步骤1.2。

3.根据权利要求1所述的基于强化学习算法的工业机械臂运动规划方法，其特征在于：在步骤2中，具体包括如下步骤：

步骤2.1：将当前环境信息s_i输入到动作策略函数神经网络，输出动作信息a的概率分布，选择概率较大的动作，执行动作，得到环境反馈r和下一时刻的环境状态s_i+1；

步骤2.2：将当前环境信息s_i和下一时刻环境信息s_i+1分别输入到价值函数神经网络，得到输出当前状态价值v_i和下一时刻的状态价值v_i+1；

步骤2.3：通过时序差分误差计算环境反馈r和状态价值v；

步骤2.4：通过时序差分误差计算更新动作策略函数神经网络的损失函数，反向传播更新动作策略函数神经网络；

步骤2.5：计算更新价值函数网络的损失函数，并反向传播更新价值函数神经网络；

步骤2.6：完成强化学习算法训练过程。

4.根据权利要求1所述的基于强化学习算法的工业机械臂运动规划方法，其特征在于：强化学习算法即Actor-Critic算法采用动作策略函数和价值函数；Actor部分的动作策略函数基于高斯分布选取动作，Critic部分的价值函数则对动作策略函数选取的动作进行评估。

5.根据权利要求4所述的基于强化学习算法的工业机械臂运动规划方法，其特征在于：Critic部分的价值函数具有马尔可夫特性，采用时序差分法保证价值函数得到实时更新；常用的价值函数包括状态价值函数以及动作价值函数。