[发明专利]一种基于强化学习算法的工业机械臂运动规划方法

说明书

本发明公开了一种基于强化学习算法的工业机械臂运动规划方法，属于强化学习应用于机械臂运动规划领域。本发明将强化学习Actor‑Critic算法应用到机械臂运动规划中，使机械臂与环境建立起一种交互关系，通过与环境的实时交互进行训练，提高机械臂对环境的适应能力，从而实现自主学习控制；本发明首先搭建机械臂手眼系统的仿真环境，然后根据仿真环境建立强化学习算法模型，最终完成机械臂的运动规划训练，实现机械臂的智能控制；该发明提出基于强化学习的机械臂运动规划算法具有良好的环境适应性和稳定性。

技术领域

本发明属于强化学习应用于机械臂运动规划领域，具体涉及一种基于强化学习算法的工业机械臂运动规划方法。

背景技术

机械臂运动规划在不确定环境下完成特定复杂任务一直以来是一个非常具有挑战性的问题。传统控制方法往往十分依赖系统模型，然而该模型常常具有高阶次、非线性、多变量和强耦合等特点，很难使机械臂系统具备良好的适应性及一定自主性。近年来，人工智能技术蓬勃发展，为机械臂自主学习控制提供了新的思路。人工智能的核心观点就是在机械臂的规划与控制中引入在线学习机制，使机械臂与环境建立起一种交互关系，通过与环境的实时交互进行训练，提高机械臂对环境的适应能力，从而实现自主学习控制。目前遗传算法在路径规划领域取得初步发展，遗传算法在机器人领域的应用具有良好的全局搜索能力，但是遗传算法的局部搜索能力较差，导致单纯的遗传算法在后期搜索时效率较低。遗传算法本身就存在过早收敛的问题，在实际工程应用中存在缺陷，因此需要寻求其他机器学习算法。强化学习基于马尔可夫决策过程考虑到时间序列问题，具有长远目光能够考虑到长期回报，解决价值函数过早收敛陷入局部最优的问题。强化学习将问题转化为基于时间的序列决策问题，更有利于机械臂抓取自动化和最优化策略的设计，针对机械臂模型定义强化学习的状态、动作和奖赏模型。强化学习的价值评估算法基于价值迭代方法，有利于价值函数收敛到最优但不适合应用于连续运动过程，策略评估算法基于参数优化更适用于高维度和连续动作控制，同时具有更好的收敛属性，但单使用策略评估容易陷入局部最优。Actor-Critic算法将价值评估和策略评估方法结合旨在综合两者的优点，降低损失函数的方差改善局部最优的问题，以便更好的应用于机械臂运动规划控制。

发明内容

针对现有技术中存在的上述技术问题，本发明提出了一种基于强化学习算法的工业机械臂运动规划方法，设计合理，克服了现有技术的不足，具有良好的效果。

为了实现上述目的，本发明采用如下技术方案：

一种基于强化学习算法的工业机械臂运动规划方法，包括如下步骤：

步骤1：搭建机械臂手眼系统的仿真环境；

步骤2：建立强化学习Actor-Critic算法模型框架；

步骤3：基于步骤2中建立的Actor-Critic算法模型框架，完善强化学习Actor部分的策略函数算法模型，搭建策略函数神经网络，优化策略参数，寻找最优策略；

步骤4：根据步骤3中策略函数算法模型，建立强化学习Critic部分价值函数算法模型，搭建价值函数神经网络，评估策略函数选取动作的优劣；

步骤5：完成机械臂的运动规划训练，实现机械臂的智能控制。

优选地，在步骤1中，基于强化学习算法的仿真环境具备马尔可夫性质；马尔可夫决策过程的数学描述形式如公式(1)所示，按照状态s、行动a、反馈r的顺序，构成了如下所示的循环序列：

S₁,A₁,R₁,S₂,A₂,R₂…S_t,A_t,R_t… (1)；

所有在t时刻环境状态s组成的状态集合S_i(i＝1,2,…,t)；