[发明专利]一种利用环境预测优化非模型机器人多轴孔装配控制方法

说明书

本发明提出一种利用环境预测优化非模型机器人多轴孔装配控制方法，属于机器人装配技术领域。本发明利用通用动作值函数进行环境相关知识预测，并且根据人的装配经验设计模糊逻辑系统将学习的知识预测作为输入，输出用于优化非模型控制算法的参数，当深度强化学习网络迭代次数上限且装配符合要求时，输出训练完毕的深度强化学习网络用于多轴孔装配过程中输出装配动作。本发明可实现对已有非模型机器人控制算法的优化，缩短了机器人多轴孔装配所需的时间。

技术领域

本发明涉及一种利用环境预测优化非模型机器人多轴孔装配控制方法，属于机器人装配技术领域。

背景技术

随着机器人被广泛的应用在工业中，机器人自动化装配技术具有巨大的市场应用前景，目前深度强化学习网络已被广泛的用来解决实际机器人复杂控制的应用场景中，基于深度强化学习网络使得机器人不需要对装配过程中的接触状态进行建模分析而是像人一样直接从环境中通过尝试学习出装配的技能。

针对目前工业中利用非模型学习算法来进行多轴孔装配任务，最先使用的是清华大学侯志民在其专利“一种利用深度强化学习实现机器人多轴孔装配的方法”中提出的基于确定性策略梯度搜索算法实现对机器人的装配动作进行控制，并利用传统模糊力控制方法产生经验训练数据，通过专家数据的训练能够保证强化学习模型快速学习，并且达到传统模糊力控制的水平。该方法还利用深度确定策略梯度搜索的方法继续进行训练，通过不断的与环境的交互逐渐优化装配决策的能力。尽管该非模型控制算法得到了快速发展并且越来越多的应用在实际工业中，但是其效果取决于需要大量的样本进行尝试，真实应用场景无法用来进行大量的尝试，这是限制这种非模型控制算法在真实环境中应用的主要挑战。

发明内容

本发明的目的是为克服已有的非模型控制技术在实际应用中使用的不足之处，提出一种利用环境预测优化非模型机器人多轴孔装配控制方法。本发明利用通用动作值函数从环境学习相关预测，并且通过设计模糊逻辑系统将学习到的预测作为输入，输出用于优化非模型强化学习控制算法的参数，从而实现对已有基于非模型强化控制的机器人装配方法进行优化，可缩短机器人多轴孔装配过程中搜索阶段的时间，提高生产中装配的效率。

本发明提出一种利用环境预测优化非模型机器人多轴孔装配控制方法，包括以下步骤：

1)将六维力传感器安装在机器人的末端执行器上，将双孔零件固定在实验台上，在待装配双轴零件上定义轴三维坐标系X-Y-Z，轴三维坐标系X-Y-Z的坐标原点O位于待装配双轴零件连接板上表面两轴圆心连线的中点，Z轴正向为沿双轴零件的的轴线向下，X轴正向是沿双轴的右轴的圆心指向左轴的圆心，由右手螺旋定则得到Y轴正向；在双孔零件上定义孔坐标系X'-Y'-Z'，孔坐标系X'-Y'-Z'的坐标原点O'位于待装配双孔零件孔底座上表面两孔圆心连线的中点，Z'轴的正向沿双孔的轴线方向向上，X'轴正向与X轴的正向相同，根据右手螺旋定则Y'与Y轴正向相反；

2)利用机器人控制器读取装配过程中的六维力传感器的数据，并给定装配过程中双轴零件的装配运动轨迹策略π，将每一时刻双轴的位置和位姿作为双轴零件的当前时刻t的观测量o_t，将六维力传感器的观测值做为当前时刻t的环境的反馈值c_t，γ用来表示每次装配结束的状态，将对环境的相关预测表示为：

Q(o_t,π,c_t,γ)

3)将对于环境的相关预测利用参数w表示成状态o_t的线性函数或者非线性神经网络，并且利用时间差分算法利用在装配过程中收集的数据(o_t,π,c_t,γ)不断的迭代学习参数w：

δ_t＝c_t+γ·Q(o_t+1|w_t+1,π,γ)-Q(o_t|w_t,π,γ)