[发明专利]一种机械臂最优路径优化定位方法

权利要求书

1.一种机械臂最优路径优化定位方法，其特征在于：包括如下步骤：

步骤一：V-REP场景的配置：使用虚拟机器人实验平台V-REP(virtual robotexperimentation platform，简称V-REP)进行仿真实验，进而完成V-REP场景的配置；

步骤二：V-REP场景的初始化：在V-REP场景里建立场景模型，可以自由选择不同机械臂真实模型，调取变压器型号，通过扫描确定污染物目标位置等，进而完成V-REP场景的初始化；

步骤三：机械臂启动：机械臂开始环境的探索，以此获得特定场景的抓取路径模型，而且路径模型具有最少以及多的动作数，减少机器臂不必要的动作切换；

步骤四：数据的记录：记录所述步骤三中每一回合的状态于Q表中；

步骤五：机械臂碰撞测试：机械臂基于Q-learning算法进行运作，根据机械臂运作过程中是否碰撞进行运动，若运作过程中发生碰撞，重复至所述步骤三中重新开始机械臂的启动，若运作过程中没有发生碰撞，进入下一个步骤并更新调整Q表中的数据；

步骤六：回合数是否最大值：当所述步骤五运作过程中没有发生碰撞，根据机械臂是否到达最大回合数限值操作机械臂进行运动，当机械臂到达最大回合数限值，进入下一个步骤，当机械臂没有到达最大回合数限值，重复所述步骤三，重新开始机械臂的启动并更新调整Q表中的数据；

步骤七：数据的导出：导出所述步骤六中Q表中的数据，进而导出Q表的模型，转化为实际的路径，并将模型应用于实际生产使用过程中的场景。

2.根据权利要求1所述的一种机械臂最优路径优化定位方法，其特征在于：所述步骤五中机械臂碰撞测试步骤使用python脚本负责与V-REP进行交互控制，编写强化学习Q-learning算法脚本，包括智能体的脚本和奖励惩罚脚本。

3.根据权利要求1所述的一种机械臂最优路径优化定位方法，其特征在于：所述步骤五机械臂碰撞测试步骤Q-learning算法中的智能体是通过玻尔兹曼分布概率策略来探索环境。

4.根据权利要求1所述的一种机械臂最优路径优化定位方法，其特征在于：所述步骤四数据的记录步骤中每一回合中的状态具体指定是机械臂对应位置的三维空间坐标，包括X轴、Y轴以及Z轴上对应的坐标。

5.根据权利要求1所述的一种机械臂最优路径优化定位方法，其特征在于：所述步骤一至步骤七中进行模拟仿真时，可根据需要使用更高性能的计算机进行仿真和训练实验，以缩短仿真时长提高仿真效率。

6.根据权利要求1所述的一种机械臂最优路径优化定位方法，其特征在于：所述步骤五以及步骤六中对于后续出现更为复杂的动作，会产生更大的状态空间，根据需要可以采用函数逼近以及DQN网络进行运算操作。

7.根据权利要求1所述的一种机械臂最优路径优化定位方法，其特征在于：所述步骤一至步骤七中进行模拟仿真时，还可以采用分布式计算机系统进行异步仿真和训练模型，以减少训练时间。