[发明专利]基于增强学习的视觉机器人运动控制方法

说明书

本发明公开了基于增强学习的视觉机器人运动控制方法，属于机器人控制技术领域，基于增强学习的视觉机器人运动控制方法，包括：主成像数据采集，分路子信息采集，范围空间模型建立，制定移动轨迹策略，分路信息周期传输，运动路径实时校正，根据步骤五分路子探头采集到的路径变动信息，对建立的范围空间模型进行补充，并实时更正移动轨迹信息，可以实现通过增强学习算法和外置的机器视觉探头，对机器人的视域范围进行补充，及时调整运动轨迹，降低运动轨迹偏差量，提高机器人的运动轨迹运行正确率，同时对机器人外部变化进行自检，减少因外部环境造成的腐蚀对机器人运动控制的影响。在视域共享，触摸补充视觉。

技术领域

本发明涉及机器人控制技术领域，更具体地说，涉及基于增强学习的视 觉机器人运动控制方法。

背景技术

视觉机器人指不仅要把视觉信息作为输入，而且还要对这些信息进行处 理，进而提取出有用的信息提供给机器人，主要工作原理为：客观世界中三 维物体经由传感器(如摄像机)转变为二维的平面图像，再经图像处理，输出 该物体的图像。通常机器人判断物体位置和形状需要两类信息，即距离信息 和明暗信息。当然作为物体视觉信息来说，还有色彩信息，但它对物体的位 置和形状识别不如前两类信息重要。机器人视觉系统对光线的依赖性很大， 往往需要好的照明条件，以便使物体所形成的图像最为清晰，检测信息增强，克服阴影、低反差、镜反射等问题。

增强学习是指从动物学习、随机逼近和优化控制等理论发展而来，是一 种无导师在线学习技术，从环境状态到动作映射学习，使得Agent根据最大 奖励值采取最优的策略；Agent感知环境中的状态信息，搜索策略(哪种策略 可以产生最有效的学习)选择最优的动作，从而引起状态的改变并得到一个 延迟回报值，更新评估函数，完成一次学习过程后，进入下一轮的学习训练， 重复循环迭代，直到满足整个学习的条件，终止学习。

在一些不适合于人工作业的危险环境或人工视觉难以满足要求的场合， 常用机器视觉来替代人工视觉，大大提高生产效率及自动化程度。因此机器 视觉也越来越多的与机器人协同工作。但是目前机器人控制器普遍不具有机 器视觉功能，必须通过开发或采购相应的机器视觉模块才能实现与机器人的 协同工作，这种专用机器视觉模块往往价格高昂供应商唯一，这给机器人设 备使用和维护带来了一系列的困难。中国发明公开号为CN105643624B公开了 一种机器视觉控制方法及机器人控制器与机器人控制系统。该机器视觉控制 方法通过网络摄像头进行图像采集，通过嵌入式双核微处理器进行控制处理；其中，嵌入式双核微处理器包括运动核和应用核；运动核处理PLC命令及运 动命令；应用核进行图像处理，并发送至运动核。本发明机器人控制器集成 度高，将机器视觉和机器人控制器集成到同一控制器上，体积小功耗低便于 移动，用户应用时只需要采购通用网络摄像头，无须另外采购专用机器视觉 设备。

上述技术方案虽然解决了将机器视觉与机器人控制器集成到统一控制器 上但在机器人的运动控制过程中，机器人需要首先定位自身的位置和姿态信 息，之后通过机器视觉了解目标位置信息，然后通过内部系统运算运动轨迹， 从而演算出正确的移动方式，包括机器人自身多个运动轴关节的转动或摆动 范围，但部分机器人的工作环境较特殊，如海底或高腐蚀环境，由于现有机 器人的肢体大多使用金属制成，在特殊环境下金属外层易受腐蚀反应，造成 机器自身姿态的变动，甚至出现结构变形，这种状况下，机器人正确的运动轨迹与正常计算得出的运动轨迹出现偏差，位移精度下降。

发明内容

1.要解决的技术问题

针对现有技术中存在的问题，本发明的目的在于提供基于增强学习的视 觉机器人运动控制方法，它可以实现通过增强学习算法和外置的机器视觉探 头，对机器人的视域范围进行补充，及时调整运动轨迹，降低运动轨迹偏差 量，提高机器人的运动轨迹运行正确率，同时对机器人外部变化进行自检， 减少因外部环境造成的腐蚀对机器人运动控制的影响。在视域共享，触摸补 充视觉。

2.技术方案

为解决上述问题，本发明采用如下的技术方案。